Jensen-egyenlőtlenség

A Jensen-egyenlőtlenség elegáns közös kiterjesztését adja számos matematikai egyenlőtlenségnek. Ha egy véges vagy végtelen $I$ intervallumon az $f$ függvény konvex, $a_1,\dots ,a_n\in I$, valamint $p_1,\dots ,p_n$ nem negatív számok, amelyekre teljesül a $p_1+\cdots +p_n=1$ összefüggés, akkor

$f(p_1{a}_1+\cdots +p_n{a}_n)\le p_{1}f(a_1)+\cdots +p_{n}f(a_n)$.

Ha f szigorúan konvex, akkor egyenlőség csakis az $a_1=a_2=\dots =a_n$ esetben teljesül.

Ha f konkáv, akkor az állítás fordított irányú egyenlőtlenséggel teljesül, azaz:

$$f(p_1{a}_1+\cdots +p_n{a}_n)\ge p_{1}f(a_1)+\cdots +p_{n}f(a_n).$$

Például az

$f(x)=x^2$

függvény szigorúan konvex a valós számok halmazán, így ha

$a_1,\dots ,a_n$

tetszőleges,

$p_1=\cdots =p_n=\frac{1}{n}$

, akkor

${\left(\frac{a_1+\cdots +a_n}{n}\right)}^2\le \frac{a_1^2+\cdots +a_n^2}{n}$,

ami éppen a számtani és négyzetes közép közötti egyenlőtlenség. Egyenlőség akkor és csak akkor áll fenn, ha $a_1=\cdots =a_n.$ Hasonlóképpen a konkáv x $\mapsto$ log x függvényt használva azt kapjuk, hogy bármely pozitív $a_1,\dots ,a_n$ számokra

$\log \left(\frac{a_1+\cdots +a_n}{n}\right)\ge \frac{\log a_1+\cdots +\log a_n}{n}$.

Mivel a jobb oldal $\sqrt[n]{a_1\cdots a_n}$ logaritmusa, a számtani és mértani közép közötti egyenlőtlenséget kapjuk.

Jensen egyenlőtlensége

A matematikában Jensen egyenlőtlensége – amit a dán matematikusról, Johan Jensenről neveztek el – összefüggésbe hozza egy konvex függvény értékét a konvex függvény integráljával. Ezt 1906-ban bizonyította Jensen. Az általánosságára tekintettel az egyenlőtlenség megjelenik sok alakban, ami a kontextustól függ (és amiknek egy része az alábbiakban kerül bemutatásra). Az egyenlet véges képlete volt a logója a Matematikai Tudományok Intézetének a Koppenhágai Egyetemen 2006-ig.

Állítások

Jensen egyenlőtlenségének klasszikus képlete magába foglal különféle számokat és súlyokat. Az egyenlőtlenséget ki lehet fejezni eléggé általánosságban használva a mértékelméletet vagy egyenértékű valószínűségszerű jelölést. Ebben a valószínűség szerinti felállításban az egyenlőtlenséget tovább lehet általánosítani a teljes érvényességéig.

A véges képlet

Ha egy φ függvény konvex egy $I\subseteq \mathbb{ℝ}$ valós intervallumon, ahol $x_i$-k ezen intervallum elemei és $a_i$-k a súlyok, Jensen egyenlőtlenségét ki lehet fejezni a következő formában:

$\phi \left(\frac{\sum a_i{x}_i}{\sum a_i}\right)\le \frac{\sum a_i\phi (x_i)}{\sum a_i}$.

Az egyenlőtlenség iránya nyilvánvalóan fordított, ha φ konkáv. Konkrét eset, ha a súlyok mind egyenlőek 1-gyel, akkor:

$\phi \left(\frac{\sum x_i}{n}\right)\le \frac{\sum \phi (x_i)}{n}$.

Konkáv log(x) függvény (megjegyzés: használhatjuk Jensen egyenlőtlenséget a függvény konvexitásának vagy konkávitásának bizonyítására, valós intervallumon.) Behelyettesítve $\phi (x)=-\log (x)$-et az előző képletbe, a számtani és mértani közép közötti egyenlőtlenséget kapjuk:

$\frac{x_1+x_2+\cdots +x_n}{n}\ge \sqrt[n]{x_1{x}_2\cdots x_n}$.

Ha a változó x egy másik t változó függvénye x_i = g(t_i). Általánosan a következőt kapjuk: a_i–ket felváltja egy nem negatív integrálható f(x)függvény, mint például egy valószínűségi eloszlás, a szummákat pedig integrálok.

Az elméleti mértéktér és a valószínűség szerinti képlet

Legyen (Ω,A,μ) egy mértéktér μ(Ω) = 1. Ha g egy valós értékű függvény, ami μ szerint integrált φ pedig egy mérhető konvex függvény, akkor:

$\phi \left(\underset{\mathrm{\Omega }}{\int }gd\mu \right)\le \underset{\mathrm{\Omega }}{\int }\phi \circ gd\mu .$

Valószínűségelméletben legyen $(\mathrm{\Omega },\mathfrak{𝔉},\mathbb{\mathbb{P}})$ egy valószínűségtér , X egy integrált valós értékű változó és φ egy mérhető konvex függvény. Akkor:

$\phi (\mathbb{𝔼}\{X\})\le \mathbb{𝔼}\{\phi (X)\}.$

Ekkor a valószínűségelméletben, a mértéknek (μ) megfeleltethető egy valószínűség $\mathbb{\mathbb{P}}$ , μ-nek egy várható érték $\mathbb{𝔼}$ , és g a függvénynek egy véletlen változó X.

Általánosan az egyenlőtlenség egy valószínűség szerint

Általánosan legyen T egy valós vektortér, X egy T értékű integrálható véletlen változó. Az integrálhatóság azt jelenti, hogy bármely T elem számára T: $\mathbb{𝔼}|⟨z,X⟩|<\mathrm{\infty }$ , z eleme T létezik egy $\mathbb{𝔼}\{X\}$ T elem, úgy hogy $⟨z,\mathbb{𝔼}\{X\}⟩=\mathbb{𝔼}\{⟨z,X⟩\}$ . Ekkor minden mérhető konvex φ függvényre és minden σ-algebra-rára $\mathfrak{𝔊}$$\mathfrak{𝔉}$:

$\phi (\mathbb{𝔼}\{X|\mathfrak{𝔊}\})\le \mathbb{𝔼}\{\phi (X)|\mathfrak{𝔊}\}.$

Ez a kijelentés általánosítja az előzőt, amikor a T vektortér a tengely és $\mathfrak{𝔊}$ a triviális σ-algebra $\{\varnothing ,\mathrm{\Omega }\}$.

Bizonyítások

A Jensen-egyenlőtlenség grafikus bizonyítása egy lehetséges esetben. A szaggatott görbe az X tengely mentén X feltételezett eloszlása, míg a szaggatott görbe az Y tengely mentén a megfelelő eloszlású Y értékek. Vegyük észre, hogy X egyre növekedő értékei mellett Y(X) egyre jobban növeli az eloszlást. Jensen egyenlőtlenségének bizonyítása különféle módon történhet, és három különböző fent említett, különböző állításoknak megfelelő bizonyítás ajánlott. Ám mielőtt megkezdenénk ezeket a matematikai bizonyításokat, érdemes elemezni a grafikus bizonyítást a valószínűség szerinti eset alapján, ahol X egy valós szám, (lásd az ábrát). Elfogadva az X értékeknek egy feltételezett eloszlását, azonnal azonosíthatjuk az $\mathbb{𝔼}\{X\}$ és a képe $\phi (\mathbb{𝔼}\{X\})$ értéket a grafikonon. Észrevehetjük $Y=\phi (X)$ a megfelelő értékek eloszlása egyre inkább nő az X növekedő értékeik mellett, és az Y eloszlása szélesebb, az X > X₀ intervallumban, és keskenyebb X <X₀ intervallumban bármilyen X₀ számára; különösen igaz ez $X_0=\mathbb{𝔼}\{X\}$ esetére. Következésképpen beláttuk, hogy Y mindig el fog mozdulni felfelé, tekintettel $\phi (\mathbb{𝔼}\{X\})$ pozíciójára. Ezzel bebizonyítottuk az egyenlőtlenséget, azaz:

$\mathbb{𝔼}\{Y(X)\}\ge Y(\mathbb{𝔼}\{X\}),$

Egyenlőség akkor áll fenn, amikor $\phi (X)$ nem szigorúan konvex, például amikor ez egy egyenes. A bizonyításokat ez az intuitív elképzelés a következőkben fogalmazza meg:

1. bizonyítás (véges képlet)

Ha λ₁ és λ₂ két tetszőleges pozitív valós számok, melyekre λ₁ + λ₂ = 1, akkor $\phi$ konvexitása miatt:

$\phi ({\lambda }_1{x}_1+{\lambda }_2{x}_2)\le {\lambda }_1\phi (x_1)+{\lambda }_2\phi (x_2)\text{ minden }{x}_1,x_2.$ -re.

Általánosan: ha λ₁ , λ₂ , …, λ_n pozitív valós számok, melyekre λ₁ + … + λ_n = 1, akkor

$\phi ({\lambda }_1{x}_1+{\lambda }_2{x}_2+\cdots +{\lambda }_n{x}_n)\le {\lambda }_1\phi (x_1)+{\lambda }_2\phi (x_2)+\cdots +{\lambda }_n\phi (x_n),$

bármennyi x₁ , …, x_n számára. A Jensen-egyenlőtlenségnek ezt a véges képletét teljes indukcióval bizonyíthatjuk be. Ha n = 2 az állítás igaz. Tegyük fel, hogy n-re igaz az állítás, és bizonyítsuk n + 1-re. Ha legalább egy λ_i λ>0 például λ> 1 ; akkor konvexitás miatt:

$\phi \left(\sum _{i=1}^{n+1}{\lambda }_i{x}_i\right)=\phi ({\lambda }_1{x}_1+(1-{\lambda }_1)\sum _{i=2}^{n+1}\frac{{\lambda }_i}{1-{\lambda }_1}{x}_i)\le {\lambda }_1\phi (x_1)+(1-{\lambda }_1)\phi \left(\sum _{i=2}^{n+1}\left(\frac{{\lambda }_i}{1-{\lambda }_1}{x}_i\right)\right).$

Mivel ${\sum }_{i=2}^{n+1}{\lambda }_i/(1-{\lambda }_1)=1$ , felhasználva feltevésünket a képlet utolsó kifejezésében megkapjuk az eredményt, név szerint a Jensen-féle véges képletű egyenlőtlenséget. Azért, hogy megkapjuk az általános egyenlőtlenséget ebből a véges képletből, használjunk egy sűrűségérvet. A véges képletet újra fel lehet írni úgy, mint:

$\phi (\int xd{\mu }_n(x))\le \int \phi (x)d{\mu }_n(x),$

ahol μ_n egy mérték, amit a Dirac-delták egy tetszőleges kombinációja ad:

${\mu }_n=\sum _{i=1}^n{\lambda }_i{\delta }_{x_i}.$

Mivel a konvex függvények folytonosak, és mivel a Dirac-delták kombinációi gyengén sűrűek az általános állítást egyszerűen megkapjuk.

2. bizonyítás (elméleti-határ képlet)

Legyen g egy valós értékű μ-integrálható függvény egy Ω mértéktérben, és legyen φ, egy konvex függvény a valós számok halmazán. Határozzuk meg φ jobb oldali deriváltját:

${\phi }^{\prime }(x):=\underset{t\to 0^{+}}{\lim }\frac{\phi (x+t)-\phi (x)}{t}.$

Mivel φ konvex, a jobb oldali hányados ahogy a t közelíti a 0-t jobbról, egyre csökken és alulról korlátos.

$\frac{\phi (x+t)-\phi (x)}{t}$

Ha t < 0, a határértéke mindig létezik. Legyen:

$x_0:=\underset{\mathrm{\Omega }}{\int }gd\mu ,$

$a:={\phi }^{\prime }(x_0),$

$b:=\phi (x_0)-x_0{\phi }^{\prime }(x_0).$

Akkor minden x -re ax + b ≤ φ(x). Ha x > x₀ , és t = x − x₀ > 0. Akkor,

${\phi }^{\prime }(x_0)\le \frac{\phi (x_0+t)-\phi (x_0)}{t}.$

Tehát,

${\phi }^{\prime }(x_0)(x-x_0)+\phi (x_0)\le \phi (x)$

ahogyan azt bizonyítani akartuk. x < x₀ esetében hasonlóan bizonyíthatjuk. Ha ax + b = φ(x₀). φ(x 0 ) akkor átírhatjuk a képletet

$a{x}_0+b=a\left(\underset{\mathrm{\Omega }}{\int }gd\mu \right)+b.$ - alakúra.

De mivel μ(Ω) = 1, tehát minden valós k számra

$\underset{\mathrm{\Omega }}{\int }kd\mu =k.$

Így:

$a\left(\underset{\mathrm{\Omega }}{\int }gd\mu \right)+b=\underset{\mathrm{\Omega }}{\int }(ag+b)d\mu \le \underset{\mathrm{\Omega }}{\int }\phi \circ gd\mu .$

3. Bizonyítás (általános egyenlőtlenség egy valószínűség szerint)

Legyen X egy integrálható valószínűségi változó, az értéket egy valós T vektortérből veszi. Mivel $\phi :T\mapsto \mathbb{ℝ}$ konvex, minden $x,y\in T$-re

$\frac{\phi (x+\theta y)-\phi (x)}{\theta },$

ahogy θ megközelíti a 0⁺ -t, ez az érték csökken. φ deriváltja X szerint az Y irányába:

$(D\phi )(x)\cdot y:=\underset{\theta \downarrow 0}{\lim }\frac{\phi (x+\theta y)-\phi (x)}{\theta }=\underset{\theta \ne 0}{\inf }\frac{\phi (x+\theta y)-\phi (x)}{\theta }.$

Látható, a differenciál lineáris y-ban van és mivel korábban beláttuk, hogy a jobb oldal infimuma kisebb mint az értéke a θ = 1 –nél.

$\phi (x)\le \phi (x+y)-(D\phi )(x)\cdot y.$

Egy tetszőleges sub-σ-algebrára $\mathfrak{𝔊}$ az utolsó egyenlőtlenség szerint, ha $x=\mathbb{𝔼}\{X|\mathfrak{𝔊}\},y=X-\mathbb{𝔼}\{X|\mathfrak{𝔊}\}$ fennáll, akkor

$\phi (\mathbb{𝔼}\{X|\mathfrak{𝔊}\})\le \phi (X)-(D\phi )(\mathbb{𝔼}\{X|\mathfrak{𝔊}\})\cdot (X-\mathbb{𝔼}\{X|\mathfrak{𝔊}\}).$

Ebből következve megkapjuk az eredményt, mivel:

$\mathbb{𝔼}\{[(D\phi )(\mathbb{𝔼}\{X|\mathfrak{𝔊}\})\cdot (X-\mathbb{𝔼}\{X|\mathfrak{𝔊}\})]|\mathfrak{𝔊}\}=(D\phi )(\mathbb{𝔼}\{X|\mathfrak{𝔊}\})\cdot \mathbb{𝔼}\{(X-\mathbb{𝔼}\{X|\mathfrak{𝔊}\})|\mathfrak{𝔊}\}=0,$

Alkalmazások és speciális esetek

Képlet, amely magában foglal egy valószínűség szerinti sűrűség függvényt

Tételezzük fel, hogy Ω egy valós sorozat mérhető alhalmaza és f(x) egy nem negatív függvény, melyre:

$\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}f(x)dx=1.$

Probabilisztikus nyelvben, f egy valószínűségi sűrűség-függvény. Jensen egyenlőtlensége a következő állítássá válik: Bármilyen g valós értékű függvény és φ konvex a g tartománya fölött, akkor

$\phi (\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}g(x)f(x)dx)\le \underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\phi (g(x))f(x)dx.$

Ha g(x) = x, akkor az egyenlőtlenségnek ez a formája redukálódik egy általában használt speciális esetre:

$\phi (\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}xf(x)dx)\le \underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\phi (x)f(x)dx.$

Alternatív véges képlet

Ha Ω véges halmaz $\{x_1,x_2,\dots ,x_n\}$ , és ha μ egy megszámlálható mérték az Ω-án, akkor az általános alak redukálódik egy összegekről szóló állításra:

$\phi (\sum _{i=1}^{n}g(x_i){\lambda }_i)\le \sum _{i=1}^n\phi (g(x_i)){\lambda }_i,$

feltéve ha ${\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n=1,{\lambda }_i\ge 0.$ Van egy képlet Ω –re is.

Statisztikus fizika

Jensen egyenlőtlensége a statisztikai fizikában különös fontosságú akkor, amikor a konvex függvény exponenciális. Adva van:

$e^{⟨X⟩}\le ⟨e^X⟩,$

ahol a zárójel a várható értékekre utal tekintettel néhány valószínűségi eloszlásra a véletlenszerű X változóban. A bizonyítás ebben az esetben nagyon egyszerű (cf. Chandler, Sec. 5.5). A következő egyenlőtlenséget alkalmazva:

$⟨e^X⟩=e^{⟨X⟩}⟨e^{X-⟨X⟩}⟩$

Kapjuk a végső exponenciális egyenlőtlenséget:

$e^X\ge 1+X$

Információelmélet

Ha p(x) x valószínűségi változó valódi eloszlás, és q(x) másik eloszlás, akkor Jensen egyenlőtlenségét alkalmazva Y(x) = q(x)/p(x)-re a véletlen változóra, a függvény legyen φ(y) = −log(y) így a Gibbs-egyenlőtlenséget kapjuk.

$\mathbb{𝔼}\{\phi (Y)\}\ge \phi (\mathbb{𝔼}\{Y\})$

$\Rightarrow \int p(x)\log \frac{p(x)}{q(x)}dx\ge -\log \int p(x)\frac{q(x)}{p(x)}dx$

$\Rightarrow \int p(x)\log \frac{p(x)}{q(x)}dx\ge 0$

$\Rightarrow -\int p(x)\log q(x)\ge -\int p(x)\log p(x),$

Ez megmutatja, hogy az átlagos üzenethossz minimalizált, amikor kódokat jelölnek ki valódi valószínűségek alapján. Az a nemnegatív mennyiség, (q-nak távolsága p-től) a Kullback–Leibler-távolság.

Rao–Blackwell-tétel

Ha L egy konvex függvény, akkor Jensen egyenlőtlenségéből, megkapjuk, hogy:

$L(\mathbb{𝔼}\{\delta (X)\})\le \mathbb{𝔼}\{L(\delta (X))\}\Rightarrow \mathbb{𝔼}\{L(\mathbb{𝔼}\{\delta (X)\})\}\le \mathbb{𝔼}\{L(\delta (X))\}.$

Tehát ha δ(X) torzítatlan becslés θ paraméterre T(X) egy elégséges statisztika θ-ra, egy kisebb várt veszteség birtokában L, számolás útján elérhető. Megadható olyan L becslés, mely hatásosabb mint δ(X).

${\delta }_1(X)={\mathbb{𝔼}}_{\theta }\{\delta (X^{\prime })|T(X^{\prime })=T(X)\},$

torzítatlan θ-ra, és X függvénye. Ezt az eredményt a Rao–Blackwell-tételként ismerik.

Kapcsolódó szócikkek

• Az átlagok törvénye

Források

• Walter Rudin (1987): Valós és komplext elemzés. McGraw-Hill. ISBN 0-07-054234-1
• David Chandler (1987): Bevezetés a modern statisztikus mechanikába. Oxford. ISBN 0-19-504277-8
• Jensen, Johan Ludwig William Valdemar (1906): "Sur les fonctions* convexes* et les inégalités* entre* les valeurs* moyennes*". Acta Mathematica 30: 175-193

További információk

• Eric W Weisstein: Jensen egyenlőtlenség - A matematika világa
• Jensen egyenlőtlensége logóként szolgált a Koppenhágai Egyetem Matematikai Szakosztálya számára.