Eksponentiaalinen perhe

Eksponentiaalista perhe on matemaattinen esine, jonka on vuonna todennäköisyys ja tilastot , luokan ja jakaumat , joiden yleinen muoto saadaan:

fX(x;θ)=klo(x)b(θ)exp⁡(η(θ)⋅T(x)){\ displaystyle f_ {X} (x; \ theta) = a (x) \, b (\ theta) \, \ exp \ left (\ eta (\ theta) \ cdot T (x) \ right)}

missä on satunnaismuuttuja, parametri ja sen luonnollinen parametri. X{\ displaystyle X}θ{\ displaystyle \ theta}η{\ displaystyle \ eta}

Algebralliset ominaisuudet

Eksponentiaalisilla perheillä on tiettyjä huomattavia algebrallisia ominaisuuksia.

Eksponentiaalisen perhejakauman luonnehdinta mahdollistaa uudelleenjaon muotoilun käyttämällä ns. Luonnollisia parametreja .

Yleisissä tilastoissa ne helpottavat otantatilastojen , toisin sanoen perheen luonnollisten riittävien tilastojen saamista , jotka tiivistävät otoksen tiedoista käyttämällä pienempää määrää arvoja.

Vuonna Bayes tilastot , heillä konjugaatti priores jotka helpottavat ajantasaistamista niin sanottu "subjektiivinen" jakaumat.

Lisäksi eksponentiaalisen perheen satunnaismuuttujan a posteriori ennakoiva jakauma (konjugaattiprioriteetilla) voidaan aina kirjoittaa suljetussa muodossa (edellyttäen, että eksponentiaalisen perheen normalisointikerroin voidaan itse kirjoittaa läheiseen muotoon). On kuitenkin huomattava, että usein nämä jakaumat eivät itse ole eksponentiaalisia perheitä . Yleisiä esimerkkejä: laki t Opiskelija , beeta-binominen jakauma tai Dirichlet- monikokoinen.

Eksponentiaaliset perheet esiintyvät luonnollisesti etsittäessä jakaumia tilastollisten sovellusten aikana, erityisesti Bayesin menetelmissä .

Eksponentiaalinen perhe sisältää monia yleisimpiä jakaumia: normaali , eksponentiaalinen , gamma , χ 2 , beeta , Dirichlet, Bernoulli , Bernoulli-monikokoinen, Poisson , Wishart , käänteinen Wishart jne. Muut yleiset jakaumat muodostavat eksponentiaaliperheen vain, jos tietyt parametrit ovat kiinteitä ja tunnetun arvon, kuten binomi- ja multinomijakaumat (kiinteän lukumäärän kohdalla molemmissa tapauksissa) ja negatiiviset binomiaaliset (useiden epäonnistumisten tapauksessa). . Niistä yleisessä käytössä olevista jakeluista, jotka eivät ole eksponentiaalisia perheitä, voidaan mainita Studentin t- laki , useimmat seokset , samoin kuin perhe, jossa yhtenäiset jakaumat ovat kiinnittämättömiä rajoja.

Alkuperä ja terminologia

Georges Darmois , EJG Pitman ja Bernard Koopman kehittivät käsitteen eksponentiaalisesta perheestä vuosina 1935/36 .
Termiä eksponentiaaliluokka käytetään joskus samassa merkityksessä.

Tarkkaan ottaen jakauma määritellään sen muotoilussa käytettyjen vakioiden erityisarvojen avulla: esimerkiksi normaalijakauma antaa normaalijakauman keskiarvolla ja keskihajonnalla . Jakaumien "perhe" määritellään yhdellä tai useammalla muuttujaparametrilla: esimerkiksi Poisson-perheillä . Tätä perhettä voidaan pitää eksponentiaalisena, kun tiheys- / todennäköisyysfunktio saa tietyn algebrallisen muodon satunnaismuuttujan ja parametrien välillä: tekijöiden erottaminen. EI(10;200){\ displaystyle {\ mathcal {N}} (10; 200)}μ=10{\ displaystyle \ mu = 10}σ=102{\ displaystyle \ sigma = 10 {\ sqrt {2}}}P(λ){\ displaystyle P (\ lambda)}

Käytännössä kuitenkin puhutaan eksponentiaalinen perhe, jossa meidän täytyy mainita eksponentiaalinen perheiden aivan kuten puhumme jakelusta sanomaan "jakeluperhe". Siksi sanomme tavallisesti normaalijakauman viittaavan normaalijakaumien perheeseen, jonka keskiarvo ja varianssi ovat tuntemattomat . EI(μ,σ2){\ displaystyle {\ mathcal {N}} (\ mu, \ sigma ^ {2})}

• Kuuluisa binomijakauma on sisarjakaumaperhe, jolle on tunnusomaista parametri n (tasapelien lukumäärä) ja parametri p (onnistumisen todennäköisyys).

1. Jos molemmat n ja p saivat tietyn arvon (esim. N = 20, p = 0,1), on ainutlaatuinen binomijakauma.B(20,0,1){\ displaystyle {\ mathcal {B}} (20,0,1)}
2. Jos n on saanut tietyn arvon ( n = 20), mutta p voi vaihdella, se on binomijakaumaperhe, jolle on tunnusomaista parametri p . n on vakio eikä parametri.
3. Jos n ja p voivat molemmat vapaasti vaihdella, se on suurempi binomijakaumaperhe, parametreilla n ja p .

Kolme tilannetta kutsutaan yleensä "binomijakaumaksi", mutta vain toinen muodostaa eksponentiaalisen perheen.

• Kun kyseessä on tasaisen jakautumisen olisi huomattava.
  • Joskus lause "yhtenäisestä jakaumasta saatu satunnaisluku" viittaa jatkuvaan tasaiseen jakaumaan 0: n ja 1: n välillä. Tätä samaa kuvataan beetajakauman erityistapauksena. Koska beeta kuuluu eksponentiaaliseen perheeseen, joillakin olisi houkutus päätellä, että univormu on myös eksponentiaalinen perhe. Mutta todellisuudessa tämä esimerkki on vain tietty yhtenäinen jakauma eikä perhe.U([0;1]){\ displaystyle {\ mathcal {U}} ([0; 1])}
  • Mitä tulee yhtenäisten jakaumien perheeseen , sille on tunnusomaista yhden tai molempien rajojen parametrinen luonne. Kukaan näistä perheistä ei ole eksponentiaalinen perhe.

Määritelmä

Eksponentiaalinen perhe on joukko jakaumia, joiden todennäköisyyslaki (diskreetti tai jatkuva) voidaan kirjoittaa erotettavissa olevien tekijöiden muodossa:

fX(x;θ)=klo(θ)b(x)exp⁡(η(θ)⋅T(x)){\ displaystyle f_ {X} (x; \ theta) = a (\ theta) \, b (x) \, \ exp \ left (\ eta (\ theta) \ cdot T (x) \ right)}

missä , , ja on määritelty. T(x){\ displaystyle T (x)}b(x){\ displaystyle b (x)}η(θ){\ displaystyle \ eta (\ theta)}klo(θ){\ displaystyle a (\ theta)}

Usein tiheys kirjoitetaan vaihtoehtoisessa muodossa

fX(x;θ)=b(x)exp⁡(η(θ)⋅T(x)-AT(θ)){\ displaystyle f_ {X} (x; \ theta) = b (x) \, \ exp \ left (\ eta (\ theta) \ cdot T (x) -A (\ theta) \ right)}

tai jopa

fX(x;θ)=exp⁡(η(θ)⋅T(x)-AT(θ)+B(x)){\ displaystyle f_ {X} (x; \ theta) = \ exp \ left (\ eta (\ theta) \ cdot T (x) -A (\ theta) + B (x) \ right)}

Arvo on perheparametri . θ{\ displaystyle \ theta}

Satunnaismuuttuja voi edustaa useiden mittojen vektoria. Tässä tapauksessa on useiden muuttujien funktio. Olipa skalaari tai vektori, ja vaikka siinä olisi yksi parametri, toimii ja voi olla vektorien muoto. x{\ displaystyle x}T(x){\ displaystyle T (x)}x{\ displaystyle x}η(θ){\ displaystyle \ eta (\ theta)}T(x){\ displaystyle T (x)}

Kanoninen muoto

Eksponentiaalisen perheen sanotaan olevan kanonisessa (tai luonnollisessa ) muodossa, kun . Eksponentiaalinen perhe voidaan aina muuntaa kanoniseksi muodoksi määrittämällä muunnettu parametri  : η(θ)=0{\ displaystyle \ eta (\ theta) = 0}θ′=η(θ){\ displaystyle \ theta '= \ eta (\ theta)}

fX(x;η)=b(x)exp⁡(η⋅T(x) - AT(η)){\ displaystyle f_ {X} (x; \ eta) = b (x) \, \ exp \ left (\ eta \ cdot T (x) \ - \ A (\ eta) \ right)}

Arvo η on perheen luonnollinen parametri .

Kanoninen muoto ei ole ainutlaatuinen, koska se voidaan kertoa nollasta poikkeavalla vakiolla edellyttäen, että se kerrotaan käänteisellä vakiolla. η(θ){\ displaystyle \ eta (\ theta)}T(x){\ displaystyle T (x)}

Toiminto (vaihtoehtoisesti ) määritetään automaattisesti muiden toimintojen valinnalla: se varmistaa, että jakauma normalisoidaan (kaikkien arvojen summa tai integraali antaa todennäköisyyden, joka on yhtä suuri kuin 1). Huomaa, että nämä kaksi toimintoa ovat aina . Tämä tarkoittaa, että jos se ei ole bijektiivinen , ts. Jos useat arvot antavat saman arvon , niin kaikilla arvoilla, joilla on sama kuva , on sama arvo tai . AT(θ){\ displaystyle A (\ theta)}klo(θ){\ displaystyle a (\ theta)}η{\ displaystyle \ eta}η(θ){\ displaystyle \ eta (\ theta)}θ{\ displaystyle \ theta}η(θ){\ displaystyle \ eta (\ theta)}θ{\ displaystyle \ theta}η(θ){\ displaystyle \ eta (\ theta)}AT(θ){\ displaystyle A (\ theta)}klo(θ){\ displaystyle a (\ theta)}

Vector eksponentiaalinen perhe

Vaikka yllä oleva määritelmä ilmaistaan ​​ensi silmäyksellä skalaariparametrina, se pysyy voimassa reaalilukujen vektoriparametrille . Jakauman sanotaan olevan vektorieksponenttiperhettä, jos tiheys (tai todennäköisyys, diskreetti) -funktio kirjoitetaan: θ→=(θ1,θ2,...,θd)T{\ displaystyle {\ vec {\ theta}} = \ vasen (\ theta _ {1}, \ theta _ {2}, \ ldots, \ theta _ {d} \ oikea) ^ {T}}

fX(x;θ→)=b(x)klo(θ→)exp⁡(∑i=1sηi(θ→)Ti(x)){\ displaystyle f_ {X} (x; {\ vec {\ theta}}) = b (x) \, a ({\ vec {\ theta}}) \, \ exp \ left (\ summa _ {i = 1} ^ {s} \ eta _ {i} ({\ vec {\ theta}}) \, T_ {i} (x) \ oikea)}

tai kompaktissa muodossa:

fX(x;θ→)=b(x)klo(θ→)exp⁡(η→(θ→)⋅T→(x)){\ displaystyle f_ {X} (x; {\ vec {\ theta}}) = b (x) \, a ({\ vec {\ theta}}) \, \ exp \ left ({\ vec {\ eta }} ({\ vec {\ theta}}) \ cdot {\ vec {T}} (x) \ oikea)}

Summa kirjoitetaan vektoritoimintojen pistetulona ja . η→(θ){\ displaystyle {\ vec {\ eta}} (\ theta)}T→(x){\ displaystyle {\ vec {T}} (x)}

Voimme myös tavata tyypin vaihtoehtoisen muodon:

fX(x;θ→)=b(x)exp⁡(η→(θ→)⋅T→(x)-AT(θ→)){\ displaystyle f_ {X} (x; {\ vec {\ theta}}) = b (x) \, \ exp \ left ({\ vec {\ eta}} ({\ vec {\ theta}}) \ cdot {\ vec {T}} (x) -A ({\ vec {\ theta}}) \ oikea)}

Kuten aikaisemmin, eksponentiaalinen perhe on kanonisessa muodossa, jos kaikesta huolimatta . ηi(θ→)=θi{\ displaystyle \ eta _ {i} ({\ vec {\ theta}}) = \ theta _ {i}}i{\ displaystyle i}

Käyrävektorin eksponentiaalinen perhe

Vektori eksponentiaalinen perhe kutsutaan käyrän jos mitta parametrivektorin on pienempi kuin mitta vektorin , määrä toimintoja parametrin vektorin tekijöihin edustus. d{\ displaystyle d}θ→{\ displaystyle {\ vec {\ theta}}}s{\ displaystyle s}η→(θ→)=(η1(θ→),η2(θ→),...,ηs(θ→))T{\ displaystyle {\ vec {\ eta}} ({\ vec {\ theta}}) = \ vasen (\ eta _ {1} ({\ vec {\ theta}}), \ eta _ {2} ({ \ vec {\ theta}}), \ ldots, \ eta _ {s} ({\ vec {\ theta}}) \ oikea) ^ {T}}

Huomaa, että yleisimmät eksponentiaaliset perhejakaumat eivät ole kaarevia, joten monet eksponentiaalista perhettä varten suunnitellut algoritmit olettavat implisiittisesti tai nimenomaisesti, että jakauma ei ole kaareva.

Normalisointitoiminto tai voidaan aina kirjoittaa funktiona riippumatta en muunnoksista . Seuraava eksponentiaalinen perhe on "luonnollisessa muodossa" (parametrisoitu sen luonnollisella parametrilla): AT(θ→){\ displaystyle A ({\ vec {\ theta}})}klo(θ→){\ displaystyle a ({\ vec {\ theta}})}η→{\ displaystyle {\ vec {\ eta}}}θ→{\ displaystyle {\ vec {\ theta}}}η→{\ displaystyle {\ vec {\ eta}}}

fX(x;η→)=b(x)exp⁡(η→⋅T→(x)-AT(η→)){\ displaystyle f_ {X} (x; {\ vec {\ eta}}) = b (x) \, \ exp \ left ({\ vec {\ eta}} \ cdot {\ vec {T}} (x ) -A ({\ vec {\ eta}}) \ oikea)}

tai:

fX(x;η→)=b(x)klo(η→)exp⁡(η→⋅T→(x)){\ displaystyle f_ {X} (x; {\ vec {\ eta}}) = b (x) \, a ({\ vec {\ eta}}) \, \ exp \ left ({\ vec {\ eta }} \ cdot {\ vec {T}} (x) \ oikea)}

Vektorimuuttuja

Aivan kuten skalaariparametri voidaan yleistää vektoriparametriksi, yksinkertainen satunnaismuuttuja (skalaari) voidaan yleistää satunnaismuuttujien vektorin yhteisjakaumaksi: jokainen skalaarimerkintä korvataan sitten vektorilla . On huomattava, että satunnaisvektorin mitat eivät välttämättä vastaa parametrivektorin ulottuvuutta eivätkä (kaarevan eksponentiaalisen funktion osalta) luonnollisen parametrin ulottuvuutta ja riittävää tilastoa . x{\ displaystyle x}x→=(x1,x2,...,xk){\ displaystyle {\ vec {x}} = \ vasen (x_ {1}, x_ {2}, \ ldots, x_ {k} \ oikea)}k{\ displaystyle k}d{\ displaystyle d}s{\ displaystyle s}η→{\ displaystyle {\ vec {\ eta}}}T(x→){\ displaystyle T ({\ vec {x}})}

Jakelu kirjoitetaan sitten:

fX(x→;θ→)=b(x→)exp⁡(η→(θ→)⋅T→(x→)-AT(θ→)){\ displaystyle f_ {X} ({\ vec {x}}; {\ vec {\ theta}}) = b ({\ vec {x}}) \, \ exp \ left ({\ vec {\ eta} } ({\ vec {\ theta}}) \ cdot {\ vec {T}} ({\ vec {x}}) - A ({\ vec {\ theta}}) \ oikea)}

tai:

fX(x→;θ→)=b(x→)klo(θ→)exp⁡(η→(θ→)⋅T→(x)){\ displaystyle f_ {X} ({\ vec {x}}; {\ vec {\ theta}}) = b ({\ vec {x}}) \, a ({\ vec {\ theta}}) \ , \ exp \ left ({\ vec {\ eta}} ({\ vec {\ theta}}) \ cdot {\ vec {T}} (\ mathbf {x}) \ right)}

Ominaisuudet

Määritelmissä esiintyvät funktiot T ( x ) , η ( θ ) ja A ( η ) eivät ole täysin mielivaltaisia. Niillä on tärkeä rooli tilastollisessa analyysissä.

• T ( x ) on riittävä (tai tyhjentävä ) jakauman tilasto . Riittävä tilasto on toiminto, joka täydellisesti yhteenveto mitattu data x osana näytteen vetää tätä jakaumaa: vaikka toinen datajoukko y on täysin erilainen kuin x , mutta T ( x ) = T ( y ) , niin tiheys arvioidaan havainnoista on sama, ts sillä on sama parametri.

T ( x ): n ulottuvuus on yhtä suuri kuin η : n parametrien lukumäärä .

Riippumaton ja identtisesti jaetun tiedon ( iid ) kokoelman riittävä tilasto on riittävien yksittäisten tilastojen summa. Bayesin arviossa se sisältää kaikki tarvittavat tiedot parametrien takajakauman laskemiseksi , riippuen havainnoista. Klassisessa arvioinnissa riittää, kun muodostetaan estimaattori parametreista.

• η on jakauman luonnollinen parametri . Arvoa η , jonka funktio f X ( x | θ ) on äärellinen, kutsutaan luonnolliseksi parametriseksi avaruudeksi . Voimme osoittaa, että tämä luonnollinen parametrinen tila on aina kupera .

• A: ta ( η ) kutsutaan joskus log-osiointitoiminnoksi, koska se onnormalisointikertoimen a ( η ) (tilastojen "osiointitoiminto") logaritmi :

klo(η)={∫xb(x) exp⁡[ η(θ)⋅T(x) ]dx}-1{\ displaystyle a (\ eta) = \ vasen \ {\ int _ {x} b (x) \ \ exp [\ \ eta (\ theta) \ cdot T (x) \] \ operaattorin nimi {d} \! x \ oikea \} ^ {- 1}} tai AT(η)=ln⁡{∫xb(x) exp⁡[ η(θ)⋅T(x) ]dx}{\ displaystyle A (\ eta) = \ ln \ vasen \ {\ int _ {x} b (x) \ \ exp [\ \ eta (\ theta) \ cdot T (x) \] \ operaattorin nimi {d} \ ! x \ oikea \}} Funktion A hyödyllisyys ilmestyy, kun on tarpeen laskea riittävän tilaston T ( x ) keskiarvo , varianssi ja muut momentit  : riittää erottamaan A ( η ) . Haluamme esimerkiksi laskea satunnaismuuttujan Gamma logaritmin odotuksen. Koska ln ( x ) on osa riittävää gammajakauman tilastoa , odotus voidaan helposti laskea johtamalla .E[ln⁡x]{\ displaystyle \ mathbb {E} [\ ln x]}AT(η)=ln⁡Γ(r)-rln⁡λ{\ displaystyle A (\ eta) = \ ln \ Gamma (r) -r \ ln \ lambda \,}

• b ( x ) on perusmitta . Sitä käytetään laskemaan ei-informatiivinen prioriteetti (= suurin entropia).

Factoring

Yksi tapa kuvata eksponentiaalista perhettä on jakaa se termien tulokseen, joista kukin sisältää yhden tyyppisen muuttujan, parametrin tai satunnaismuuttujan. Nämä tekijät esiintyvät joko suoraan tai eksponentissa (perus- tai eksponentti). Yleensä kertoimilla kerrottuna tekijöillä on siis oltava jokin seuraavista muodoista:

f(x){\ displaystyle f (x)}	vs.f(x){\ displaystyle c ^ {f (x)}}	[f(x)]vs.{\ displaystyle {[f (x)]} ^ {c}}	[f(x)]g(θ){\ displaystyle {[f (x)]} ^ {g (\ theta)}}	[f(x)]h(x)g(θ){\ displaystyle {[f (x)]} ^ {h (x) g (\ theta)}}
g(θ){\ displaystyle g (\ theta)}	vs.g(θ){\ displaystyle c ^ {g (\ theta)}}	[g(θ)]vs.{\ displaystyle {[g (\ theta)]} ^ {c}}	[g(θ)]f(x){\ displaystyle {[g (\ theta)]} ^ {f (x)}}	[g(θ)]h(x)j(θ){\ displaystyle {[g (\ theta)]} ^ {h (x) j (\ theta)}}

jossa f ( x ) ja h ( x ) ovat kaikki toiminnot x , g ( θ ) ja j ( θ ) ovat kaikki toimintoja θ  ; ja c on mielivaltainen termi "vakio" (ts. jolla ei ole x eikä θ ).

Lomake on hyväksyttävä, koska se otetaan huomioon eksponentissa. Sama . [f(x)]g(θ){\ displaystyle {[f (x)]} ^ {g (\ theta)}}[f(x)]g(θ)=eg(θ)ln⁡f(x){\ displaystyle {[f (x)]} ^ {g (\ theta)} = {\ rm {e}} ^ {g (\ theta) \ ln f (x)} \,}[f(x)]h(x)g(θ)=eh(x)g(θ)ln⁡f(x)=e[h(x)ln⁡f(x)]g(θ){\ displaystyle {[f (x)]} ^ {h (x) g (\ theta)} = {\ rm {e}} ^ {h (x) g (\ theta) \ ln f (x)} = {\ rm {e}} ^ {[h (x) \ ln f (x)] g (\ theta)} \,}

Näiden tekijöiden määrä on kuitenkin rajallinen. Esimerkiksi lauseke on sama kuin kahden "sallitun" tekijän tulo. Kuitenkin sen laskettu muoto [f(x)g(θ)]h(x)j(θ){\ displaystyle {[f (x) g (\ theta)]} ^ {h (x) j (\ theta)}}[f(x)]h(x)j(θ)[g(θ)]h(x)j(θ){\ displaystyle {[f (x)]} ^ {h (x) j (\ theta)} [g (\ theta)] ^ {h (x) j (\ theta)}}

[f(x)]h(x)j(θ)[g(θ)]h(x)j(θ)=exp⁡([h(x)ln⁡f(x)]j(θ)+h(x)[j(θ)ln⁡g(θ)]),{\ displaystyle {[f (x)]} ^ {h (x) j (\ theta)} [g (\ theta)] ^ {h (x) j (\ theta)} = \ exp \ vasen ([h (x) \ ln f (x)] j (\ theta) + h (x) [j (\ theta) \ ln g (\ theta)] \ oikea) \ ,,}

ei ole vaadittua lomaketta. (Toisaalta tällainen ilmaisu muodostaa kaarevan eksponentiaalisen perheen , joka sallii useiden eksponenttiin sisältyvien termien.)

Kahta muuttujatyyppiä, kuten esimerkiksi tekijä [1+ f ( x ) g ( θ )] sisältävä summa ei aina sovellu tekijöihin. Tämä on syy, miksi esimerkiksi Cauchyn laki ja Studentin t eivät ole eksponentiaalista perhettä.

Esimerkkejä jaottelusta

Parametrien ja vakioiden välinen ero on olennainen määritettäessä, kuuluuko "jakauma" eksponentiaaliseen perheeseen vai ei.

Skalaariparametri

Normaalilla satunnaismuuttujalla , jonka keskiarvo μ ei ole tiedossa, mutta vaihteluväli σ 2, on tiheysfunktio

fσ(x;μ)=12π|σ|e-(x-μ)2/2σ2{\ displaystyle f _ {\ sigma} (x; \ mu) = {\ frac {1} {{\ sqrt {2 \ pi}} | \ sigma |}} {\ rm {e}} ^ {- (x - \ mu) ^ {2} / 2 \ sigma ^ {2}}}

Kysymällä

bσ(x)=12π|σ|e-x2/2σ2,Tσ(x)=xσATσ(μ)=μ22σ2ησ(μ)=μσ,{\ displaystyle b _ {\ sigma} (x) = {\ frac {1} {{\ sqrt {2 \ pi}} | \ sigma |}} {\ rm {e}} ^ {- x ^ {2} / 2 \ sigma ^ {2}}, \, T _ {\ sigma} (x) = {\ frac {x} {\ sigma}} \, A _ {\ sigma} (\ mu) = {\ frac { \ mu ^ {2}} {2 \ sigma ^ {2}}} \, \ eta _ {\ sigma} (\ mu) = {\ frac {\ mu} {\ sigma}}, \,}

näemme, että se on eksponentiaalinen perhe, jolla on yksi parametri μ .

Jos σ = 1 , se on kanonisessa muodossa, koska silloin η ( μ ) = μ .

Vector-parametri

Tuntematon keskiarvo μ ja tuntematon varianssi σ 2 ovat tiheysfunktio

f(x;μ,σ)=12πσ2e-(x-μ)2/2σ2{\ displaystyle f (x; \ mu, \ sigma) = {\ frac {1} {\ sqrt {2 \ pi \ sigma ^ {2}}}} {\ rm {e}} ^ {- (x- \ mu) ^ {2} / 2 \ sigma ^ {2}}}

on eksponentiaalinen perhe vektoriparametrilla ( μ , σ ), joka kirjoitetaan kanonisessa muodossa asettamalla

b(x)=12π,T(x)=(xx2),η(μ,σ)=(μσ2-12σ2),AT(μ,σ)=μ22σ2+ln⁡|σ|=AT(η)=-η12/4η2+1/2ln⁡|1/2η2|{\ displaystyle b (x) = {1 \ yli {\ sqrt {2 \ pi}}}, \, {\ boldsymbol {T}} (x) = {\ binom {x} {x ^ {2}}} , \, {\ boldsymbol {\ eta}} (\ mu, \ sigma) = {\ begin {pmatrix} {\ frac {\ mu} {\ sigma ^ {2}}} \\ - {\ frac {1} {2 \ sigma ^ {2}}} \ end {pmatrix}}, \, A (\ mu, \ sigma) = {\ mu ^ {2} \ yli 2 \ sigma ^ {2}} + \ ln | \ sigma | = A ({\ lihavoitu symboli {\ eta}}) = - \ eta _ {1} ^ {2} / 4 \ eta _ {2} +1/2 \ ln | 1/2 \ eta _ {2} |} Diskreetti jakelu

Binomijakaumasta kanssa vakio määrä kiinnittää n on esimerkki erillisen eksponentiaalisen perhe. Sen todennäköisyystiheys

f(x)=(eix)sx(1-s)ei-x,x∈{0,1,2,...,ei}{\ displaystyle f (x) = {\ binom {n} {x}} p ^ {x} (1-p) ^ {nx}, \ quad x \ sisään \ {0,1,2, \ ldots, n \}}

otetaan huomioon

f(x)=(eix)exp⁡[xln⁡(s1-s)+eiln⁡(1-s)]{\ displaystyle f (x) = {\ binom {n} {x}} \ exp \ left [x \ ln \ left ({p \ over 1-p} \ right) + n \ ln \ left (1-p \ oikea) \ oikea]}.

Sen luonnollinen parametri on

η=ln⁡s1-s{\ displaystyle \ eta = \ ln {p \ yli 1-p}}

kutsutaan logit- funktioksi .

Joukko eksponentiaalisia perheitä

Tämä taulukko näyttää valikoiman nykyisiä jakaumia ja niiden uudelleenkirjoittamista eksponentiaalisessa perheessä, jolla on luonnolliset parametrit, yleinen muoto

fX(x|θ)=b(x) exp⁡( η(θ)⋅T(x)-AT(η) ){\ displaystyle f_ {X} (\ mathbf {x} | {\ boldsymbol {\ theta}}) = b (\ mathbf {x}) \ \ exp \ left (\ {\ boldsymbol {\ eta}} ({\ lihavoitu symboli {\ theta}}) \ cdot \ mathbf {T} (\ mathbf {x}) -A ({\ boldsymbol {\ eta}}) \ \ oikea) \, \!}

Suosimme funktionaalista muotoa log-osiointitoiminnolla A ( η ) , koska riittävän tilaston momentit voidaan helposti laskea johtamalla tämä viimeinen funktio. Olemme myös antaneet funktion A ( θ ) .

• Ne ovat eksponentiaalisia perheitä, jakaumat normaalit , eksponentiaaliset , log-normaalit , Gamma , khi-neliö , Beeta , Dirichlet , Bernoulli , monikokoinen , Poisson , geometriset , käänteis-Gaussin , von Mises ja von Mises-Fisher .
• Ne ovat eksponentiaalisia perheitä vain, jos parametri on kiinteä ("vakio"): Pareto, jossa alaraja x m on kiinteä; binomi- ja multinomiaalit, joissa on kiinteä lukumäärä n ; negatiiviset binomit, joissa on kiinteä vikamäärä (tai pysäytysparametri) r .

Pääsääntöisesti määritelmän tai tuen alue pysyy vakiona eksponentiaalisen perheen kaikkien jakaumien joukossa. Tämä selittää, miksi yllä kiinnitettyjen parametrien vaihtelu (kuten binomi, jossa on vaihteleva lukumäärä) tekee perheestä ei-eksponentiaalisen - kyseinen parametri vaikuttaa tukeen (tässä tapauksessa se muuttaa pienintä tai suurinta mahdollista arvoa). Samasta syystä myöskään Uniform-perhe ei ole eksponentiaalinen.

Weibull muoto parametri k sarja on eksponentiaalinen perhe. Muoto-parametri ei kuitenkaan muuta väliainetta. Tässä tapauksessa sen tiheysfunktion erityinen muoto ( k esiintyy eksponentin eksponentissa) estää Weibull-kertoimen, jos k vaihtelee.

• Eivät ole eksponentiaalisen perheenjäsen: F jakaumat Fisher-Snedecor , Cauchyn , Hypergeometrinen ja logistinen . Samoin suurin osa jakautumisista, jotka johtuvat jakaumien äärellisestä tai äärettömästä seoksesta , eivät ole eksponentiaalisia perheitä: Gaussin seokset, "ison hännän" jakaumat, jotka muodostetaan koostumuksella, kuten Studentin t (normaalijakauman koostumus gammalain mukaan), Beeta-binomi ja Dirichlet-multinomi.

Jakelu	parametri θ	luonnollinen parametri η	käänteisfunktio θ ( η )	perusmitta b ( x )	riittävä tilasto T ( x )	loki-osio A ( η )	A ( θ )
Bernoulli	s	ln⁡s1-s{\ displaystyle \ ln {\ frac {p} {1-p}}} ( logit- toiminto )	11+e-η=eη1+eη{\ displaystyle {\ frac {1} {1 + {\ rm {e}} ^ {- \ eta}}} = {\ frac {{{\ \ rm {e}}} ^ {\ eta}} {1 + {\ rm {e}} ^ {\ eta}}}} ( logistiikkatoiminto )	1	x	ln⁡(1+eη){\ displaystyle \ ln (1 + {\ rm {e}} ^ {\ eta})}	-ln⁡(1-s){\ displaystyle - \ ln (1-p)}
binomi ( vakio n )	s	ln⁡s1-s{\ displaystyle \ ln {\ frac {p} {1-p}}}	11+e-η=eη1+eη{\ displaystyle {\ frac {1} {1 + {\ rm {e}} ^ {- \ eta}}} = {\ frac {{{\ \ rm {e}}} ^ {\ eta}} {1 + {\ rm {e}} ^ {\ eta}}}}	VSeix{\ displaystyle \ mathbf {C} _ {n} ^ {x}}	x	eiln⁡(1+eη){\ displaystyle n \ ln (1 + {\ rm {e}} ^ {\ eta})}	-eiln⁡(1-s){\ displaystyle -n \ ln (1-p)}
Kalastaa	λ	ln⁡λ{\ displaystyle \ ln \ lambda}	exp⁡(η){\ displaystyle \ exp (\ eta)}	1x!{\ displaystyle {\ frac {1} {x!}}}	x	exp⁡(η){\ displaystyle \ exp (\ eta)}	λ
Negatiivinen binomi ( vakio r )	s	ln ( p )	exp⁡(η){\ displaystyle \ exp (\ eta)}	Γrx{\ displaystyle \ Gamma _ {r} ^ {x}}	x	-rln⁡(1-exp⁡(η)){\ displaystyle -r \ ln (1- \ exp (\ eta))}}	- r ln (1– p )
Eksponentiaalinen	λ	–Λ	-η{\ displaystyle - \ eta}	1	x	-ln⁡(-η){\ displaystyle - \ ln (- \ eta)}	-ln⁡λ{\ displaystyle - \ ln \ lambda}
Pareto (vähintään x m vakio)	a	-a-1{\ displaystyle - \ alfa -1}	-1-η{\ displaystyle -1- \ eta}	1	ln ( x )	-ln⁡(-1-η){\ displaystyle - \ ln (-1- \ eta)}    +(1+η)ln⁡xm{\ displaystyle + (1+ \ eta) \ ln x _ {\ mathrm {m}}}	-ln⁡a{\ displaystyle - \ ln \ alfa}    -aln⁡xm{\ displaystyle - \ alpha \ ln x _ {\ mathrm {m}}}
Weibull ( k vakio)	λ	–Λ k	(-η)1/k{\ displaystyle (- \ eta) ^ {1 / k}}	xk-1{\ displaystyle x ^ {k-1}}	x k	ln⁡(-η)-ln⁡k{\ displaystyle \ ln (- \ eta) - \ ln k}	kln⁡λ-ln⁡k{\ displaystyle k \ ln \ lambda - \ ln k}
Laplace ( μ- vakio)	b	-1b{\ displaystyle - {\ frac {1} {b}}}	-1η{\ displaystyle - {\ frac {1} {\ eta}}}	1	|x-μ|{\ displaystyle | x- \ mu |}	ln⁡(-2η){\ displaystyle \ ln \ vasen (- {\ frac {2} {\ eta}} \ oikea)}	ln (2 b )
Chi-neliö	v	v2-1{\ displaystyle {\ frac {\ nu} {2}} - 1}	2(η+1){\ displaystyle 2 (\ eta +1)}	e-x/2{\ displaystyle {\ rm {e}} ^ {- x / 2}}	ln ( x )	ln⁡Γ(η+1){\ displaystyle \ ln \ Gamma (\ eta +1)}   +(η+1)ln⁡2{\ displaystyle + (\ eta +1) \ ln 2}	ln⁡Γ(v2){\ displaystyle \ ln \ Gamma \ vasen ({\ frac {\ nu} {2}} \ oikea)}    +v2ln⁡2{\ displaystyle + {\ frac {\ nu} {2}} \ ln 2}
Normaali (vakio varianssi)	μ	μσ{\ displaystyle {\ frac {\ mu} {\ sigma}}}	σ η	12πσe-x22σ2{\ displaystyle {\ frac {1} {{\ sqrt {2 \ pi}} \ sigma}} {\ rm {e}} ^ {- {\ frac {x ^ {2}} {2 \ sigma ^ {2 }}}}}	xσ{\ displaystyle {\ frac {x} {\ sigma}}}	-η22{\ displaystyle - {\ frac {\ eta ^ {2}} {2}}}	μ22σ2{\ displaystyle {\ frac {\ mu ^ {2}} {2 \ sigma ^ {2}}}}
Normaali	μ , σ 2	[μσ2-12σ2]{\ displaystyle {\ begin {bmatrix} {\ dfrac {\ mu} {\ sigma ^ {2}}} \\ [10pt] - {\ dfrac {1} {2 \ sigma ^ {2}}} \ end { bmatrix}}}	[-η12η2-12η2]{\ displaystyle {\ begin {bmatrix} - {\ dfrac {\ eta _ {1}} {2 \ eta _ {2}}} \\ [15pt] - {\ dfrac {1} {2 \ eta _ {2 }}} \ end {bmatrix}}}	12π{\ displaystyle {\ frac {1} {\ sqrt {2 \ pi}}}}	[xx2]{\ displaystyle {\ begin {bmatrix} x \\ x ^ {2} \ end {bmatrix}}}	-η124η2-12ln⁡(-2η2){\ displaystyle - {\ frac {\ eta _ {1} ^ {2}} {4 \ eta _ {2}}} - {\ frac {1} {2}} \ ln (-2 \ eta _ {2 })}	μ22σ2+ln⁡σ{\ displaystyle {\ frac {\ mu ^ {2}} {2 \ sigma ^ {2}}} + \ ln \ sigma}
Loki-normaali	μ , σ 2	[μσ2-12σ2]{\ displaystyle {\ begin {bmatrix} {\ dfrac {\ mu} {\ sigma ^ {2}}} \\ [10pt] - {\ dfrac {1} {2 \ sigma ^ {2}}} \ end { bmatrix}}}	[-η12η2-12η2]{\ displaystyle {\ begin {bmatrix} - {\ dfrac {\ eta _ {1}} {2 \ eta _ {2}}} \\ [15pt] - {\ dfrac {1} {2 \ eta _ {2 }}} \ end {bmatrix}}}	12πx{\ displaystyle {\ frac {1} {{\ sqrt {2 \ pi}} x}}}	[ln⁡x(ln⁡x)2]{\ displaystyle {\ begin {bmatrix} \ ln x \\ (\ ln x) ^ {2} \ end {bmatrix}}}	-η124η2-12ln⁡(-2η2){\ displaystyle - {\ frac {\ eta _ {1} ^ {2}} {4 \ eta _ {2}}} - {\ frac {1} {2}} \ ln (-2 \ eta _ {2 })}	μ22σ2+ln⁡σ{\ displaystyle {\ frac {\ mu ^ {2}} {2 \ sigma ^ {2}}} + \ ln \ sigma}
Käänteinen normaali	μ , λ	[-λ2μ2-λ2]{\ displaystyle {\ begin {bmatrix} - {\ dfrac {\ lambda} {2 \ mu ^ {2}}} \\ [15pt] - {\ dfrac {\ lambda} {2}} \ end {bmatrix}} }	[η2η1-2η2]{\ displaystyle {\ begin {bmatrix} {\ sqrt {\ dfrac {\ eta _ {2}} {\ eta _ {1}}}} \\ [15pt] -2 \ eta _ {2} \ end {bmatrix }}}	12πx3/2{\ displaystyle {\ frac {1} {{\ sqrt {2 \ pi}} x ^ {3/2}}}}	[x1x]{\ displaystyle {\ begin {bmatrix} x \\ [5pt] {\ dfrac {1} {x}} \ end {bmatrix}}}	-2η1η2-12ln⁡(-2η2){\ displaystyle -2 {\ sqrt {\ eta _ {1} \ eta _ {2}}} - {\ frac {1} {2}} \ ln (-2 \ eta _ {2})}	-λμ-12ln⁡λ{\ displaystyle - {\ frac {\ lambda} {\ mu}} - {\ frac {1} {2}} \ ln \ lambda}
Gamma-Normaali	α , β , μ , λ	[a-12-β-λμ22λμ-λ2]{\ displaystyle {\ begin {bmatrix} \ alpha - {\ frac {1} {2}} \\ - \ beta - {\ dfrac {\ lambda \ mu ^ {2}} {2}} \\\ lambda \ mu \\ - {\ dfrac {\ lambda} {2}} \ end {bmatrix}}}	[η1+12-η2+η324η4-η32η4-2η4]{\ displaystyle {\ begin {bmatrix} \ eta _ {1} + {\ frac {1} {2}} \\ - \ eta _ {2} + {\ dfrac {\ eta _ {3} ^ {2} } {4 \ eta _ {4}}} \\ - {\ dfrac {\ eta _ {3}} {2 \ eta _ {4}}} \\ - 2 \ eta _ {4} \ end {bmatrix} }}	12π{\ displaystyle {\ dfrac {1} {\ sqrt {2 \ pi}}}}	[ln⁡τττxτx2]{\ displaystyle {\ begin {bmatrix} \ ln \ tau \\\ tau \\\ tau x \\\ tau x ^ {2} \ end {bmatrix}}}	ln⁡Γ(η1+12){\ displaystyle \ ln \ Gamma \ vasen (\ eta _ {1} + {\ frac {1} {2}} \ oikea)}   -12ln⁡(-2η4){\ displaystyle - {\ frac {1} {2}} \ ln \ vasen (-2 \ eta _ {4} \ oikea)}   -(η1+12)ln⁡(η324η4-η2){\ displaystyle - \ left (\ eta _ {1} + {\ frac {1} {2}} \ right) \ ln \ left ({\ dfrac {\ eta _ {3} ^ {2}} {4 \ eta _ {4}}} - \ eta _ {2} \ oikea)}	ln⁡Γ(a)-aln⁡β|{\ displaystyle \ ln \ Gamma \ vasen (\ alpha \ right) - \ alpha \ ln \ beta |}       -12ln⁡λ{\ displaystyle - {\ frac {1} {2}} \ ln \ lambda}
Gamma	r , λ	[r-1-λ]{\ displaystyle {\ begin {bmatrix} r-1 \\ - \ lambda \ end {bmatrix}}}	[η1+1-η2]{\ displaystyle {\ begin {bmatrix} \ eta _ {1} +1 \\ - \ eta _ {2} \ end {bmatrix}}}	1	[ln⁡xx]{\ displaystyle {\ begin {bmatrix} \ ln x \\ x \ end {bmatrix}}}	ln⁡Γ(η1+1){\ displaystyle \ ln \ Gamma (\ eta _ {1} +1)}   -(η1+1)ln⁡(-η2){\ displaystyle - (\ eta _ {1} +1) \ ln (- \ eta _ {2})}	ln⁡Γ(r)-rln⁡λ{\ displaystyle \ ln \ Gamma (r) -r \ ln \ lambda}
	k , θ	[k-1-1θ]{\ displaystyle {\ begin {bmatrix} k-1 \\ [5pt] - {\ dfrac {1} {\ theta}} \ end {bmatrix}}}	[η1+1-1η2]{\ displaystyle {\ begin {bmatrix} \ eta _ {1} +1 \\ [5pt] - {\ dfrac {1} {\ eta _ {2}}} \ end {bmatrix}}}				ln⁡Γ(k)+kln⁡θ{\ displaystyle \ ln \ Gamma (k) + k \ ln \ theta}
Käänteinen gamma	r , λ	[-r-1-λ]{\ displaystyle {\ begin {bmatrix} -r-1 \\ - \ lambda \ end {bmatrix}}}	[-η1-1-η2]{\ displaystyle {\ begin {bmatrix} - \ eta _ {1} -1 \\ - \ eta _ {2} \ end {bmatrix}}}	1	[ln⁡x1/x]{\ displaystyle {\ begin {bmatrix} \ ln x \\ 1 / x \ end {bmatrix}}}	ln⁡Γ(-η1-1){\ displaystyle \ ln \ Gamma (- \ eta _ {1} -1)}   -(-η1-1)ln⁡(-η2){\ displaystyle - (- \ eta _ {1} -1) \ ln (- \ eta _ {2})}	ln⁡Γ(r)-rln⁡λ{\ displaystyle \ ln \ Gamma (r) -r \ ln \ lambda}
Käänteinen chi-neliö	ν , σ 2	[-v2-1-vσ22]{\ displaystyle {\ begin {bmatrix} - {\ dfrac {\ nu} {2}} - 1 \\ [10pt] - {\ dfrac {\ nu \ sigma ^ {2}} {2}} \ end {bmatrix }}}	[-2(η1+1)η2η1+1]{\ displaystyle {\ begin {bmatrix} -2 (\ eta _ {1} +1) \\ [10pt] {\ dfrac {\ eta _ {2}} {\ eta _ {1} +1}} \ end {bmatrix}}}	1	[ln⁡x1/x]{\ displaystyle {\ begin {bmatrix} \ ln x \\ 1 / x \ end {bmatrix}}}	ln⁡Γ(-η1-1){\ displaystyle \ ln \ Gamma (- \ eta _ {1} -1)}   -(-η1-1)ln⁡(-η2){\ displaystyle - (- \ eta _ {1} -1) \ ln (- \ eta _ {2})}	ln⁡Γ(v2)|{\ displaystyle \ ln \ Gamma \ vasen ({\ frac {\ nu} {2}} \ oikea) |}       -v2ln⁡vσ22{\ displaystyle - {\ frac {\ nu} {2}} \ ln {\ frac {\ nu \ sigma ^ {2}} {2}}}
Beeta	α , β	[aβ]{\ displaystyle {\ begin {bmatrix} \ alpha \\\ beta \ end {bmatrix}}}	[η1η2]{\ displaystyle {\ begin {bmatrix} \ eta _ {1} \\\ eta _ {2} \ end {bmatrix}}}	1x(1-x){\ displaystyle {\ frac {1} {x (1-x)}}}	[ln⁡xln⁡(1-x)]{\ displaystyle {\ begin {bmatrix} \ ln x \\\ ln (1-x) \ end {bmatrix}}}	ln⁡Γ(η1)+ln⁡Γ(η2){\ displaystyle \ ln \ Gamma (\ eta _ {1}) + \ ln \ Gamma (\ eta _ {2})}   -ln⁡Γ(η1+η2){\ displaystyle - \ ln \ Gamma (\ eta _ {1} + \ eta _ {2})}	ln⁡Γ(a)+ln⁡Γ(β){\ displaystyle \ ln \ Gamma (\ alpha) + \ ln \ Gamma (\ beta)}   -ln⁡Γ(a+β){\ displaystyle - \ ln \ Gamma (\ alpha + \ beta)}
Dirichlet	α 1 , ..., α k	[a1-1⋮ak-1]{\ displaystyle {\ begin {bmatrix} \ alpha _ {1} -1 \\\ vdots \\\ alpha _ {k} -1 \ end {bmatrix}}}	[η1+1⋮ηk+1]{\ displaystyle {\ begin {bmatrix} \ eta _ {1} +1 \\\ vdots \\\ eta _ {k} +1 \ end {bmatrix}}}	1	[ln⁡x1⋮ln⁡xk]{\ displaystyle {\ begin {bmatrix} \ ln x_ {1} \\\ vdots \\\ ln x_ {k} \ end {bmatrix}}}	∑i=1kln⁡Γ(ηi+1){\ displaystyle \ summa _ {i = 1} ^ {k} \ ln \ Gamma (\ eta _ {i} +1)}   -ln⁡Γ(∑i=1k(ηi+1)){\ displaystyle - \ ln \ Gamma \ vasen (\ summa _ {i = 1} ^ {k} \ vasen (\ eta _ {i} +1 \ oikea) \ oikea)}	∑i=1kln⁡Γ(ai)|{\ displaystyle \ summa _ {i = 1} ^ {k} \ ln \ Gamma (\ alpha _ {i}) |}       -ln⁡Γ(∑i=1kai){\ displaystyle - \ ln \ Gamma \ vasen (\ summa _ {i = 1} ^ {k} \ alfa _ {i} \ oikea)}
Monimuuttuja normaali	μ , Σ	[Σ-1μ-12Σ-1]{\ displaystyle {\ begin {bmatrix} {\ boldsymbol {\ Sigma}} ^ {- 1} {\ boldsymbol {\ mu}} \\ [5pt] - {\ frac {1} {2}} {\ boldsymbol { \ Sigma}} ^ {- 1} \ end {bmatrix}}}	[-12η2-1η1-12η2-1]{\ displaystyle {\ begin {bmatrix} - {\ frac {1} {2}} {\ boldsymbol {\ eta}} _ {2} ^ {- 1} {\ boldsymbol {\ eta}} _ {1} \ \ [5pt] - {\ frac {1} {2}} {\ boldsymbol {\ eta}} _ {2} ^ {- 1} \ end {bmatrix}}}	(2π)-k/2{\ displaystyle (2 \ pi) ^ {- k / 2}}	[xxxT]{\ displaystyle {\ begin {bmatrix} \ mathbf {x} \\ [5pt] \ mathbf {x} \ mathbf {x} ^ {\ mathrm {T}} \ end {bmatrix}}}	-14η1Tη2-1η1{\ displaystyle - {\ frac {1} {4}} {\ boldsymbol {\ eta}} _ {1} ^ {\ rm {T}} {\ boldsymbol {\ eta}} _ {2} ^ {- 1 } {\ lihavoitu symboli {\ eta}} _ {1}}       -12ln⁡|-2η2|{\ displaystyle - {\ frac {1} {2}} \ ln \ vasen | -2 {\ lihavoitu symboli {\ eta}} _ {2} \ oikea |}	12μTΣ-1μ|{\ displaystyle {\ frac {1} {2}} {\ boldsymbol {\ mu}} ^ {\ rm {T}} {\ boldsymbol {\ Sigma}} ^ {- 1} {\ boldsymbol {\ mu}} |}       +12ln⁡|Σ|{\ displaystyle + {\ frac {1} {2}} \ ln | {\ lihavoitu symboli {\ Sigma}} |}}
Wishart	V , n	[-12V-1ei-s-12]{\ displaystyle {\ begin {bmatrix} - {\ frac {1} {2}} \ mathbf {V} ^ {- 1} \\ [5pt] {\ dfrac {np-1} {2}} \ end { bmatrix}}}	[-12η1-12η2+s+1]{\ displaystyle {\ begin {bmatrix} - {\ frac {1} {2}} {{\ boldsymbol {\ eta}} _ {1}} ^ {- 1} \\ [5pt] 2 \ eta _ {2 } + p + 1 \ loppu {bmatrix}}}	1	[Xln⁡|X|]{\ displaystyle {\ begin {bmatrix} \ mathbf {X} \\\ ln | \ mathbf {X} | \ end {bmatrix}}}	-(η2+s+12)ln⁡|-η1|{\ displaystyle - \ left (\ eta _ {2} + {\ frac {p + 1} {2}} \ right) \ ln | - {\ lihavoitu symboli {\ eta}} _ {1} |}       +ln⁡Γs(η2+s+12)={\ displaystyle + \ ln \ Gamma _ {p} \ vasen (\ eta _ {2} + {\ frac {p + 1} {2}} \ oikea) =} -ei2ln⁡|-η1|+ln⁡Γs(ei2)={\ displaystyle - {\ frac {n} {2}} \ ln | - {\ lihavoitu symboli {\ eta}} _ {1} | + \ ln \ Gamma _ {p} \ vasen ({\ frac {n} { 2}} \ oikea) =} (η2+s+12)(sln⁡2+ln⁡|V|){\ displaystyle \ left (\ eta _ {2} + {\ frac {p + 1} {2}} \ right) (p \ ln 2+ \ ln | \ mathbf {V} |)}       +ln⁡Γs(η2+s+12){\ displaystyle + \ ln \ Gamma _ {p} \ vasen (\ eta _ {2} + {\ frac {p + 1} {2}} \ oikea)}	ei2(sln⁡2+ln⁡|V|){\ displaystyle {\ frac {n} {2}} (p \ ln 2+ \ ln | \ mathbf {V} |)}   +ln⁡Γs(ei2){\ displaystyle + \ ln \ Gamma _ {p} \ vasen ({\ frac {n} {2}} \ oikea)}
	A ( η ) annetaan kolmessa muodossa momenttien laskemisen helpottamiseksi. HUOMAUTUS : Muista, että Tr ( A'B ) = vec ( A ) • vec ( B )  ; eli jälki on matriisi tuote on kuin piste tuote . Matriisiparametreja pidetään eksponentiaalisessa vektorissa. Lisäksi V ja X ovat symmetrisiä.
Käänteinen toivelista	Ψ , m	[-12Ψ-m+s+12]{\ displaystyle {\ begin {bmatrix} - {\ frac {1} {2}} {\ boldsymbol {\ Psi}} \\ [5pt] - {\ dfrac {m + p + 1} {2}} \ end {bmatrix}}}	[-2η1-(2η2+s+1)]{\ displaystyle {\ begin {bmatrix} -2 {\ boldsymbol {\ eta}} _ {1} \\ [5pt] - (2 \ eta _ {2} + p + 1) \ end {bmatrix}}}	1	[X-1ln⁡|X|]{\ displaystyle {\ begin {bmatrix} \ mathbf {X} ^ {- 1} \\\ ln | \ mathbf {X} | \ end {bmatrix}}}	ln⁡Γs(-(η2+s+12))+{\ displaystyle \ ln \ Gamma _ {p} \ vasen (- \ vasen (\ eta _ {2} + {\ frac {p + 1} {2}} \ oikea) \ oikea) +}    (η2+s+12)ln⁡|-η1|={\ displaystyle \ left (\ eta _ {2} + {\ frac {p + 1} {2}} \ right) \ ln | - {\ lihavoitu symboli {\ eta}} _ {1} | =} ln⁡Γs(m2)-m2ln⁡|-η1|={\ displaystyle \ ln \ Gamma _ {p} \ vasen ({\ frac {m} {2}} \ oikea) - {\ frac {m} {2}} \ ln | - {\ lihavoitu symboli {\ eta}} _ {1} | =} ln⁡Γs(-(η2+s+12))-{\ displaystyle \ ln \ Gamma _ {p} \ vasen (- \ vasen (\ eta _ {2} + {\ frac {p + 1} {2}} \ oikea) \ oikea) -}  (η2+s+12)(sln⁡2-ln⁡|Ψ|){\ displaystyle \ left (\ eta _ {2} + {\ frac {p + 1} {2}} \ right) (p \ ln 2- \ ln | {\ lihavoitu symboli {\ Psi}} |)}	m2(sln⁡2-ln⁡|Ψ|){\ displaystyle {\ frac {m} {2}} (p \ ln 2- \ ln | {\ lihavoitu symboli {\ Psi}} |)}   +ln⁡Γs(m2){\ displaystyle + \ ln \ Gamma _ {p} \ vasen ({\ frac {m} {2}} \ oikea)}
monikokoinen ( vakio n ) (= Multi-Bernoulli, jos n = 1), versio 1	p 1 , ..., p k ja ∑i=1ksi=1{\ displaystyle \ summa _ {i = 1} ^ {k} p_ {i} = 1}	[ln⁡s1⋮ln⁡sk]{\ displaystyle {\ begin {bmatrix} \ ln p_ {1} \\\ vdots \\\ ln p_ {k} \ end {bmatrix}}}	[eη1⋮eηk]{\ displaystyle {\ begin {bmatrix} {\ rm {e}} ^ {\ eta _ {1}} \\\ vdots \\ {\ rm {e}} ^ {\ eta _ {k}} \ end { bmatrix}}} ∑i=1keηi=1{\ displaystyle \ textstyle \ summa _ {i = 1} ^ {k} e ^ {\ eta _ {i}} = 1}	ei!∏i=1kxi!{\ displaystyle {\ frac {n!} {\ prod _ {i = 1} ^ {k} x_ {i}!}}}	[x1⋮xk]{\ displaystyle {\ begin {bmatrix} x_ {1} \\\ vdots \\ x_ {k} \ end {bmatrix}}}	0	0
Moninominen ( vakio n ) versio 2	p 1 , ..., s k -1 kanssa sk={\ displaystyle p_ {k} =}1-∑i=1k-1si{\ displaystyle 1- \ summa _ {i = 1} ^ {k-1} p_ {i}}	[ln⁡s1sk⋮ln⁡sk-1sk0]{\ displaystyle {\ begin {bmatrix} \ ln {\ dfrac {p_ {1}} {p_ {k}}} \\ [10pt] \ vdots \\ [5pt] \ ln {\ dfrac {p_ {k-1 }} {p_ {k}}} \\ [15pt] 0 \ loppu {bmatrix}}}	[eη1∑i=1keηi⋮eηk∑i=1keηi]{\ displaystyle {\ begin {bmatrix} {\ dfrac {{\ rm {e}} ^ {\ eta _ {1}}} {\ sum _ {i = 1} ^ {k} {\ rm {e}} ^ {\ eta _ {i}}}}} \\ [10pt] \ vdots \\ [5pt] {\ dfrac {{\ rm {e}} ^ {\ eta _ {k}}} {\ sum _ {i = 1} ^ {k} {\ rm {e}} ^ {\ eta _ {i}}}} \ end {bmatrix}}}	ei!∏i=1kxi!{\ displaystyle {\ frac {n!} {\ prod _ {i = 1} ^ {k} x_ {i}!}}}	[x1⋮xk]{\ displaystyle {\ begin {bmatrix} x_ {1} \\\ vdots \\ x_ {k} \ end {bmatrix}}}	ln⁡(∑i=1keηi){\ displaystyle \ ln \ left (\ sum _ {i = 1} ^ {k} {\ rm {e}} ^ {\ eta _ {i}} \ right)}	-ln⁡sk{\ displaystyle - \ ln p_ {k}}

Multinomiaalimuunnos johtuu siitä, että parametreja p i rajoittaa . Siksi on vain k -1 riippumatonta parametria. ∑i=1ksi=1{\ displaystyle \ summa _ {i = 1} ^ {k} p_ {i} = 1}

• Versiossa 1 näemme k luonnollista parametria ja yksinkertaisen suhteen tavallisten ja luonnollisten parametrien välillä. Kuitenkin vain luonnolliset parametrit k -1 ovat riippumattomia, ja yhtäkkiä k luonnollisten parametrien joukko on tunnistamaton. Normaalien parametrien rajoitus siirtyy samalla tavalla luonnollisiin parametreihin.

Huomaa, että versio 1 ei ole tavallinen eksponentiaalinen perhe. Se on kaareva eksponentiaalinen perhe, koska k- ulotteiseen avaruuteen sisällytetään k -1 riippumatonta parametria . Eksponentiaalisten perheiden perusominaisuudet eivät koske kaarevia eksponentiaalisia perheitä. Esimerkiksi näemme, että loki-osiointitoiminnolla A ( x ) on arvo 0.

• Versio 2 näyttää yksinkertaisen tavan tehdä parametrit tunnistettaviksi asettamalla p k . Tämä pakottaa viimeksi luonnollinen parametrin vakioarvo 0. muita kaavoja on kirjoitettu siten, ettei käytön p k , niin että malli on vain k -1 parametrit, sekä normaali- muodossa ja kanonisessa muodossa.

Sovellukset

Tilastollinen päätelmä

Klassinen arvio: täydellisyys

Lause Pitman -Koopman- Darmois osoittaa, että yksi perheiden jakaumien joiden verkkotunnus on riippumaton parametri arvioidaan, vain eksponentiaalinen perheet tarjota riittävä tilasto, jonka ulottuvuus on edelleen rajoittuu kun näyte koko kasvaa.

Konkreettisesti olkoon X k , (missä k = 1, 2, 3, ... n ) riippumaton , identtisesti jakautunut satunnaismuuttuja . Niiden jakauman on oltava eksponentiaaliperhettä, jotta on olemassa riittävä tilasto T ( X 1 , ..., X n ), jonka skalaarikomponenttien määrä ei kasva otoksen koon n kanssa  : sen ulottuvuus ei muutu, kun keräämme lisää tietoja.

Bayesin arvio: konjugaattijakaumat

In Bayes-päättely , a priori jakauma parametrin, joka arvioidaan kerrotaan uskottavuuden funktio (normalisoidaan sitten) ja johtaa siihen, että jälkikäteen jakelu .

Konjugaatti prioritar on a priori jakauma , joka yhdistämisen jälkeen kanssa uskottavuuden funktio, antaa jälkikäteen jakauma samaa tyyppiä, mikä tekee siitä erityisen helppo laskea posterior. Esimerkiksi binomijakauman onnistumisen todennäköisyyden p arvioimiseksi, jos otamme prioriteetiksi beetajakauman, takaosa on toinen beetajakauma. Samoin Poisson-parametrin arvio gamma-prioriteetilla antaa posteriorisen gamman. Konjugaattiprioriteetit ovat usein erittäin käytännöllisiä joustavuutensa vuoksi.

Kun todennäköisyysfunktiolla on eksponentiaalinen perhe, on konjugaattiprioriteetti, jolla on yleensä myös eksponentiaalinen perhe. Pääsääntöisesti todennäköisyysfunktio ei ole eksponentiaalista perhettä, eikä siksi tule olemaan konjugaattiprioriteettia. Takapuoli on laskettava numeerisilla menetelmillä.

Konjugaattiprioriteetti π (" priorille ") eksponentiaalisen perheen parametrille η saadaan

π(η|χ,v)=f(χ,v)exp⁡(ηTχ-vAT(η))=f(χ,v)klo(η)vexp⁡(ηTχ),{\ displaystyle \ pi ({\ boldsymbol {\ eta}} | {\ boldsymbol {\ chi}}, \ nu) = f ({\ boldsymbol {\ chi}}, \ nu) \ exp ({\ boldsymbol {\ eta}} ^ {\ rm {T}} {\ boldsymbol {\ chi}} - \ nu \, A ({\ boldsymbol {\ eta}})) = f ({\ boldsymbol {\ chi}}, \ nu ) a ({\ boldsymbol {\ eta}}) ^ {\ nu} \ exp ({\ boldsymbol {\ eta}} ^ {\ rm {T}} {\ boldsymbol {\ chi}}),}

tai

• ν > 0 edustaa prioressin antamaa havaintojen virtuaalimäärää.
• χ∈Rs{\ displaystyle {\ boldsymbol {\ chi}} \ in \ mathbb {R} ^ {s}}( s on η: n ulottuvuus ) edustaa näiden näennäishavaintojen osuutta riittävässä tilastossa, joka koostuu kaikista havainnoista ja näennäishavainnoista.

χ ja ν ovat hyperparametreja (parametreja ohjaavat parametrit).

• f ( χ , ν ) on muiden funktioiden automaattisesti määrittämä normalisointivakio, joka varmistaa, että π ( η | χ , ν ) on tiheysfunktio.
• A ( η ) (tai A ( η ) ) ovat samat toiminnot kuin jakaumassa p ( x | χ ) , jolle π on konjugaattiprioriteetti.

Jos haluat nähdä, että tämä a priori -jakauma on konjugaattiprioriteetti, lasketaan takaosa.

Antaa olla tiheys (tai todennäköisyys) funktio havainto, eksponentiaalinen perhe, kirjoitettu luonnollisena parametrina:

s(x|η)=b(x)klo(η)exp⁡( ηTT(x) ){\ displaystyle p (x | {\ boldsymbol {\ eta}}) = b (x) a ({\ boldsymbol {\ eta}}) \ exp \ left (\ {\ boldsymbol {\ eta}} ^ {\ rm {T}} \ mathbf {T} (x) \ \ oikea) \, \!}

Datan todennäköisyys X = ( x 1 , ..., x n ) saadaan seuraavasti:

s(X|η)=(∏i=1eib(xi))klo(η)eiexp⁡( ηT(∑i=1eiT(xi)) ){\ displaystyle p (\ mathbf {X} | {\ lihavoitu symboli {\ eta}}) = \ vasen (\ prod _ {i = 1} ^ {n} b (x_ {i}) \ oikea) a ({\ lihavoitu symboli {\ eta}}) ^ {n} \ exp \ left (\ {\ boldsymbol {\ eta}} ^ {\ rm {T}} \ left (\ sum _ {i = 1} ^ {n} \ mathbf {T} (x_ {i}) \ oikea) \ \ oikea)}

Siksi soveltamalla yllä olevaa a priori -jakaumaa :

π(η|χ,v)=f(χ,v)klo(η)vexp⁡(ηTχ)∝klo(η)vexp⁡(ηTχ){\ displaystyle {\ begin {aligned} \ pi ({\ boldsymbol {\ eta}} | {\ boldsymbol {\ chi}}, \ nu) & = f ({\ boldsymbol {\ chi}}, \ nu) a ({\ boldsymbol {\ eta}}) ^ {\ nu} \ exp ({\ boldsymbol {\ eta}} ^ {\ rm {T}} {\ boldsymbol {\ chi}}) ja \ propto a ({\ lihavoitu symboli {\ eta}}) ^ {\ nu} \ exp ({\ boldsymbol {\ eta}} ^ {\ rm {T}} {\ boldsymbol {\ chi}}) \ end {tasattu}}}

johdamme takaosan:

s(η|X,χ,v)∝s(X|η)π(η|χ,v)=(∏i=1eib(xi))klo(η)eiexp⁡( ηT(∑i=1eiT(xi)) )f(χ,v)klo(η)vexp⁡(ηTχ)∝klo(η)eiexp⁡( ηT(∑i=1eiT(xi)) )klo(η)vexp⁡(ηTχ)∝klo(η)v+eiexp⁡( ηT(χ+∑i=1eiT(xi)) ){\ displaystyle {\ begin {aligned} p ({\ boldsymbol {\ eta}} | \ mathbf {X}, {\ boldsymbol {\ chi}}, \ nu) & \ propto p (\ mathbf {X} | { \ boldsymbol {\ eta}}) \ pi ({\ boldsymbol {\ eta}} | {\ boldsymbol {\ chi}}, \ nu) \\ & = vasemmalle (\ prod _ {i = 1} ^ {n } b (x_ {i}) \ oikea) a ({\ lihavoitu symboli {\ eta}}) ^ {n} \ exp \ vasen (\ {\ boldsymbol {\ eta}} ^ {\ rm {T}} \ vasen (\ sum _ {i = 1} ^ {n} \ mathbf {T} (x_ {i}) \ oikea) \ \ oikea) f ({\ boldsymbol {\ chi}}, \ nu) a ({\ boldsymbol {\ eta}}) ^ {\ nu} \ exp ({\ boldsymbol {\ eta}} ^ {\ rm {T}} {\ boldsymbol {\ chi}}) \\ & \ propto a ({\ boldsymbol { \ eta}}) ^ {n} \ exp \ left (\ {\ boldsymbol {\ eta}} ^ {\ rm {T}} \ left (\ summa _ {i = 1} ^ {n} \ mathbf {T } (x_ {i}) \ oikea) \ \ oikea) a ({\ boldsymbol {\ eta}}) ^ {\ nu} \ exp ({\ boldsymbol {\ eta}} ^ {\ rm {T}} { \ boldsymbol {\ chi}}) \\ & \ propto a ({\ boldsymbol {\ eta}}) ^ {\ nu + n} \ exp \ left (\ {\ boldsymbol {\ eta}} ^ {\ rm { T}} \ vasen ({\ lihavoitu symboli {\ chi}} + \ summa _ {i = 1} ^ {n} \ mathbf {T} (x_ {i}) \ oikea) \ \ oikea) \ loppu {tasattu} }}

Siten takaosalla on sama muoto kuin etupuolella:

s(η|X,χ,v)=π(η|[χ+∑i=1eiT(xi)],[v+ei]){\ displaystyle p ({\ boldsymbol {\ eta}} | \ mathbf {X}, {\ boldsymbol {\ chi}}, \ nu) = \ pi ({\ boldsymbol {\ eta}} | [{\ boldsymbol { \ chi}} + \ summa _ {i = 1} ^ {n} \ mathbf {T} (x_ {i})], [\ nu + n])}

Huomaa, että huomautukset X syötä kaava vain kautta , toisin sanoen riittävä tilasto havaintojen. Tämä vahvistaa, että riittävän tilaston arvo määrittää täysin takajakauman . Havaintojen yksittäisiä arvoja ei vaadita; mikä tahansa tietojoukko, jolla on sama arvo riittävälle tilastolle, tuottaa saman jakauman. Muistakaamme nyt, että riittävän tilastotiedon ulottuvuus ei kasva otoksen koon mukaan: sillä on korkeintaan η : n komponenttien määrä (nimittäin yhden peruspisteen jakauman parametrien määrä). T(X)=∑i=1eiT(xi){\ displaystyle \ mathbf {T} (\ mathbf {X}) = \ summa _ {i = 1} ^ {n} \ mathbf {T} (x_ {i})}

Uudet hyperparametrit ovat

χ⟹χ+T(X)=χ+∑i=1eiT(xi){\ displaystyle {\ boldsymbol {\ chi}} \ tarkoittaa {\ boldsymbol {\ chi}} + \ mathbf {T} (\ mathbf {X}) = {\ boldsymbol {\ chi}} + \ summa _ {i = 1} ^ {n} \ mathbf {T} (x_ {i})}
v⟹v+ei{\ displaystyle \ nu \ merkitsee \ nu + n}

Bayesin päivitys edellyttää vain havaintojen määrän ja tietojen riittävän tilastollisen arvon tuntemista.

Hypoteesitestit: tasaisemmin tehokkaat testit

Eksponentiaaliselle perheelle, jolla on yksi parametri θ , jos η ( θ ) ei vähene, todennäköisyyssuhde on riittävän tilaston T ( x ) monotoninen funktio, joka ei vähene . Näin ollen, on olemassa "tasaisesti tehokkaampi" hypoteesi testi testi H 0  : ie ≥ ie 0 vastaanH 1  : θ < θ 0 .

Yleistetty lineaarinen malli

Eksponentiaalinen perhe on jakelutoimintojen perusta yleisessä lineaarisessa mallissa , joka sisältää suurimman osan regressiomalleista tilastossa ja ekonometriassa .

Hetket ja kumulatiiviset tilastot

T-kumulanttien laskeminen erilaistamalla

Momenttifunktio on T ( x ) on määritelty

mT(u)≡E[eu′T(x)|η]=∫xb(x)e(η+u)′T(x)-AT(η)dx=eAT(η+u)-AT(η){\ displaystyle m_ {T} (u) \ equiv \ mathbb {E} [{\ rm {e}} ^ {u'T (x)} | \ eta] = \ int _ {x} b (x) { \ rm {e}} ^ {(\ eta + u) 'T (x) -A (\ eta)} \ mathrm {d} x = {\ rm {e}} ^ {A (\ eta + u) - A (\ eta)}}

Näin ollen, K ( u | r | ) = ( r | + u ) - ( r | ) on cumulant generoiva funktio ja T .

Huom. Luonnollisessa eksponentiaalisessa alaryhmässä (missä T ( x ) = x ) se on x: n momenttien generaattoritoiminto .

Määrittelemällä kumulanttien generaattoritoiminto,

E(Tj)=∂AT(η)∂ηj ja vs.ov(Ti,Tj)=∂2AT(η)∂ηi∂ηj.{\ displaystyle \ mathbb {E} (T_ {j}) = {\ frac {\ osittainen A (\ eta)} {\ osittainen \ eta _ {j}}} \ {\ textrm {et}} \ \ mathrm { cov} (T_ {i}, T_ {j}) = {\ frac {\ osittainen ^ {2} A (\ eta)} {\ osittainen \ eta _ {i} \, \ osittainen eta _ {j}} }.}

Korkeammat tilaukset ja kumulantit saadaan korkeammilla johdannaisilla. Tämä tekniikka on erityisen hyödyllinen, kun T on monimutkainen toiminto, jonka momentteja on vaikea laskea integroimalla.

Tämä tulos voidaan osoittaa käyttämättä kumulatiivista teoriaa .

Esimerkki: joko

s(x)=klo(η)b(x)eηT(x){\ displaystyle p (x) = a (\ eta) b (x) {\ rm {e}} ^ {\ eta T (x)}}.

Normalisointirajoituksella

1=∫xs(x)dx=∫xklo(η)b(x)eηT(x)dx=klo(η)∫xb(x)eηT(x)dx{\ displaystyle 1 = \ int _ {x} p (x) \, \ mathrm {d} x = \ int _ {x} a (\ eta) b (x) {\ rm {e}} ^ {\ eta T (x)} \ mathrm {d} x = a (\ eta) \ int _ {x} b (x) {\ rm {e}} ^ {\ eta T (x)} \ mathrm {d} x}.

Johdetaan molemmat puolet verrattuna η  :

0=klo(η)ddη∫xb(x)eηT(x)dx+klo′(η)∫xb(x)eηT(x)dx=klo(η)∫xb(x)(ddηeηT(x))dx+klo′(η)∫xb(x)eηT(x)dx=klo(η)∫xb(x)eηT(x)T(x)dx+klo′(η)∫xb(x)eηT(x)dx=∫xT(x)klo(η)b(x)eηT(x)dx+klo′(η)klo(η)∫xklo(η)b(x)eηT(x)dx=∫xT(x)s(x)dx+klo′(η)klo(η)∫xs(x)dx=E[T(x)]+klo′(η)klo(η)=E[T(x)]+ddηln⁡klo(η){\ displaystyle {\ begin {aligned} 0 & = a (\ eta) {\ frac {d} {d \ eta}} \ int _ {x} b (x) {\ rm {e}} ^ {\ eta T (x)} \, \ mathrm {d} x + a '(\ eta) \ int _ {x} b (x) {\ rm {e}} ^ {\ eta T (x)} \ mathrm {d } x \\ & = a (\ eta) \ int _ {x} b (x) \ left ({\ frac {d} {d \ eta}} {\ rm {e}} ^ {\ eta T (x )} \ oikea) \, \ mathrm {d} x + a '(\ eta) \ int _ {x} b (x) {\ rm {e}} ^ {\ eta T (x)} \ mathrm {d } x \\ & = a (\ eta) \ int _ {x} b (x) {\ rm {e}} ^ {\ eta T (x)} T (x) \, \ mathrm {d} x + a '(\ eta) \ int _ {x} b (x) e ^ {\ eta T (x)} \, \ mathrm {d} x \\ & = \ int _ {x} T (x) a ( \ eta) b (x) {\ rm {e}} ^ {\ eta T (x)} \, \ mathrm {d} x + {\ frac {a '(\ eta)} {a (\ eta)} } \ int _ {x} a (\ eta) b (x) {\ rm {e}} ^ {\ eta T (x)} \ mathrm {d} x \\ & = \ int _ {x} T ( x) p (x) dx + {\ frac {a '(\ eta)} {a (\ eta)}} \ int _ {x} p (x) \ mathrm {d} x \\ & = \ mathbb { E} [T (x)] + {\ frac {a '(\ eta)} {a (\ eta)}} \\ & = \ mathbb {E} [T (x)] + {\ frac {\ mathrm {d}} {\ mathrm {d} \ eta}} \ ln a (\ eta) \ loppu {tasattu}}}

Siksi,

E[T(x)]=-ddηln⁡klo(η)=ddηAT(η).{\ displaystyle \ mathbb {E} [T (x)] = - {\ frac {\ mathrm {d}} {\ mathrm {d} \ eta}} \ ln a (\ eta) = {\ frac {\ mathrm {d}} {\ mathrm {d} \ eta}} A (\ eta).}Esimerkkejä Gammalaki

Gammajakauma määritetään tiheysfunktion avulla

s(x)=λrΓ(r)xr-1e-λx.{\ displaystyle p (x) = {\ frac {\ lambda ^ {r}} {\ Gamma (r)}} x ^ {r-1} {\ rm {e}} ^ {- \ lambda x}.}

Yllä oleva taulukko antaa luonnollisen parametrin

η1=r-1,{\ displaystyle \ eta _ {1} = r-1,} η2=-λ,{\ displaystyle \ eta _ {2} = - \ lambda,}

joiden vastavuoroisuus on

r=η1+1,{\ displaystyle r = \ eta _ {1} +1,} λ=-η2.{\ displaystyle \ lambda = - \ eta _ {2}.}

Riittävät tilastot ovat (ln x , x ) ja loki-osio-funktio on

AT(η1,η2)=ln⁡Γ(η1+1)-(η1+1)ln⁡(-η2).{\ displaystyle A (\ eta _ {1}, \ eta _ {2}) = \ ln \ Gamma (\ eta _ {1} +1) - (\ eta _ {1} +1) \ ln (- \ eta _ {2}).}

Etsimme riittävän tilaston keskiarvoa. For η 1  :

E[ln⁡x]=∂AT(η1,η2)∂η1=∂∂η1(ln⁡Γ(η1+1)-(η1+1)ln⁡(-η2))=ψ(η1+1)-ln⁡(-η2)=ψ(r)-ln⁡λ,{\ displaystyle {\ begin {tasattu} \ mathbb {E} [\ ln x] & = {\ frac {\ osittainen A (\ eta _ {1}, \ eta _ {2})} {\ osittainen eta _ {1}}} = {\ frac {\ partituali {\ osittainen \ eta _ {1}}} \ vasen (\ ln \ Gamma (\ eta _ {1} +1) - (\ eta _ {1} + 1) \ ln (- \ eta _ {2}) \ oikea) \\ & = \ psi (\ eta _ {1} +1) - \ ln (- \ eta _ {2}) \\ & = \ psi (r) - \ ln \ lambda, \ end {tasattu}}}

missä ψ ( x ) on digammafunktio (johdettu log-gammasta).

Vastaavasti η 2  : lle:

E[x]=∂AT(η1,η2)∂η2=∂∂η2(ln⁡Γ(η1+1)-(η1+1)ln⁡(-η2))=-(η1+1)1-η2(-1)=η1+1-η2=rλ,{\ displaystyle {\ begin {tasattu} \ mathbb {E} [x] & = {\ frac {\ osittainen A (\ eta _ {1}, \ eta _ {2})} {\ osittainen eta _ {2 }}} = {\ frac {\ partitali {\ osittainen \ eta _ {2}}} \ vasen (\ ln \ Gamma (\ eta _ {1} +1) - (\ eta _ {1} +1) \ ln (- \ eta _ {2}) \ oikea) \\ & = - (\ eta _ {1} +1) {\ frac {1} {- \ eta _ {2}}} (- 1) = {\ frac {\ eta _ {1} +1} {- \ eta _ {2}}} \\ & = {\ frac {r} {\ lambda}}, \ end {tasattu}}}

X: n varianssin löytämiseksi meidän on erotettava toisistaan:

Var⁡(x)=∂2AT(η1,η2)∂η22=∂∂η2η1+1-η2=η1+1η22=rλ2.{\ displaystyle {\ begin {tasattu} \ operaattorin nimi {Var} (x) & = {\ frac {\ partitali ^ {2} A (\ eta _ {1}, \ eta _ {2})} {\ osittainen \ eta _ {2} ^ {2}}} = {\ frac {\ partitali {\ osittainen \ eta _ {2}}} {\ frac {\ eta _ {1} +1} {- \ eta _ {2 }}} \\ & = {\ frac {\ eta _ {1} +1} {\ eta _ {2} ^ {2}}} \\ & = {\ frac {r} {\ lambda ^ {2} }}. \ end {tasattu}}}

Kaikki nämä laskelmat voidaan tehdä integroimalla, aloittaen gammafunktiosta , mutta tämä vaatii enemmän vaivaa.

Epäsymmetrinen logistiikkalaki

Antaa olla todellinen satunnaismuuttuja X, jolla on epäsymmetrinen logistinen jakauma .

sθ(x)=θe-x(1+e-x)θ+1{\ displaystyle p _ {\ theta} (x) = {\ frac {\ theta {\ rm {e}} ^ {- x}} {(1 + {\ rm {e}} ^ {- x}) ^ {\ theta +1}}}}

missä θ > 0 on muodon parametri. Tämä tiheys otetaan huomioon seuraavasti:

e-x1+e-xexp⁡(-θHirsi⁡(1+e-x)+Hirsi⁡(θ)){\ displaystyle {\ frac {{\ rm {e}} ^ {- x}} {1 + {\ rm {e}} ^ {- x}}} \ exp (- \ theta \ log (1 + e ^ {-x}) + \ loki (\ theta))}}

Siksi se on eksponentiaalinen luonnonparametri η = - θ , joten riittävä tilasto on T = log (1 + e - x ) , ja log-osiointitoiminto on arvoltaan A ( η ) = –log ( θ ) = - Loki (- η ) .

Ensimmäisellä yhtälöllä

E(Hirsi⁡(1+e-X))=E(T)=∂AT(η)∂η=∂∂η[-Hirsi⁡(-η)]=1-η=1θ,{\ displaystyle \ mathbb {E} (\ log (1 + {\ rm {e}} ^ {- X})) = \ mathbb {E} (T) = {\ frac {\ osittainen A (\ eta)} {\ partituali \ eta}} = {\ frac {\ osallinen} {\ osallinen \ eta}} [- \ log (- \ eta)] = {\ frac {1} {- \ eta}} = {\ frac { 1} {\ theta}},}

ja toisella,

Vklor(Hirsi⁡(1+e-X))=∂2AT(η)∂η2=∂∂η[1-η]=1(-η)2=1θ2.{\ displaystyle \ mathrm {Var} (\ log (1 + {\ rm {e}} ^ {- X})) = {\ frac {\ osal ^ {2} A (\ eta)} {\ osittainen eta ^ {2}}} = {\ frac {\ partitali {\ osittainen \ eta}} \ vasen [{\ frac {1} {- \ eta}} \ oikea] = {\ frac {1} {(- \ eta) ^ {2}}} = {\ frac {1} {\ theta ^ {2}}}.}

Tässä esimerkissä menetelmän käyttö yksinkertaistaa laskelmia, suora lähestymistapa lisää huomattavasti tasa-arvoja.

Wishartin laki

Wishart jakauma on asetettu satunnaisesti matriiseja. Tämä viimeinen esimerkki koskee tapausta, jossa integraatio olisi erityisen vaikeaa. Huom. Johdanto itsessään on vaikeaa, koska se vaatii matriisilaskennan , mutta integraatio on huonompi.

Taulukko antaa luonnollisen parametrin

η1=-12V-1,{\ displaystyle {\ boldsymbol {\ eta}} _ {1} = - {\ frac {1} {2}} \ mathbf {V} ^ {- 1},} η2=ei-s-12,{\ displaystyle \ eta _ {2} = {\ frac {np-1} {2}},}

jonka vastavuoroinen muutos on

V=-12η1-1,{\ displaystyle \ mathbf {V} = - {\ frac {1} {2}} {{\ boldsymbol {\ eta}} _ {1}} ^ {- 1},} ei=2η2+s+1{\ displaystyle n = 2 \ eta _ {2} + p + 1}.

Riittävät tilastot ovat ( X , ln | X |) .

Loki-osio-funktio annetaan eri muodoissa erilaistumisen ja muunnosten helpottamiseksi. Käytämme seuraavia lomakkeita:

AT(η1,ei)=-ei2ln⁡|-η1|+ln⁡Γs(ei2),{\ displaystyle A ({\ boldsymbol {\ eta}} _ {1}, n) = - {\ frac {n} {2}} \ ln | - {\ boldsymbol {\ eta}} _ {1} | + \ ln \ Gamma _ {p} \ vasen ({\ frac {n} {2}} \ oikea),} AT(V,η2)=(η2+s+12)(sln⁡2+ln⁡|V|)+ln⁡Γs(η2+s+12).{\ displaystyle A (\ mathbf {V}, \ eta _ {2}) = \ vasen (\ eta _ {2} + {\ frac {p + 1} {2}} \ oikea) (p \ ln 2+ \ ln | \ mathbf {V} |) + \ ln \ Gamma _ {p} \ vasen (\ eta _ {2} + {\ frac {p + 1} {2}} \ oikea).} X: n odotus (liittyy η 1: een )

Johdannainen suhteessa η 1 perustuu tasa- arvomatriisin laskemiseen  :

∂ln⁡|kloX|∂X=(X-1)T{\ displaystyle {\ frac {\ partituali \ ln | a \ mathbf {X} |} {\ osittainen \ mathbf {X}}} = (\ mathbf {X} ^ {- 1}) ^ {\ rm {T} }}

Siitä lähtien :

E[X]=∂AT(η1,...)∂η1=∂∂η1[-ei2ln⁡|-η1|+ln⁡Γs(ei2)]=-ei2(η1-1)T=ei2(-η1-1)T=ei(V)T=eiV{\ displaystyle {\ begin {tasattu} \ mathbb {E} [\ mathbf {X}] & = {\ frac {\ osittainen A ({\ boldsymbol {\ eta}} _ {1}, \ ldots)} {\ osittainen {\ boldsymbol {\ eta}} _ {1}}} = {\ frac {\ parts} {\ osittainen {\ boldsymbol {\ eta}} _ {1}}} \ vasen [- {\ frac {n} {2}} \ ln | - {\ lihavoitu symboli {\ eta}} _ {1} | + \ ln \ Gamma _ {p} \ vasen ({\ frac {n} {2}} \ oikea) \ oikea] \ \ & = - {\ frac {n} {2}} ({\ lihavoitu symboli {\ eta}} _ {1} ^ {- 1}) ^ {\ rm {T}} = {\ frac {n} {2 }} (- {\ lihavoitu symboli {\ eta}} _ {1} ^ {- 1}) ^ {\ rm {T}} \\ & = n (\ mathbf {V}) ^ {\ rm {T}} \\ & = n \ mathbf {V} \ loppu {tasattu}}}

koska V on symmetrinen.

Toivottavasti ln | X | (liittyy η 2: een )

Ensinnäkin kehitämme loki-osion osan, joka sisältää monivaiheisen gammafunktion  :

ln⁡Γs(y)=ln⁡(πs(s-1)/4∏j=1sΓ[y+(1-j)/2])=s(s-1)/4ln⁡π+∑j=1sln⁡Γ[y+(1-j)/2]{\ displaystyle \ ln \ Gamma _ {p} (y) = \ ln \ left (\ pi ^ {p (p-1) / 4} \ prod _ {j = 1} ^ {p} \ Gamma \ left [ y + (1-j) / 2 \ oikea] \ oikea) = p (p-1) / 4 \ ln \ pi + \ summa _ {j = 1} ^ {p} \ ln \ Gamma \ vasen [y + (1 -j) / 2 \ oikea]}

Esittelemme digamma-toiminnon . ψ(x)=ddxln⁡Γ(x){\ displaystyle \ psi (x) = {\ frac {d} {dx}} \ ln \ Gamma (x)}

Siitä lähtien :

E[ln⁡|X|]=∂AT(...,η2)∂η2=∂∂η2[-(η2+s+12)(sln⁡2+ln⁡|V|)+ln⁡Γs(η2+s+12)]=∂∂η2[(η2+s+12)(sln⁡2+ln⁡|V|)+s(s-1)/4ln⁡π+∑j=1sln⁡Γ(η2+s+12+(1-j)/2)]=sln⁡2+ln⁡|V|+∑j=1sψ[η2+s+12+(1-j)/2]=sln⁡2+ln⁡|V|+∑j=1sψ[ei-s-12+s+12+(1-j)/2]=sln⁡2+ln⁡|V|+∑j=1sψ[ei2+(1-j)/2]=sln⁡2+ln⁡|V|+∑j=1sψ(ei+1-j2){\ displaystyle {\ begin {tasattu} \ mathbb {E} [\ ln | \ mathbf {X} |] & = {\ frac {\ osa A (\ ldots, \ eta _ {2})} {\ osittainen \ eta _ {2}}} = {\ frac {\ partitali {\ osittainen eta _ {2}}} \ vasen [- \ vasen (\ eta _ {2} + {\ frac {p + 1} {2 }} \ oikea) (p \ ln 2+ \ ln | \ mathbf {V} |) + \ ln \ Gamma _ {p} \ vasen (\ eta _ {2} + {\ frac {p + 1} {2 }} \ oikea) \ oikea] \\ & = {\ frac {\ partitali {\ osittainen \ eta _ {2}}} \ vasen [\ vasen (\ eta _ {2} + {\ frac {p + 1 } {2}} \ oikea) (p \ ln 2+ \ ln | \ mathbf {V} |) + p (p-1) / 4 \ ln \ pi + \ summa _ {j = 1} ^ {p} \ ln \ Gamma \ vasen (\ eta _ {2} + {\ frac {p + 1} {2}} + (1-j) / 2 \ oikea) \ oikea] \\ & = p \ ln 2+ \ ln | \ mathbf {V} | + \ summa _ {j = 1} ^ {p} \ psi \ vasen [\ eta _ {2} + {\ frac {p + 1} {2}} + (1-j ) / 2 \ oikea] \\ & = p \ ln 2+ \ ln | \ mathbf {V} | + \ summa _ {j = 1} ^ {p} \ psi \ vasen [{\ frac {np-1} {2}} + {\ frac {p + 1} {2}} + (1-j) / 2 \ oikea] \\ & = p \ ln 2+ \ ln | \ mathbf {V} | + \ summa _ {j = 1} ^ {p} \ psi \ vasen [{\ frac {n} {2}} + (1-j) / 2 \ oikea] \\ & = p \ ln 2+ \ ln | \ mathbf { V} | + \ summa _ {j = 1} ^ {p} \ psi \ vasen ({\ frac {n + 1-j} {2}} \ oikea) \ loppu {tasattu}}}

Nämä kaksi odotukset ovat tarpeen johtaa variational mukauttaminen yhtälöt Bayes-verkon , joka on Wishart jakauma (joka on konjugaatti prioritar on monimuuttuja normaali ).

Suurin entropia

Suurin entropian todennäköisyysjakauma  (tuumaa)

Etsimme jakelua suurimmalla entropialla, ehdollisesti sarjaan odotuksia koskevia rajoituksia. Vastaus on eksponentiaalinen perhe.

Kattava entropia todennäköisyysjakauman dF ( x ) lasketaan suhteessa toiseen todennäköisyysjakauman (tai, yleisemmin, positiivinen toimenpide), siten, että molemmat toimenpiteet ovat keskenään täysin jatkuva . Anna pohja toimenpide dH ( x ) on sama tukea dF ( x ).

DF ( x ): n entropia suhteessa dH ( x ): een määritellään seuraavasti

S[dF|dH]=-∫dFdHln⁡dFdHdH=∫ln⁡dHdFdF{\ displaystyle S [dF | dH] = - \ int {dF \ yli dH} \ ln {dF \ yli dH} \, dH = \ int \ ln {dH \ yli dF} \, dF}

missä dF / dH ja dH / dF ovat Radon-Nikodym-johdannaisia .

Huomaa, että tavanomainen määritelmä entropia diskreetti jakelu joukko Y , eli , oletetaan implisiittisesti, että toimenpide dH valitusta on laskenta toimenpide on Y .S=-∑i∈Ysiln⁡si{\ displaystyle \ mathbf {S} = - \ summa _ {i \ Y: ssä} p_ {i} \ ln p_ {i}} Samoin jatkuvalle jakaumalle H ( x ) = x antaa S=-∫dFdxln⁡dFdxdx=-∫f(x)ln⁡f(x)dx{\ displaystyle S = - \ int {dF \ over dx} \ ln {dF \ over dx} \, dx = - \ int f (x) \ ln f (x) \, dx}

Antaa olla otos havaittavista suuruuksista (satunnaismuuttujat) T j . Suurin entropia
jakauma dF suhteen dH , ehdollisesti että odotusarvo T j on yhtä suuri kuin t -j , on jäsen eksponentiaalisen perhe ottaa dH sen pohja toimenpide ja ( T 1 , ..., T n ) ja riittävä tilasto (t).

Tämä tulos on päätelty, että laskennassa muunnelmia käyttäen Lagrangen kertoimet . Normalisointi on taattu asettamalla rajoitus T 0 = 1. luonnollinen jakauman parametrit ovat Lagrangen kertoimet liittyvät t j ja normalisointikerroin on Lagrangen kertoimet liittyvät T 0 .

Huomautuksia ja viitteitä

1. G. Darmois , "  Todennäköisyyden laeista tyhjentävän estimoinnin avulla  ", CR Acad. Sci. Paris , voi.  200,1935, s.  1265–1266.
2. (julkaisussa) E. Pitman ja J. Wishart , "  riittävät tilastotiedot ja sisäinen tarkkuus  " , Cambridge Philosophical Societyn matemaattiset julkaisut , voi.  32, n o  4,1936, s.  567–579 ( DOI  10.1017 / S0305004100019307 ).
3. (sisään) B Koopman , "  We Admitting distribution riittävä tilasto  " , Transaction of the American Mathematical Society , voi.  39, n o  3,1936, s.  399–409 ( DOI  10.2307 / 1989758 , JSTOR  1989758 , Math Reviews  1501854 ).
4. Kupperman, M. (1958) "Hypoteesien todennäköisyydet ja informaatiotilastot otannassa eksponentiaaliluokan populaatioista", Annals of Mathematical Statistics , 9 (2), 571–575 JSTOR : 2237349 .
5. (in) Erling etersen , "  riittävyys ja eksponentiaaliset perheet erillisille näytetiloille  " , Journal of the American Statistics Association , voi.  65, n o  331,Syyskuu 1970, s.  1248–1255 ( DOI  10.2307 / 2284291 , JSTOR  2284291 , Math Reviews  268992 ).

Katso myös

• Gibbs mittaa

Bibliografia

• (en) EL Lehmann , Casella, G., piste-estimoinnin teoria ,1998, 2. painos, Sec. 1.5  Sivumäärä
• (en) Robert W. Keener , Tilastoteoria: Muistiinpanoja teoreettisen tilastotieteen kurssille , Springer,2006, 27–28, 32–33  Sivumäärä
• (en) Ludwig Fahrmeier , Tutz, G., Yleismuotoisiin lineaarisiin malleihin perustuva monen muuttujan tilastollinen mallinnus , Springer,1994, 18–22, 345–349  Sivumäärä

Ulkoiset linkit

• Pohjustus eksponentiaalisen jakauman perheelle
• eksponentiaalinen jakaumien perheen on varhaisin tunnettu käytöt joitakin sanoja matematiikan
• jMEF: Java-kirjasto eksponentiaalisille perheille

<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">