Fisher-tiedot

Luonto	Käsite
Keksijä	Ronald Aylmer Fisher
Nimetty viitteeksi	Ronald Aylmer Fisher

Fisherin informaatio on käsite tilastollisen käyttöön RA Fisher joka määrittää liittyvät tiedot parametrin sisältämän jakelussa. Se on määritelty odotuksia havaittu tietoja, tai jopa kun varianssi on pisteet toiminto . Moniparametrisessa tapauksessa puhumme Fisherin informaatiomatriisista.

Määritelmä

Olkoon $f ( x , θ ) on$ todennäköisyys jakelu satunnaismuuttuja $X$ (joka voi olla moniulotteinen), parametroida $θ$ . Pisteet määritellään log-todennäköisyyden osittaiseksi johdannaiseksi parametrin $θ suhteen$ :

{\ displaystyle {\ frac {\ partitali} {\ osittainen \ theta}} \ log f (X; \ theta) = {\ frac {1} {f (X; \ theta)}} {\ frac {\ osio f (X; \ theta)} {\ osittainen \ theta}}.}

Fisher-tiedot määritellään sitten pistefunktion toisen asteen hetkeksi:

{\ displaystyle I (\ theta) = E \ vasen [\ vasen. \ vasen ({\ frac {\ osallinen} {\ osittainen \ theta}} \ log f (X; \ theta) \ oikea) ^ {2} \ oikea | \ theta \ oikea]}

On mahdollista osoittaa, että pistefunktiolla ei ole odotuksia. Fisher-tieto vastaa siis myös pistefunktion varianssia .

Huomaamaton muotoilu

Eri havainnot antavat meille mahdollisuuden ottaa näytteeksi todennäköisyystiheysfunktio $f$ $($ $x$ $;$ $θ$ $)$ . Suurimman todennäköisyyden on maksimoida todennäköisyys . Jos havaintoja ei ole korreloitu, todennäköisin arvo annetaan meille maksimiarvolla $x_ {i}$ ${\ displaystyle P (X | \ theta)}$ $\ käsikirjoitus {\ hattu \ theta}$

\ prod _ {i} P (x_ {i} | \ theta),

mikä on myös suurin

\ lambda (\ theta) = \ summa _ {i} \ log P (x_ {i} | \ theta).

Logaritmin kulku sallii tuotteen muuntamisen summaksi, jonka avulla voimme löytää maksimin johdannaisella:

{\ displaystyle \ summa _ {i} \ vasen [{\ frac {\ partitali {\ osittainen \ theta}} \ log P (x_ {i} | \ theta) \ oikea] _ {\ theta = {\ hattu { \ theta}}} = 0.}

Tämä summa vastaa riittävän suurta määrää havaintoja matemaattiseen odotukseen. Tämän yhtälön ratkaiseminen mahdollistaa parametrin joukosta estimaattorin $θ$ löytämisen suurimman todennäköisyyden merkityksessä. Nyt on kysymys arvioidemme tarkkuuden kvantifioimisesta. Siksi pyrimme arvioimaan $θ$ todennäköisyysjakauman muodon estimaattorin antaman arvon ympärillä . Laajennuksesta, joka on rajoitettu järjestykseen 2, koska lineaarinen termi on korkeintaan nolla, saadaan: $\ käsikirjoitus {\ hattu \ theta}$

\ lambda (\ theta) = \ lambda ({\ hattu theta}) - {\ frac {(\ theta - {\ hat \ theta}) ^ {2}} {2}} I ({\ hat \ theta} ) + o ((\ theta - {\ hat \ theta}) ^ {2})

missä on $θ$ : tä koskevat Fisher-tiedot suurimman todennäköisyyden pisteessä. Tämä tarkoittaa, että $θ$ seuraa ensimmäisenä likiarvona Gaussin odotusten ja varianssien lakia : $\ käsikirjoitus I ({\ hattu \ theta})$ ${\ hattu \ theta}$ $\ scriptstyle 1 / I ({\ hat \ theta})$

P (\ theta | X) \ propto \ exp \ left (- {\ frac {(\ theta - {\ hat \ theta}) ^ {2}} {2}} I ({\ hat \ theta}) \ oikea )

Tätä varianssia kutsutaan Cramér-Rao-sidokseksi ja se on paras estimointitarkkuus, joka saavutetaan a priori puuttuessa.

Additiivisuus

Yksi Fisher-tiedon perusominaisuuksista on sen additiivisuus. Kahden riippumattoman satunnaismuuttujan tuloksena saatu tieto on tietojen summa:

I _ {{X, Y}} (\ theta) = I_ {X} (\ theta) + I_ {Y} (\ theta).

Jos meillä on $N$ riippumatonta toteutusta, jotka noudattavat samaa todennäköisyystiheyttä, tuloksena oleva tieto on yksinkertainen yksittäisen tiedon skaalaus.

{\ displaystyle I _ {(X_ {1} \ cdots X_ {N})} (\ theta) = N \, I_ {X} (\ theta).}

Kun satunnaismuuttujan $X$ tilasto S (X) on tyhjentävä , tilastoon liittyvä informaatio on pienempi tai yhtä suuri kuin satunnaismuuttujan tieto. Toisin sanoen

I _ {{S (X)}} (\ theta) \ leq I_ {X} (\ theta),

yhdenvertaisuuteen varten riittävänä indikaattorina .

Moniparametrinen muotoilu

Tapauksessa, jossa todennäköisyysjakauma $f ( X )$ riippuu useista parametreista, $θ$ ei ole enää skalaari vaan vektori . Suurimman todennäköisyyden etsiminen ei siis johdu vain yhdestä yhtälöstä vaan järjestelmästä: ${\ vec \ theta} = (\ theta _ {1}, \ theta _ {2}, \ cdots)$

{\ displaystyle E \ vasen [{\ frac {\ partitali {\ osittainen \ theta _ {i}}} \ log f (X; {\ vec {\ theta}}) \ oikea] = 0, \ qquad \ forall i}

johdamme suhteessa . Lopuksi, Fisher-tietoja ei enää määritellä skalaarisena varianssina, vaan kovarianssimatriisina : ${\ vec \ theta}$

{\ displaystyle I (\ theta _ {i}, \ theta _ {j}) = E \ vasen [\ vasen ({\ frac {\ osal} {\ osittainen \ theta _ {i}}} \ log f (X ; {\ vec {\ theta}}) \ oikea) \ vasen ({\ frac {\ parts} {\ partial \ theta _ {j}}} \ log f (X; {\ vec {\ theta}}) \ oikea) \ oikea].}

Cramér-Raon arvio ja terminaali

Tämän matriisin käänteinen antaa mahdollisuuden määrittää Cramér-Rao- rajat , ts. Kovarianssit, jotka liittyvät havaintojen eri parametrien yhteisiin arvioihin: tosiasia, että kaikki parametrit on arvioitava samanaikaisesti, vaikeuttaa estimointia . Tämä ilmiö on osoitus siitä, mitä joskus kutsutaan " ulottuvuuden rutoksi ". Tästä syystä käytämme mahdollisuuksien mukaan etukäteen parametreja (menetelmä a posteriorin enimmäismäärän arvioimiseksi ). Siksi rajoitamme kunkin parametrin epävarmuutta, mikä rajoittaa vaikutusta yhteisarvioon.

Fisher-metriikka

Tämä matriisi on yleisesti kutsutaan Fisher tiedot metristä ;

g _ {{ij}} = minä (\ theta _ {i}, \ theta _ {j})

Todellakin, kulku havaintojen avaruudesta parametrien avaruuteen on kaarevan koordinaattijärjestelmän muutos . Parametrin pohja, jossa kovarianssi kuin piste tuote , tämä matriisi on metriikka. Tämä geometrinen näkökulmasta, käyttöön C. Rao, sitten laajasti kehittäneet S. Amari nimellä tiedot geometria . Metriikka ei yleensä ole invariantti, ja parametriavaruus on Riemannin . Cramér-Rao epäyhtälö on tulkittava ilmentymisen Schwarz epätasa välinen vektori jakauman derivaatta mukainen parametri ja sen kaksi. Fisher-informaatiolla on erityinen rooli metriikkana sen additiivisuuden ja muuttumattomuusominaisuuksien vuoksi tilastolliseen otantaan nähden (Chentsovin tai Čencovin lause). Se on metriikka, joka on siksi luonnollinen, kun tarkastellaan todennäköisyysjakaumia. Lisäksi lähestymistapa tiedon käsitteeseen differentiaaligeometrian kulmasta antaa mahdollisuuden ehdottaa yhtenäistä kehystä, joka yhdistää eri käsitteet:

Kullback-Leibler-eroavuus ,
Entropia ja maksimaalisen entropian periaate ,
eksponentiaalinen jakeluperhe ,
Odotus-maksimointialgoritmi ,
Arviointi todennäköisyyden mukaan .

Vaihtoehtoiset formulaatiot

Fisher-tiedoista on hyvin suuri määrä vaihtoehtoisia formulaatioita, jotka paljastavat mielenkiintoisia ominaisuuksia.

Kirjoittaminen kaarevuuden muodossa.

{\ displaystyle I (\ theta _ {i}, \ theta _ {j}) = - E \ vasen [\ vasen ({\ frac {\ osittainen ^ {2}} {\ osittainen \ theta _ {i} \ osittainen \ theta _ {j}}} \ log f (X; {\ vec {\ theta}}) \ oikea) \ oikea].}

Kirjoittaminen raporttina (tulkittavissa signaali-kohinasuhteena ):

{\ displaystyle I (\ theta _ {i}, \ theta _ {j}) = \ int {\ frac {1} {f (x; {\ vec {\ theta}})}} \ cdot {\ frac { \ partif (x; {\ vec {\ theta}})} {\ osittainen \ theta _ {i}}} {\ frac {\ osallinen f (x; {\ vec {\ theta}})} {\ osittainen \ theta _ {j}}} \, dx.}

Symmetrinen kirjoittaminen todennäköisyysamplitudien muodossa (Fisherin esittämä 1943, todellisten jakaumien muodossa riippumatta kvanttimekaniikan kehityksestä, jossa käytetään monimutkaisia jakaumia). Tätä formulaatiota tulisi verrata Hellinger-etäisyyden määrittelyyn .

{\ displaystyle I (\ theta _ {i}, \ theta _ {j}) = 4 \ int {\ frac {\ partitali q (x; {\ vec {\ theta}})} {\ osittainen \ theta _ { i}}} {\ frac {\ partitali q (x; {\ vec {\ theta}})} {\ osittainen \ theta _ {j}}} \, dx, {\ hbox {missä}} q (x; {\ vec {\ theta}}) = {\ sqrt {f}} (x; {\ vec {\ theta}}).}

Kullback-Leibler-divergenssiin liittyvä kirjoittaminen , joka osoittaa siihen liittyvän kaksinaisuuden:

{\ displaystyle I (\ theta _ {i}, \ theta _ {j}) = \ int {\ frac {\ osittainen f (x; {\ vec {\ theta}})} {\ osittainen \ theta _ {i }}} {\ frac {\ osittainen \ log f (x; {\ vec {\ theta}})} {\ osittainen \ theta _ {j}}} \, dx = \ int {\ frac {\ osittainen \ loki f (x; {\ vec {\ theta}})} {\ osittainen \ theta _ {i}}} {\ frac {\ osittainen f (x; {\ vec {\ theta}})} {\ osittainen \ theta _ {j}}} \, dx.}

Amarin α-esitysten joukon yleinen kirjoittaminen:

{\ displaystyle I (\ theta _ {i}, \ theta _ {j}) = {\ frac {4} {1- \ alfa ^ {2}}} \ int {\ frac {\ osittainen f ^ {\ frac {1- \ alpha} {2}} (x; {\ vec {\ theta}})} {\ osittainen \ theta _ {i}}} {\ frac {\ osaa f ^ {\ frac {1+ \ alfa } {2}} (x; {\ vec {\ theta}})} {\ osittainen \ theta _ {j}}} \, dx.}

Tilastotiedot

Samalla tavalla kuin olemme määrittäneet Fisher-informaation havaintovektorille X, voimme määritellä tilastoon $S ( X )$ sisältyvät Fisher-tiedot :

I _ {{S}} (\ theta) = {\ mathbb {E}} _ {\ theta} \ vasen [\ vasen (\ nabla _ {\ theta} \ log f_ {S} (S; \ theta) \ oikea) \ cdot \ vasen (\ nabla _ {\ theta} \ log f_ {S} (S; \ theta) \ oikea) '\ oikea].

Tämä määritelmä on täsmälleen sama kuin Fisherin X-informaatio moniparametrisessä mallissa, korvataan vain X: n tiheys tilastolla S (X) olevan S: n tiheydellä. Kaksi teemaa kuvaa tämän käsityksen kiinnostusta:

Jotta riittävä tilastotieto olemme mikä tekee mahdolliseksi nähdä riittävänä indikaattorina tilastollisena sisältää kaikki tiedot mallin. Meillä on myös päinvastoin, nimittäin se, että jos S on tyhjentävä, vaikka tätä karakterisointia käytetään tässä mielessä harvoin, tyhjentävien tilastojen factoring-kriteerin ansiosta määritelmä on usein hallittavampi. $I _ {{S}} (\ theta) = Minä (\ theta)$ $I _ {{S}} (\ theta) = Minä (\ theta)$

S-tilastoista riippumatta, tasapuolinen tapaus vain tyhjentäviin tilastoihin . Siksi emme voi hakea enemmän tietoja kuin mitä tyhjentävään tilastoon sisältyy. Tämä selittää pitkälti tyhjentävien tilastojen kiinnostuksen arviointiin . Järjestyssuhde on tässä symmetristen matriisien osittainen järjestyssuhde eli matriisi, jos BA on positiivinen symmetrinen matriisi . $I _ {{S}} (\ theta) \ leq I (\ theta)$ $A \ leq B$

Linkit muihin käsitteisiin

Fisherin tiedot on linkitetty muihin käsitteisiin:

Tiedotus Shannon ja entropia on Boltzmannin . Fisher-tieto on seurausta Shannon-informaation paikallisesta erilaistumisesta todennäköisyysjakaumien tilassa.
Energia fysiikka. Fysiikan perusyhtälöt voidaan nähdä Fisherin tiedon ilmaisuna esitettyyn ongelmaan riippuen riippumattomien fyysisten muuttujien joukosta ja harkituista invariansiosäännöistä. Eri nykyiset lagrangialaiset voidaan siten päätellä Fisherin tiedoista.

Energian säästämisen katsotaan johtuvan tietojen säilyttämisestä. Tarkastellaan esimerkiksi monimutkaista aaltofunktiota (sellainen, että hiukkasen läsnäolon todennäköisyystiheys on ) Minkowskin koordinaateissa $(i$ $x$ $, i$ $y$ $, i$ $z$ $,$ $ct$ $)$ . Jos pidämme näitä koordinaatteja kanonisina, ts. Riittävinä, ekvivalentteina ja riippumattomina, niihin liittyvä sisäinen Fisher-tieto on $\ Psi$ $| \ Psi | ^ {2}$

{\ displaystyle I = 4 \ int {\ vec {\ nabla}} \ Psi \ cdot ({\ vec {\ nabla}} \ Psi) ^ {*} \, c \, \ mathrm {d} x \, \ mathrm {d} y \, \ mathrm {d} z \, \ mathrm {d} t}

missä . ${\ displaystyle {\ vec {\ nabla}} = (- - mathrm {i} \ osittainen _ {x}, - \ mathrm {i} \ osittainen _ {y}, - \ matrm {i} \ osittainen _ {z }, {\ frac {1} {c}} \ osittainen _ {t})}$

Läpäisemällä vastavuoroisen tilan se tulee:

{\ displaystyle {\ vec {\ tilde {\ nabla}}} = \ vasen (k_ {x}, k_ {y}, k_ {z}, {\ frac {\ mathrm {i}} {c}} \ omega \ oikea)}

{\ displaystyle I \ propto \ left ({\ frac {\ omega ^ {2}} {c ^ {2}}} - | k | ^ {2} \ right) | {\ tilde {\ Psi}} | ^ {2} \, \ mathrm {d} k_ {x} \, \ mathrm {d} k_ {y} \, \ mathrm {d} k_ {z} \, \ mathrm {d} \ omega}

Toisin sanoen Planckin suhteiden mukaan

{\ displaystyle I \ propto \ int \ vasen ({\ frac {E ^ {2}} {c ^ {2}}} - | p | ^ {2} \ oikea) | {\ tilde {\ Psi}} | ^ {2} \, \, \ mathrm {d} p_ {x} \, \ mathrm {d} p_ {y} \, \ mathrm {d} p_ {z} \, \ mathrm {d} E}

Tämän tiedon säilyttäminen vastaa käsitteellisesti hiukkasten massan muuttumattomuutta erityisen suhteellisuusteollisuuden klassisen suhteen mukaan , jolla kvanttifysiikan suhteen on vastaava Klein-Gordon-yhtälö . $E ^ {2} -p ^ {2} c ^ {2} = m ^ {2} c ^ {4}$

Huomautuksia ja viitteitä

CR Rao , Tiedot ja tarkkuus saavutettavissa tilastollisten parametrien arvioinnissa, Bulletin of Calcutta Mathematical Society, 37: 81-91, 1945
S. Amari, H. Nagaoka, Tietogeometrian menetelmät , Matemaattisten monografioiden käännökset; v. 191, American Mathematical Society, 2000 ( ISBN 978-0821805312 )
B.R.Frieden, Science from Fisher Information , Cambridge, 2004
NN Chentsov (Čencov), tilastolliset päätöksentekosäännöt ja optimaalinen päätelmä , käännökset matemaattisista monografioista; v. 53, American Mathematical Society, 1982
CR Rao, Differential Geometry in Statistical Inference, Luku 5, Matemaattisten tilastojen instituutti, 1987

Alain Monfort , matemaattisten tilastojen kurssi , 1982, Economica. Pariisi.

Katso myös

Aiheeseen liittyvät artikkelit

Suurin todennäköisyys

Ulkoiset linkit

P. Druilhet, " Päätelmätietojen kurssi " ( Arkisto • Wikiwix • Archive.is • Google • Mitä tehdä? )