Suurin todennäköisyys
Suurin todennäköisyys
Vuonna tilastoissa The suurimman uskottavuuden estimaattori on tilastollinen estimaattori käytetään päätellä parametrien todennäköisyyden lain erään näytteen etsimällä parametrien maksimointiin uskottavuusfunktio .
Tämän menetelmän on kehittänyt tilastotieteilijä Ronald Aylmer Fisher vuonna 1922.
Esimerkki
Antaa olla yhdeksän satunnaisvetoa x 1 ,…, x 9 saman lain mukaan; piirretyt arvot on esitetty vastakkaisissa kaavioissa pystysuorilla katkoviivoilla. Haluamme mallintaa nämä arvot normaalijakaumalla. Käytännön syistä olemme ottaneet pienennetyn keskitetyn normaalijakauman (μ = 0, σ = 1) desiilit x i: lle , joten menetelmän pitäisi tuoda esiin tämä jakauma.
Otetaan kaksi mallilakia, joilla on sama hajonta σ (keskihajonta), mutta joilla on erilainen sijainti μ (keskiarvo, odotus ). Kussakin tapauksessa, me määrittää korkeudet h i , joka vastaa tiheyden arvo funktion x i . Määritämme todennäköisyyden L olevan
L=h1×h2×...×h9{\ displaystyle L = h_ {1} \ kertaa h_ {2} \ kertaa \ ldots \ kertaa h_ {9}}![{\ displaystyle L = h_ {1} \ kertaa h_ {2} \ kertaa \ ldots \ kertaa h_ {9}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/1b26bae3e8cc6ad7c4eac054daf4a4a62909572d)
.
Oikealla olevan sinisen käyrän tapauksessa tiheysfunktio on suurin siellä, missä arvoja on eniten - alue ilmoitetaan aaltosulkeilla. Joten loogisesti todennäköisyys on tärkeämpi siniselle käyrälle kuin mustalle käyrälle. Yleensä arvojen x i tiheyden on oltava suuri, jos tiheysfunktio on tärkeä; suurin todennäköisyys on siis merkityksellinen, kun valitaan sijaintiparametri, kun sillä on merkitys, mallilakista.
Otetaan nyt kolme mallilakia, jotka kaikki ovat "oikeassa" asennossa, mutta joilla on erilaiset keskihajonnat. Vasemmanpuoleisen vihreän käyrän tapauksessa dispersio on erittäin tärkeä, käyrä on hyvin leveä ja siksi "ei nouse kovin korkealle" (käyrän alla olevan alueen on oltava 1 käyrästä riippumatta); h i ovat näin ollen alhainen, ja L on alhainen.
Oikeanpuoleisen mustan käyrän tapauksessa dispersio on vähäistä; käyrän yläosa on korkea, mutta päiden h i on hyvin matala, joten tuote L ei ole kovin korkea.
Keskellä olevalla sinisellä käyrällä on sekä suhteellisen korkeat korkeudet keskellä olevalle h i : lle että merkityksetön korkeus hi : lle päissä, mikä johtaa korkeaan L: hen; suurin todennäköisyys on siis merkityksellinen dispersioparametrin valinnalle, kun sillä on merkitys, mallilakia.
Esimerkiksi, jos piirrämme todennäköisyyden L arvon parametrien μ ja σ funktiona, saadaan pinta, jonka maksimi on (μ = 0, σ = 1). Tämän maksimin löytäminen on klassinen optimointiongelma .
Historia
Vuonna 1912, kun Ronald Aylmer Fisher kirjoitti ensimmäisen artikkelinsa todennäköisyydestä, kaksi yleisimmin käytettyä tilastomenetelmää olivat pienimmän neliösumman menetelmä ja hetkien menetelmä . Vuonna 1912 artikkelissaan hän ehdotti suurimman todennäköisyyden estimaattoria, jota hän kutsui tuolloin ehdottomaksi kriteeriksi . Hän ottaa esimerkin normaalista laista.
Vuonna 1921 hän sovelsi samaa menetelmää korrelaatiokertoimen arviointiin .
Vuonna 1912 väärinkäsitys ehdotti, että ehdoton kriteeri voitaisiin tulkita Bayesin estimaattoriksi, jolla on tasainen etujakauma. Fisher kumosi tämän tulkinnan vuonna 1921. Vuonna 1922 hän käytti binomilakia havainnollistaakseen kriteeriään ja osoitti, kuinka se erosi Bayesin estimaattorista. Se oli myös vuonna 1922, että hän antoi nimensä suurimman todennäköisyyden menetelmälleen.
Periaate
Antaa olla todennäköisyysjakaumien D θ parametrinen perhe, jonka elementit liittyvät joko tunnettuun todennäköisyystiheyteen (jatkuva jakauma) tai tunnettuun massifunktioon (diskreetti jakauma), merkitään f (x | θ) . Piirretään yksinkertainen n- näyte (riippumattomat näytteet) x 1 , x 2 , ..., x n toistuvasti jakaumasta ja lasketaan havaittuihin tietoihin liittyvä todennäköisyystiheys
f(x1,...,xei;θ)=∏i=1eif(xi∣θ){\ displaystyle f (x_ {1}, \ pistettä, x_ {n}; \ theta) = \ prod _ {i = 1} ^ {n} f (x_ {i} \ keski-theta) \,}![{\ displaystyle f (x_ {1}, \ pistettä, x_ {n}; \ theta) = \ prod _ {i = 1} ^ {n} f (x_ {i} \ keski-theta) \,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d6839fb064807971411bab70a07325d0ace421c8)
Tämän ollessa funktio θ kanssa x 1 , ..., x n kiinteä, se on todennäköisyys , että n itsenäisen näytteen.
L(θ)=f(x1,...,xei;θ){\ displaystyle L (\ theta) = f (x_ {1}, \ pistettä, x_ {n}; \ theta) \,}![{\ displaystyle L (\ theta) = f (x_ {1}, \ pistettä, x_ {n}; \ theta) \,}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e96cfd24b3bae0cb8968ac3b06f9bd49457502ac)
Kun θ ei ole havaittavissa, suurimman todennäköisyyden menetelmä käyttää arvoja values, jotka maksimoivat L: n L (θ) -estimaattorin: se on havaittu θ: n suurin todennäköisyyden estimaattori . Esimerkiksi erillisen tuotteen tapauksessa suoritetaan valinta n arvosta, on siksi löydettävä parametri, joka maksimoi tämän valinnan tekemisen todennäköisyyden.
θ^{\ displaystyle {\ widehat {\ theta}}}![\ widehat {\ theta}](https://wikimedia.org/api/rest_v1/media/math/render/svg/89a031ed08d81ed4f0df984f0d9f30b7ae07be46)
Tämä menetelmä eroaa an: n puolueettoman estimaattorin löytämisestä, joka ei välttämättä anna todennäköisintä arvoa θ: lle.
Suurimman todennäköisyyden estimaattori, jos sellainen on olemassa, on ainutlaatuinen.
Määritelmät
Antaa olla todellinen satunnaismuuttuja , erillisten tai jatkuva lakia, joista halutaan arvioida parametri . Merkitsemme tätä parametrilakien perhettä. Joten määritämme funktion , kuten:
X{\ displaystyle X}
θ{\ displaystyle \ theta}
D.θ{\ displaystyle {\ mathcal {D}} _ {\ theta}}
f{\ displaystyle f}![f](https://wikimedia.org/api/rest_v1/media/math/render/svg/132e57acb643253e7810ee9702d9581f159a1c61)
f(x;θ)={fθ(x)jos X on jatkuva kulkuPθ(X=x)jos X on huomaamaton{\ displaystyle f (x; \ theta) = {\ aloita {tapaukset} f _ {\ theta} (x) & {\ text {si}} X {\ text {on jatkuva kulku}} \\ P _ { \ theta} (X = x) & {\ text {si}} X {\ text {on erillinen va}} \ end {cases}}}
fθ(x){\ displaystyle f _ {\ theta} (x)}![f _ {\ theta} (x)](https://wikimedia.org/api/rest_v1/media/math/render/svg/89cd3997bd5a3cfa6b0918bdf94bec711dde861e)
edustaa X: n tiheyttä (missä näkyy) ja edustaa erillistä todennäköisyyttä (missä näkyy).
θ{\ displaystyle \ theta}
Pθ(X=x){\ displaystyle P _ {\ theta} (X = x)}
θ{\ displaystyle \ theta}![\ theta](https://wikimedia.org/api/rest_v1/media/math/render/svg/6e5ab2664b422d53eb0c7df3b87e1360d75ad9af)
Kutsumme todennäköisyyttäθ{\ displaystyle \ theta}
, kun otetaan huomioon huomautukset , joka n- näytteen itsenäisesti ja samoin jakautuneita mukaisesti perhe laki , numero:
(x1,...,xi,...,xei){\ displaystyle (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n})}
f(⋅;θ){\ displaystyle f (\ cdot; \ theta)}
D.θ{\ displaystyle {\ mathcal {D}} _ {\ theta}}![{\ mathcal {D}} _ {\ theta}](https://wikimedia.org/api/rest_v1/media/math/render/svg/535b853521b60f60409c0d00fc9dd007ced63637)
L(x1,...,xi,...,xei;θ)=f(x1;θ)×f(x2;θ)×...×f(xei;θ)=∏i=1eif(xi;θ){\ displaystyle L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta) = f (x_ {1}; \ theta) \ kertaa f (x_ {2}; \ theta) \ kertaa \ ldots \ kertaa f (x_ {n}; \ theta) = \ prod _ {i = 1} ^ {n} f (x_ {i}; \ theta)}![{\ displaystyle L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta) = f (x_ {1}; \ theta) \ kertaa f (x_ {2}; \ theta) \ kertaa \ ldots \ kertaa f (x_ {n}; \ theta) = \ prod _ {i = 1} ^ {n} f (x_ {i}; \ theta)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/06ab0efad37ca5e6e011aab1f1c618ee4522927e)
Yritämme löytää tämän todennäköisyyden maksimiarvon niin, että myös havaittujen toteutusten todennäköisyydet ovat suurimmat. Tämä on optimointiongelma . Käytämme yleensä sitä tosiasiaa, että jos L on erottuva (mikä ei aina ole asia) ja jos L myöntää globaalin maksimin arvossa , ensimmäinen johdannainen katoaa ja toinen johdannainen on negatiivinen. Toisaalta, jos ensimmäinen derivaatta raja katoaa ajan ja toinen derivaatta on tiukasti negatiivinen , niin on paikallinen maksimi on . Sitten on varmistettava, että se on todellakin globaali maksimipiste. Koska todennäköisyys on positiivinen ja luonnollisen logaritmin funktio kasvaa, on todennäköisyyden luonnollisen logaritmin maksimointi vastaava ja usein yksinkertaisempi (tuote muuttuu summaksi, joka on helpompi johtaa). Voidaan helposti rakentaa tilasto, joka on haluttu estimaattori.
θ=θ^{\ displaystyle \ theta = {\ hattu {\ theta}}}
θ=θ^{\ displaystyle \ theta = {\ hattu {\ theta}}}
θ=θ^{\ displaystyle \ theta = {\ hattu {\ theta}}}
θ=θ^{\ displaystyle \ theta = {\ hattu {\ theta}}}
θ=θ^{\ displaystyle \ theta = {\ hattu {\ theta}}}
L(x1,...,xi,...,xei;θ){\ displaystyle L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)}
Yei=Θ{\ displaystyle Y_ {n} = \ Theta}![Y_ {n} = \ Theta](https://wikimedia.org/api/rest_v1/media/math/render/svg/70d0bd7715623df7bbc9026221a2a922b1d7db5d)
Joten käytännössä:
- Tarvittava ehto tai sallii arvon löytämisen .
∂L(x1,...,xi,...,xei;θ)∂θ=0{\ displaystyle {\ frac {\ osittainen L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ osittainen \ theta}} = 0}![{\ frac {\ osittainen L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ parts \ theta}} = 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/2d4afd1145a07577cca97149aef849b4b54dde18)
∂lnL(x1,...,xi,...,xei;θ)∂θ=0{\ displaystyle {\ frac {\ osittainen \ ln L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ osittainen \ theta}} = 0}![{\ frac {\ osittainen \ ln L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ osittainen \ theta}} = 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/1852543bed9208f815b37f61d287bf6c990fa45c)
θ=θ^{\ displaystyle \ theta = {\ hattu {\ theta}}}![\ theta = {\ hattu \ theta}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cd1e3109f3bca10fcf1e91fe2517bff1ffe17cae)
-
θ=θ^{\ displaystyle \ theta = {\ hattu {\ theta}}}
on paikallinen maksimi, jos riittävä ehto täyttyy kriittisessä kohdassa : taiθ=θ^{\ displaystyle \ theta = {\ hattu {\ theta}}}![\ theta = {\ hattu \ theta}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cd1e3109f3bca10fcf1e91fe2517bff1ffe17cae)
∂2L(x1,...,xi,...,xei;θ)∂θ2<0{\ displaystyle {\ frac {\ parts ^ {2} L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ osittainen \ theta ^ {2}} } <0}![{\ frac {\ osittainen ^ {2} L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ osittainen \ theta ^ {2}}} <0](https://wikimedia.org/api/rest_v1/media/math/render/svg/89ebb011f9ef39f34758aaae5518904cc5d08544)
∂2lnL(x1,...,xi,...,xei;θ)∂θ2<0{\ displaystyle {\ frac {\ parts ^ {2} \ ln L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; \ theta)} {\ osittainen \ theta ^ {2 }}} <0}
Jatkuvien jakaumien tapauksessa, jos toisinaan todennäköisyystiheys on nolla tietyllä aikavälillä, voidaan jättää kirjoittamatta todennäköisyys vain tälle aikavälille.
Yleistys
Tämä osio voi sisältää julkaisemattomia teoksia tai tilintarkastamattomia lausuntoja (maaliskuu 2012) . Voit auttaa lisäämällä viitteitä tai poistamalla julkaisemattoman sisällön.
Todellista satunnaismuuttuja X minkä tahansa oikeuden määritelty kertymäfunktio F (x) , voidaan harkita lähiöissä V on (x 1 , ..., x n ) on , esimerkiksi pallo, jonka säde on ε. Saamme siten todennäköisyysfunktion, jolle etsimme maksimia . Sitten suuntaamme V: n kokoa kohti 0 sisään, jotta saataisiin suurin todennäköisyysestimaatti.
Rei{\ displaystyle \ mathbb {R} ^ {n}}
L(θ;V)=P[(X1,θ,...,Xei,θ)∈V]{\ displaystyle L (\ theta; V) = P [(X_ {1, \ theta}, \ ldots, X_ {n, \ theta}) \ in V]}
θ=θ^(V){\ displaystyle \ theta = {\ hattu {\ theta}} (V)}
θ^(V){\ displaystyle {\ hattu {\ theta}} (V)}
θ^{\ displaystyle {\ hattu {\ theta}}}![\ hattu \ theta](https://wikimedia.org/api/rest_v1/media/math/render/svg/f0eaae56d74c5844e86caeed8ae205ff9e413bba)
Palaamme aikaisempiin todennäköisyysfunktioihin, kun X: llä on erillinen tai jatkuva laki.
Jos X- laki on mielivaltainen, riittää, että tarkastellaan tiheyttä hallitsevan mittan suhteen .
μ{\ displaystyle \ mu}![\ mu](https://wikimedia.org/api/rest_v1/media/math/render/svg/9fd47b2a39f7a7856952afec1f1db72c67af6161)
Lakiperhettä hallitsee toimenpide, jos .
(Pθ)θ∈Θ{\ displaystyle (P _ {\ theta}) _ {\ theta \ sisään \ Theta}}
μ{\ displaystyle \ mu}
∀AT∈Ω,∀θ∈Θ,μ(AT)=0⇒Pθ(AT)=0{\ displaystyle \ forall A \ in \ Omega, \ all \ theta \ in \ Theta, \ quad \ mu (A) = 0 \ Rightarrow P _ {\ theta} (A) = 0}![\ forall A \ in \ Omega, \ all \ theta \ in \ Theta, \ quad \ mu (A) = 0 \ Rightarrow P _ {\ theta} (A) = 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/cd0c77d5d612ecbed3420ae998b5ea1ebfcd256b)
Jos X on ulottuvuuden 1 jatkuva muuttuja, voimme käyttää Lebesgue-mittausta (tai aikavälillä hallitsevana mittana. Jos X on ulottuvuuden 1 erillinen muuttuja, voimme käyttää laskutoimitusta (tai osajoukko ) Sitten löydetään määritelmät todennäköisyydelle, joka annetaan erillisille ja jatkuville tapauksille.
R{\ displaystyle \ mathbb {R}}
R{\ displaystyle \ mathbb {R}}
EI{\ displaystyle \ mathbb {N}}
EI{\ displaystyle \ mathbb {N}}![\ mathbb {N}](https://wikimedia.org/api/rest_v1/media/math/render/svg/fdf9a96b565ea202d0f4322e9195613fb26a9bed)
Ominaisuudet
Suurimman todennäköisyyden menetelmällä saatu estimaattori on:
Toisaalta se voi olla puolueellinen äärellisessä näytteessä.
Luottamusvälit
Koska suurin todennäköisyyden estimaattori on asymptoottisesti normaali, voimme rakentaa luottamusvälin siten, että se sisältää todellisen parametrin todennäköisyydellä :
VSei{\ displaystyle C_ {n}}
1-a{\ displaystyle 1- \ alfa}![1- \ alfa](https://wikimedia.org/api/rest_v1/media/math/render/svg/9afa7876fb8b4fb8c4d8039ebed6cd1cbc4781cd)
VSei=(θei^-Φ-1(1-a/2)σθei^^,θei^+Φ-1(1-a/2)σθei^^){\ displaystyle C_ {n} = \ vasen ({\ hat {\ theta _ {n}}} - \ Phi ^ {- 1} (1- \ alfa / 2) {\ widehat {\ sigma _ {\ hat { \ theta _ {n}}}}}, {\ hat {\ theta _ {n}}} + \ Phi ^ {- 1} (1- \ alfa / 2) {\ widehat {\ sigma _ {\ hat { \ theta _ {n}}}}} \ oikea)}![C_ {n} = \ vasen ({\ hat {\ theta _ {n}}} - \ Phi ^ {{- 1}} (1- \ alpha / 2) \ widehat {\ sigma _ {{{\ hat { \ theta _ {n}}}}}}, {\ hat {\ theta _ {n}}} + \ Phi ^ {{- 1}} (1- \ alfa / 2) \ widehat {\ sigma _ {{ {\ hat {\ theta _ {n}}}}}} \ oikea)](https://wikimedia.org/api/rest_v1/media/math/render/svg/dcfd962a5867d8a94ce0b7a474d9bcc597e69ccf)
kanssa järjestyksessä kvantiili alennetun keskitetty normaalijakaumaa ja arvioitu keskihajonta . Meillä on sitten
Φ-1(1-a/2){\ displaystyle \ Phi ^ {- 1} (1- \ alfa / 2)}
1-a/2{\ displaystyle 1- \ alfa / 2}
σθei^^{\ displaystyle {\ widehat {\ sigma _ {\ hattu {\ theta _ {n}}}}}}
θei^{\ displaystyle {\ hattu {\ theta _ {n}}}}![{\ hattu {\ theta _ {n}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/060140e11229710f2b248bef246c84fdebe42da7)
P(θ∈VSei)⟶ei→+∞1-a{\ displaystyle \ mathbb {P} (\ theta \ in C_ {n}) {\ alaviiva {n \ rightarrow + \ infty} {\ longrightarrow}} 1- \ alfa}![{\ mathbb P} (\ theta \ in C_ {n}) {\ alaviiva {n \ rightarrow + \ infty} {\ longrightarrow}} 1- \ alfa](https://wikimedia.org/api/rest_v1/media/math/render/svg/cbdb378425049282ae65e7ad90efab0b9ba425a9)
Testit
Wald-testi
Koska suurin todennäköisyyden estimaattori on asymptoottisesti normaali, voimme käyttää Wald-testiä.
Katsomme nollahypoteesia:
H0:θ=θ0{\ displaystyle H_ {0}: \ theta = \ theta _ {0}}![H_ {0}: \ theta = \ theta _ {0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/34b7b3db7f904a701a9b60e3a6b313f2516a20b2)
vaihtoehtoista hypoteesia vastaan
Hklo:θ≠θ0{\ displaystyle H_ {a}: \ theta \ neq \ theta _ {0}}![H_ {a}: \ theta \ neq \ theta _ {0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/43f2728de92191ddaab096300d5bce8b115a1b0c)
Estimaattori on asymptoottisesti normaali:
θ^{\ displaystyle {\ hattu {\ theta}}}![{\ hattu {\ theta}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f0eaae56d74c5844e86caeed8ae205ff9e413bba)
θ^-θ0σθ^^∼EI(0,1){\ displaystyle {\ frac {{\ hat {\ theta}} - \ theta _ {0}} {\ widehat {\ sigma _ {\ hat {\ theta}}}}}} sim {\ mathcal {N}} (0,1)}![{\ frac {{\ hat {\ theta}} - \ theta _ {0}} {\ widehat {\ sigma _ {{{\ hat {\ theta}}}}}}}}} sim {\ mathcal N} ( 0,1)](https://wikimedia.org/api/rest_v1/media/math/render/svg/82903069f94c1b3aefc10dd36980d0aca23025c0)
kanssa arvioitu keskihajonta estimaattorinσθ^^{\ displaystyle {\ widehat {\ sigma _ {\ hattu {\ theta}}}}}
θ^{\ displaystyle {\ hattu {\ theta}}}
Määritämme testitilaston:
W=θ^-θ0σθ^^{\ displaystyle W = {\ frac {{\ hat {\ theta}} - \ theta _ {0}} {\ widehat {\ sigma _ {\ hat {\ theta}}}}}}}![W = {\ frac {{\ hat {\ theta}} - \ theta _ {0}} {\ widehat {\ sigma _ {{{{\ hat {\ theta}}}}}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/58e8537037abfb16001d087305e0b9debf3f8c55)
Sitten hylkäämme nollahypoteesin ensimmäisen luokan riskillä, kun testitilaston absoluuttinen arvo on suurempi kuin pienennetyn keskitetyn normaalilain järjestyskvantiili :
a{\ displaystyle \ alfa}
1-a/2{\ displaystyle 1- \ alfa / 2}![1- \ alfa / 2](https://wikimedia.org/api/rest_v1/media/math/render/svg/3d89cd111892baef3eb29d9b8943859a18ed4b9d)
|W|>Φ-1(1-a/2){\ displaystyle | W |> \ Phi ^ {- 1} (1- \ alfa / 2)}![| W |> \ Phi ^ {{- 1}} (1- \ alfa / 2)](https://wikimedia.org/api/rest_v1/media/math/render/svg/be7f7fb287357006566f37ef40901440f50e55b3)
kanssa kvantiiliestimaatit toiminta vähentää keskitetty normaalijakaumaa.
Φ-1(.){\ displaystyle \ Phi ^ {- 1} (.)}![\ Phi ^ {{- 1}} (.)](https://wikimedia.org/api/rest_v1/media/math/render/svg/8160d9edc71eaa248be950a4ba285607946dddb8)
P-arvo kirjoitetaan sitten:
p-arvo=2Φ(-|w|){\ displaystyle {\ text {p-arvo}} = 2 \ Phi (- | w |)}![{\ text {p-arvo}} = 2 \ Phi (- | w |)](https://wikimedia.org/api/rest_v1/media/math/render/svg/84ebfc9e75424e993ade7728013d62bae70df802)
jossa w testitilaston arvo tiedoissa.
Todennäköisyyden suhdetesti
Jos kutsumme arvioitujen parametrien vektoria, harkitsemme tyypin testiä:
θ{\ displaystyle \ theta}![\ theta](https://wikimedia.org/api/rest_v1/media/math/render/svg/6e5ab2664b422d53eb0c7df3b87e1360d75ad9af)
H0:θ∈Θ0{\ displaystyle H_ {0}: \ theta \ sisään \ Theta _ {0}}![H_ {0}: \ theta \ sisään \ Theta _ {0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/166c2acd34f0fdc93a952a8f672a7b06e8869f93)
vastaan
Hklo:θ∉Θ0{\ displaystyle H_ {a}: \ theta \ notin \ Theta _ {0}}![H_ {a}: \ theta \ notin \ Theta _ {0}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2867675c887b6eb23ccc65f5e4b03a6a1a9acc60)
Määritämme sitten suurimman todennäköisyyden estimaattorin ja suurimman todennäköisyyden estimaattorin alla . Lopuksi määritämme testitilaston:
θ^{\ displaystyle {\ hattu {\ theta}}}
θ0^{\ displaystyle {\ widehat {\ theta _ {0}}}}
H0{\ displaystyle H_ {0}}![H_0](https://wikimedia.org/api/rest_v1/media/math/render/svg/43910602a221b7a4c373791f94793e3008622070)
λ=-2Hirsi(L(θ0^)L(θ^)){\ displaystyle \ lambda = -2 \ log \ vasen ({\ frac {{\ mathcal {L}} ({\ hat {{theta _ {0}}})}} {{\ mathcal {L}} ({\ widehat {\ theta}})}} \ oikea)}![{\ displaystyle \ lambda = -2 \ log \ vasen ({\ frac {{\ mathcal {L}} ({\ hat {{theta _ {0}}})}} {{\ mathcal {L}} ({\ widehat {\ theta}})}} \ oikea)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/de47499632974cbb3bc9685ace72135c961949b9)
Tiedämme, että nollahypoteesin mukaan todennäköisyyssuhdetestin statistiikka noudattaa lakia, jonka vapausasteiden määrä on yhtä suuri kuin nollahypoteesin asettamien rajoitusten määrä (p):
χ2{\ displaystyle \ chi ^ {2}}![\ chi ^ 2](https://wikimedia.org/api/rest_v1/media/math/render/svg/8c0cc9237ec72a1da6d18bc8e7fb24cdda43a49a)
λ(x1,...,xei)∼χ2(s){\ displaystyle \ lambda (x_ {1}, \ ldots, x_ {n}) \ sim \ chi ^ {2} (p)}![\ lambda (x_ {1}, \ ldots, x_ {n}) \ sim \ chi ^ {2} (p)](https://wikimedia.org/api/rest_v1/media/math/render/svg/0e10044455098e5d8ca1448251f3187cec3e2f19)
Siksi tasotesti hylätään, kun testitilasto on suurempi kuin p vapausasteen lain järjestyskvantiili .
a{\ displaystyle \ alfa}
1-a{\ displaystyle 1- \ alfa}
χ2{\ displaystyle \ chi ^ {2}}![\ chi ^ 2](https://wikimedia.org/api/rest_v1/media/math/render/svg/8c0cc9237ec72a1da6d18bc8e7fb24cdda43a49a)
Siksi voimme määritellä tämän testin raja-arvon ( p-arvon ):
p-arvo=1-Fχs2(λ){\ displaystyle {\ text {p-value}} = 1-F _ {\ chi _ {p} ^ {2}} (\ lambda)}![{\ text {p-value}} = 1-F _ {{\ chi _ {{p}} ^ {2}}} (\ lambda)](https://wikimedia.org/api/rest_v1/media/math/render/svg/8da1c993be75daa8f65e1b7d2d51db854131abe8)
Esimerkkejä
Poissonin laki
Haluamme arvioida parametri on Poisson-jakauman peräisin n- näytteestä:
λ{\ displaystyle \ lambda}![\ lambda](https://wikimedia.org/api/rest_v1/media/math/render/svg/b43d0ea3c9c025af1be9128e62a18fa74bedda2a)
f(x,λ)=Pλ(X=x)=e-λλxx!{\ displaystyle f (x, \ lambda) = P _ {\ lambda} (X = x) = e ^ {- \ lambda} {\ frac {\ lambda ^ {x}} {x!}}}![f (x, \ lambda) = P _ {\ lambda} (X = x) = e ^ {{- \ lambda}} {\ frac {\ lambda ^ {x}} {x!}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c739a75bf0b8eebe1f725041ffc8ed60f852ec6b)
Suurin todennäköisyysarvio on: λ^ML=x¯{\ displaystyle {\ hattu {\ lambda}} _ {ML} = {\ bar {x}}}
Esittely
Todennäköisyys on kirjoitettu:
L(x1,...,xi,...,xei;λ)=∏i=1eie-λλxixi!=e-eiλ∏i=1eiλxixi!{\ displaystyle L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ lambda) = \ prod _ {i = 1} ^ {n} e ^ {- \ lambda } {\ frac {\ lambda ^ {x_ {i}}} {x_ {i}!}} = e ^ {- n \ lambda} \ prod _ {i = 1} ^ {n} {\ frac {\ lambda ^ {x_ {i}}} {x_ {i}!}}}![L (x_1, ..., x_i, ..., x_n; \ lambda) = \ prod_ {i = 1} ^ ne ^ {- \ lambda} \ frac {\ lambda ^ {x_i}} {x_i!} = e ^ {- n \ lambda} \ prod_ {i = 1} ^ n \ frac {\ lambda ^ {x_i}} {x_i!}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d0ea05e213be88213ddbec4a78e1b711745cc5bc)
Todennäköisyys olla positiivinen, katsomme sen luonnollisen logaritmin :
lnL(x1,...,xi,...,xei;λ)=lne-λei+ln∏i=1eiλxixi!=-λei+∑i=1eilnλxixi!=-λei+lnλ∑i=1eixi-∑i=1eiln(xi!){\ displaystyle \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ lambda) = \ ln e ^ {- \ lambda n} + \ ln \ prod _ {i = 1} ^ {n} {\ frac {\ lambda ^ {x_ {i}}} {x_ {i}!}} = = \ lambda n + \ summa _ {i = 1} ^ {n} \ ln {\ frac {\ lambda ^ {x_ {i}}} {x_ {i}!}} = - \ lambda n + \ ln \ lambda \ summa _ {i = 1} ^ {n} x_ {i} - \ summa _ {i = 1} ^ {n} \ ln (x_ {i}!)}![\ ln L (x_1, ..., x_i, ..., x_n; \ lambda) = \ ln e ^ {- \ lambda n} + \ ln \ prod_ {i = 1} ^ n \ frac {\ lambda ^ {x_i}} {x_i!} = - \ lambda n + \ sum_ {i = 1} ^ n \ ln \ frac {\ lambda ^ {x_i}} {x_i!} = - \ lambda n + \ ln \ lambda \ summa_ {i = 1} ^ n x_i - \ summa_ {i = 1} ^ n \ ln (x_i!)](https://wikimedia.org/api/rest_v1/media/math/render/svg/3095256f69274ead2379fe47c93b6d5e90ee9238)
Ensimmäinen johdannainen katoaa, kun:
∂lnL(x1,...,xi,...,xei;λ)∂λ=0{\ displaystyle {\ frac {\ osittainen \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ lambda)} {\ osittainen \ lambda}} = 0}![{\ frac {\ osittainen \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ lambda)} {\ osittainen \ lambda}} = 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/3ec8fe7158a987aa08fd1c697fa467a934da1a2d)
On
λ^=∑i=1eixiei{\ displaystyle {\ hattu {\ lambda}} = {\ frac {\ sum _ {i = 1} ^ {n} x_ {i}} {n}}}![{\ hat \ lambda} = {\ frac {\ sum _ {{i = 1}} ^ {n} x_ {i}} {n}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/53d9f8380a22de14f696358a4161834202551119)
Toinen johdannainen on kirjoitettu:
∂2lnL(x1,...,xi,...,xei;λ)∂λ2=-∑i=1eixiλ2≤0{\ displaystyle {\ frac {\ parts ^ {2} \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ lambda)} {\ osittainen \ lambda ^ {2}}} = - {\ frac {\ sum _ {i = 1} ^ {n} x_ {i}} {\ lambda ^ {2}}} \ leq 0}![{\ frac {\ osittainen ^ {2} \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ lambda)} {\ osittainen \ lambda ^ {2} }} = - {\ frac {\ sum _ {{i = 1}} ^ {n} x_ {i}} {\ lambda ^ {2}}} \ leq 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/4acd07c3a4cd00d38094785fcf509f78d46b6cc2)
Koska suhde on aina negatiivinen, estimaatin antaa:
Yei=Λ=∑i=1eiXiei=X¯{\ displaystyle Y_ {n} = \ Lambda = {\ frac {\ sum _ {i = 1} ^ {n} X_ {i}} {n}} = {\ baari {X}}}
On aivan normaalia löytää tästä didaktisesta esimerkistä empiirinen keskiarvo, koska se on paras mahdollinen estimaatti parametrille (mikä edustaa myös Poisson-jakauman odotusta).
λ{\ displaystyle \ lambda}![\ lambda](https://wikimedia.org/api/rest_v1/media/math/render/svg/b43d0ea3c9c025af1be9128e62a18fa74bedda2a)
Eksponentiaalinen laki
Haluamme arvioida parametri olevan eksponentiaalisesti lain peräisin n- näytteestä.
a{\ displaystyle \ alfa}![\ alfa](https://wikimedia.org/api/rest_v1/media/math/render/svg/b79333175c8b3f0840bfb4ec41b8072c83ea88d3)
f(x,a)=fa(x)={ae-axjosx≥00jos ei{\ displaystyle f (x, \ alpha) = f _ {\ alpha} (x) = {\ begin {cases} \ alpha e ^ {- \ alpha x} & {\ text {si}} \ quad x \ geq 0 \\ 0 ja {\ teksti {muuten}} \ lopeta {tapaukset}}}
Suurin todennäköisyysarvio on: a^ML=1x¯{\ displaystyle {\ hat {\ alpha}} _ {ML} = {\ frac {1} {\ bar {x}}}}
Esittely
Todennäköisyys on kirjoitettu:
L(x1,...,xi,...,xei;a)=∏i=1eiae-axi=aei∏i=1eie-axi=aeiexp(∑i=1ei-axi)=aeiexp(-a∑i=1eixi){\ displaystyle L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ alpha) = \ prod _ {i = 1} ^ {n} \ alpha e ^ {- \ alpha x_ {i}} = \ alpha ^ {n} \ prod _ {i = 1} ^ {n} e ^ {- \ alpha x_ {i}} = \ alpha ^ {n} \ exp \ vasemmalle (\ summa _ {i = 1} ^ {n} - \ alpha x_ {i} \ right) = \ alpha ^ {n} \ exp \ left (- \ alpha \ summa _ {i = 1} ^ {n} x_ { Olen oikea)}![L (x_1, ..., x_i, ..., x_n; \ alpha) = \ prod_ {i = 1} ^ n \ alfa e ^ {- \ alpha x_i} = \ alpha ^ n \ prod_ {i = 1 } ^ ne ^ {- \ alpha x_i} = \ alpha ^ n \ exp \ left (\ sum_ {i = 1} ^ n - \ alpha x_i \ right) = \ alpha ^ n \ exp \ left (- \ alpha \ summa_ {i = 1} ^ n x_i \ oikea)](https://wikimedia.org/api/rest_v1/media/math/render/svg/104dfdc7d6323a04964b872c30b0a50f3578e7d4)
Todennäköisyys olla positiivinen, katsomme sen luonnollisen logaritmin:
lnL(x1,...,xi,...,xei;a)=ln[aeiexp(-a∑i=1eixi)]=eilna-a∑i=1eixi{\ displaystyle \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ alpha) = \ ln \ vasen [\ alpha ^ {n} \ exp \ left ( - \ alfa \ summa _ {i = 1} ^ {n} x_ {i} \ oikea) \ oikea] = n \ ln \ alfa - \ alfa \ summa _ {i = 1} ^ {n} x_ {i} }![\ ln L (x_1, ..., x_i, ..., x_n; \ alpha) = \ ln \ vasen [\ alpha ^ n \ exp \ vasen (- \ alpha \ sum_ {i = 1} ^ n x_i \ oikea) \ oikea] = n \ ln \ alfa - \ alfa \ summa_ {i = 1} ^ n x_i](https://wikimedia.org/api/rest_v1/media/math/render/svg/ff2c5d2985ac3654d8c6a322ffefff0d61122c32)
Ensimmäinen johdannainen katoaa, kun:
∂lnL(x1,...,xi,...,xei;a)∂a=eia-∑i=1eixi=0{\ displaystyle {\ frac {\ osittainen \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ alfa)} {\ osittainen \ alpha}} = {\ frac {n} {\ alpha}} - \ summa _ {i = 1} ^ {n} x_ {i} = 0}![\ frac {\ osittainen \ ln L (x_1, ..., x_i, ..., x_n; \ alfa)} {\ osittainen \ alpha} = \ frac {n} {\ alfa} - \ summa_ {i = 1 } ^ n x_i = 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/f719995961dd6369c038d3ec68313d33bd646d77)
On
a^=ei∑i=1eixi=11ei∑i=1eixi{\ displaystyle {\ hat {\ alpha}} = {\ frac {n} {\ sum _ {i = 1} ^ {n} x_ {i}}} = {\ frac {1} {{\ frac {1 } {n}} \ summa _ {i = 1} ^ {n} x_ {i}}}}![{\ hat \ alpha} = {\ frac {n} {\ sum _ {{i = 1}} ^ {n} x_ {i}}} = {\ frac {1} {{\ frac {1} {n }} \ summa _ {{i = 1}} ^ {n} x_ {i}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/792c6d6dd523912981fa0fafbd67f44c3a78e52b)
Toinen johdannainen on kirjoitettu:
∂2lnL(x1,...,xi,...,xei;a)∂a2=-eia2≤0{\ displaystyle {\ frac {\ osittainen ^ {2} \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ alfa)} {\ osittainen \ alfa ^ {2}}} = - {\ frac {n} {\ alpha ^ {2}}} \ leq 0}![{\ frac {\ osittainen ^ {2} \ ln L (x_ {1}, ..., x_ {i}, ..., x_ {n}; \ alfa)} {\ osittainen \ alfa ^ {2} }} = - {\ frac {n} {\ alpha ^ {2}}} \ leq 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/c5bf64fc1d3f103c3c5dcf0ecf958da8f5531d31)
Tämä suhde on aina negatiivinen, joten arvion antaa:
Zei=AT=11ei∑i=1eiXi=1X¯{\ displaystyle Z_ {n} = \ mathrm {A} = {\ frac {1} {{\ frac {1} {n}} \ summa _ {i = 1} ^ {n} X_ {i}}} = {\ frac {1} {\ bar {X}}}}
Tässäkin on aivan normaalia löytää käänteinen empiirinen keskiarvo, koska tiedämme, että eksponentiaalilain odotus vastaa parametrin käänteistä .
a{\ displaystyle \ alfa}![\ alfa](https://wikimedia.org/api/rest_v1/media/math/render/svg/b79333175c8b3f0840bfb4ec41b8072c83ea88d3)
Normaali laki
Suurimman uskottavuuden estimaattori odotusarvo ja varianssi on normaali jakauma on:
μ{\ displaystyle \ mu}
σ2{\ displaystyle \ sigma ^ {2}}![\ sigma ^ {2}](https://wikimedia.org/api/rest_v1/media/math/render/svg/53a5c55e536acf250c1d3e0f754be5692b843ef5)
μ^ML=x¯=1ei∑i=1eixi{\ displaystyle {\ hat {\ mu}} _ {ML} = {\ bar {x}} = {\ frac {1} {n}} \ summa _ {i = 1} ^ {n} x_ {i} }
σ^ML2=1ei∑i=1ei(xi-x¯)2{\ displaystyle {\ widehat {\ sigma}} _ {ML} ^ {2} = {\ frac {1} {n}} \ summa _ {i = 1} ^ {n} (x_ {i} - {\ palkki {x}}) ^ {2}}![\ widehat {\ sigma} _ {{ML}} ^ {2} = {\ frac {1} {n}} \ summa _ {{i = 1}} ^ {n} (x_ {i} - {\ palkki {x}}) ^ {2}](https://wikimedia.org/api/rest_v1/media/math/render/svg/837c7b166cc069d5d25828330feab56f829fa92d)
Esittely
Normaalilla lailla on tiheysfunktio:
EI(μ,σ2){\ displaystyle {\ mathcal {N}} (\ mu, \ sigma ^ {2})}![{\ mathcal {N}} (\ mu, \ sigma ^ {2})](https://wikimedia.org/api/rest_v1/media/math/render/svg/863304aaa42a945f2f07d79facc3d2eebc845ce7)
f(x∣μ,σ2)=1σ2πexp(-(x-μ)22σ2).{\ displaystyle f (x \ mid \ mu, \ sigma ^ {2}) = {\ frac {1} {\ sigma {\ sqrt {2 \ pi}}}}} exp {\ left (- {\ frac { (x- \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ oikea)}.}![f (x \ mid \ mu, \ sigma ^ 2) = \ frac {1} {\ sigma \ sqrt {2 \ pi}} \ exp {\ left (- \ frac {(x- \ mu) ^ 2} { 2 \ sigma ^ 2} \ oikea)}.](https://wikimedia.org/api/rest_v1/media/math/render/svg/a7b44f83b87a5f92fcc0c98f19bcfc44a312b3b0)
Todennäköisyysfunktio n riippumattoman arvon otokselle on tällöin:
f(x1,...,xei∣μ,σ2)=∏i=1eif(xi∣μ,σ2)=(12πσ2)ei/2exp(-∑i=1ei(xi-μ)22σ2),{\ displaystyle f (x_ {1}, \ ldots, x_ {n} \ mid \ mu, \ sigma ^ {2}) = \ prod _ {i = 1} ^ {n} f (x_ {i} \ mid \ mu, \ sigma ^ {2}) = \ vasen ({\ frac {1} {2 \ pi \ sigma ^ {2}}} \ oikea) ^ {n / 2} \ exp \ vasen (- {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ oikea),}![f (x_ {1}, \ ldots, x_ {n} \ mid \ mu, \ sigma ^ {2}) = \ prod _ {{i = 1}} ^ {{n}} f (x _ {{i }} \ mid \ mu, \ sigma ^ {2}) = \ vasen ({\ frac {1} {2 \ pi \ sigma ^ {2}}} \ oikea) ^ {{n / 2}} \ exp \ vasen (- {\ frac {\ sum _ {{i = 1}} ^ {{n}} (x_ {i} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ oikea) ,](https://wikimedia.org/api/rest_v1/media/math/render/svg/0893635bd018f4bff05f8f9316ac31f275eba2f7)
jonka König-Huyghensin lause voi kirjoittaa yksinkertaisemmin :
f(x1,...,xei∣μ,σ2)=(12πσ2)ei/2exp(-∑i=1ei(xi-x¯)2+ei(x¯-μ)22σ2),{\ displaystyle f (x_ {1}, \ ldots, x_ {n} \ mid \ mu, \ sigma ^ {2}) = \ vasen ({\ frac {1} {2 \ pi \ sigma ^ {2}} } \ oikea) ^ {n / 2} \ exp \ vasen (- {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2} + n ({\ bar {x}} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ oikea),}![f (x_ {1}, \ ldots, x_ {n} \ mid \ mu, \ sigma ^ {2}) = \ vasen ({\ frac {1} {2 \ pi \ sigma ^ {2}}} \ oikea ) ^ {{n / 2}} \ exp \ left (- {\ frac {\ sum _ {{i = 1}} ^ {{n}} (x_ {i} - {\ bar {x}}) ^ {2} + n ({\ bar {x}} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ oikea),](https://wikimedia.org/api/rest_v1/media/math/render/svg/05d79d339a9e1dd6b8fb0d3b7f86c678fc910056)
missä on otoksen keskiarvo.
x¯{\ displaystyle {\ bar {x}}}![{\ palkki {x}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/466e03e1c9533b4dab1b9949dad393883f385d80)
Meillä on kaksi parametria:, joten meidän on maksimoitava funktio näiden kahden parametrin mukaan.
θ=μ,σ2{\ displaystyle \ theta = \ mu, \ sigma ^ {2}}
L(μ,σ)=f(x1,...,xei∣μ,σ){\ displaystyle {\ mathcal {L}} (\ mu, \ sigma) = f (x_ {1}, \ ldots, x_ {n} \ mid \ mu, \ sigma)}![{\ mathcal {L}} (\ mu, \ sigma) = f (x_ {1}, \ ldots, x_ {n} \ mid \ mu, \ sigma)](https://wikimedia.org/api/rest_v1/media/math/render/svg/8f91fb18fbd750c0037139a075539788693fd6a5)
Etsimme siis ensimmäistä johdannaista ja tasoitamme sen nollaan.
Tässä tapauksessa maksimoidaan log-likelihood-funktio.
0=∂∂μln((12πσ2)ei/2exp(-∑i=1ei(xi-x¯)2+ei(x¯-μ)22σ2))=∂∂μ(ln(12πσ2)ei/2-∑i=1ei(xi-x¯)2+ei(x¯-μ)22σ2)=0--2ei(x¯-μ)2σ2{\ displaystyle {\ begin {aligned} 0 & = {\ frac {\ partitali {\ osittainen \ mu}} \ ln \ vasen (\ vasen ({vasen ({\ frac {1} {2 \ pi \ sigma ^ {2} }} \ oikea) ^ {n / 2} \ exp \ vasen (- {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2 } + n ({\ bar {x}} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ oikea) \ oikea) \\ & = {\ frac {\ partituali} {\ osittainen \ mu}} \ vasen (\ ln \ vasen ({\ frac {1} {2 \ pi \ sigma ^ {2}}} \ oikea) ^ {n / 2} - {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2} + n ({\ bar {x}} - \ mu) ^ {2}} {2 \ sigma ^ {2 }}} \ oikea) \\ & = 0 - {\ frac {-2n ({\ bar {x}} - \ mu)} {2 \ sigma ^ {2}}} \ end {tasattu}}}![\ Aloita {tasaus} 0 & = \ frac {\ osallinen} {\ osittainen \ mu} \ ln \ vasen (\ vasen (\ frac {1} {2 \ pi \ sigma ^ 2} \ oikea) ^ {n / 2 } \ exp \ left (- \ frac {\ sum_ {i = 1} ^ {n} (x_i- \ bar {x}) ^ 2 + n (\ bar {x} - \ mu) ^ 2} {2 \ sigma ^ 2} \ oikea) \ oikea) \\ & = \ frac {\ osallinen} {\ osittainen \ mu} \ vasen (\ ln \ vasen (\ frac {1} {2 \ pi \ sigma ^ 2} \ oikea ) ^ {n / 2} - \ frac {\ sum_ {i = 1} ^ {n} (x_i- \ bar {x}) ^ 2 + n (\ bar {x} - \ mu) ^ 2} {2 \ sigma ^ 2} \ oikea) \\ & = 0 - \ frac {-2n (\ bar {x} - \ mu)} {2 \ sigma ^ 2} \ end {tasaus}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bf2b35d968cc74c06550aefb5df2870b9b629836)
ja saamme siten estimaattorin odotuksen suurimmalla todennäköisyydellä:
μ^=x¯=∑i=1eixi/ei{\ displaystyle {\ hattu {\ mu}} = {\ bar {x}} = \ summa _ {i = 1} ^ {n} x_ {i} / n}![{\ hat \ mu} = {\ bar {x}} = \ summa _ {{i = 1}} ^ {{n}} x_ {i} / n](https://wikimedia.org/api/rest_v1/media/math/render/svg/540b20286aa0031474e057f68a8aff13a0f02675)
Voimme myös osoittaa, että tämä arvioija on puolueeton:
E[μ^]=μ{\ displaystyle \ mathbb {E} \ vasen [{\ widehat {\ mu}} \ oikea] = \ mu}![{\ mathbb {E}} \ vasen [\ widehat \ mu \ right] = \ mu](https://wikimedia.org/api/rest_v1/media/math/render/svg/700ad845f296cb3db78cc330ad52206c8f5ea0a8)
Toiselle parametrille, σ, haemme analogisesti maksimia σ: n funktiona.
0=∂∂σln((12πσ2)ei/2exp(-∑i=1ei(xi-x¯)2+ei(x¯-μ)22σ2))=∂∂σ(ei2ln(12πσ2)-∑i=1ei(xi-x¯)2+ei(x¯-μ)22σ2)=-eiσ+∑i=1ei(xi-x¯)2+ei(x¯-μ)2σ3{\ displaystyle {\ begin {tasattu} 0 & = {\ frac {\ partisalaatti {\ osittainen \ sigma}} \ ln \ vasen (\ vasen ({\ frac {1} {2 \ pi \ sigma ^ {2} }} \ oikea) ^ {n / 2} \ exp \ vasen (- {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2 } + n ({\ bar {x}} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ oikea) \ oikea) \\ & = {\ frac {\ partituali} {\ osittainen \ sigma}} \ left ({\ frac {n} {2}} \ ln \ left ({\ frac {1} {2 \ pi \ sigma ^ {2}}} \ right) - {\ frac {\ summa _ {i = 1} ^ {n} (x_ {i} - {\ bar {x}}) ^ {2} + n ({\ bar {x}} - \ mu) ^ {2}} {2 \ sigma ^ {2}}} \ oikea) \\ & = - {\ frac {n} {\ sigma}} + {\ frac {\ sum _ {i = 1} ^ {n} (x_ {i} - { \ bar {x}}) ^ {2} + n ({\ bar {x}} - \ mu) ^ {2}} {\ sigma ^ {3}}} \ end {tasattu}}}![\ Aloita {tasaus} 0 & = \ frac {\ osittainen} {\ osittainen \ sigma} \ ln \ vasen (\ vasen (\ frac {1} {2 \ pi \ sigma ^ 2} \ oikea) ^ {n / 2 } \ exp \ left (- \ frac {\ sum_ {i = 1} ^ {n} (x_i- \ bar {x}) ^ 2 + n (\ bar {x} - \ mu) ^ 2} {2 \ sigma ^ 2} \ oikea) \ oikea) \\ & = \ frac {\ partituali {\ osittainen \ sigma} \ vasen (\ frac {n} {2} \ ln \ vasen (\ frac {1} {2 \ pi \ sigma ^ 2} \ oikea) - \ frac {\ sum_ {i = 1} ^ {n} (x_i- \ bar {x}) ^ 2 + n (\ bar {x} - \ mu) ^ 2} {2 \ sigma ^ 2} \ oikea) \\ & = - \ frac {n} {\ sigma} + \ frac {\ sum_ {i = 1} ^ {n} (x_i- \ bar {x}) ^ 2 + n (\ bar {x} - \ mu) ^ 2} {\ sigma ^ 3} \ end {tasaus}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7398c0cf08e63b678026777110c4ad0512cd8a39)
siksi
σ^2=∑i=1ei(xi-μ^)2/ei{\ displaystyle {\ widehat {\ sigma}} ^ {2} = \ summa _ {i = 1} ^ {n} (x_ {i} - {\ widehat {\ mu}}) ^ {2} / n}![\ widehat \ sigma ^ {2} = \ summa _ {{i = 1}} ^ {n} (x_ {i} - \ widehat {\ mu}) ^ {2} / n](https://wikimedia.org/api/rest_v1/media/math/render/svg/84906a5b7a1190147f2af12883736b8518a56141)
ja lopulta saamme varianssin suurimman todennäköisyyden estimaattorin
σ^2=1ei∑i=1ei(xi-x¯)2{\ displaystyle {\ widehat {\ sigma}} ^ {2} = {\ frac {1} {n}} \ summa _ {i = 1} ^ {n} (x_ {i} - {\ bar {x} }) ^ {2}}![\ widehat \ sigma ^ {2} = {\ frac {1} {n}} \ summa _ {{i = 1}} ^ {{n}} (x _ {{i}} - {\ bar {x} }) ^ {2}](https://wikimedia.org/api/rest_v1/media/math/render/svg/5c93cdf8ea743967d5dcb223a3a7adb63c07b633)
Varianssiestimaattori on puolestaan puolueellinen:
E[σ2^]=ei-1eiσ2{\ displaystyle \ mathbb {E} \ left [{\ widehat {\ sigma ^ {2}}} \ right] = {\ frac {n-1} {n}} \ sigma ^ {2}}
Varianssiestimaattori on hyvä esimerkki osoittamaan, että suurin todennäköisyys voi tuottaa puolueellisia arvioita. Todellakin, harhaton estimaattori saadaan: . Asymptoottisesti, kun n pyrkii äärettömyyteen, tämä puolueellisuus, joka taipuu 0: een ja estimaattori on sitten asymptoottisesti puolueeton.
σ^2=1ei-1∑i=1ei(xi-x¯)2{\ displaystyle {\ widehat {\ sigma}} ^ {2} = {\ frac {1} {n-1}} \ summa _ {i = 1} ^ {n} (x_ {i} - {\ bar { x}}) ^ {2}}
-σ2ei,{\ displaystyle {\ frac {- \ sigma ^ {2}} {n}},}![{\ displaystyle {\ frac {- \ sigma ^ {2}} {n}},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/539a1f5c28d5c12575286759126bfe4e18153494)
Yhtenäinen laki
Jos arvioidaan tasaisen jakauman yläraja, todennäköisyyttä ei voida johtaa.
Haluamme arvioida parametri on yhtenäinen laki peräisin n- näytteestä.
f(x,klo)=fklo(x)={1klojosx∈[0;klo]0jos ei{\ displaystyle f (x, a) = f_ {a} (x) = {\ begin {cases} {\ frac {1} {a}} & {\ text {si}} \ quad x \ in [0; a] \\ 0 ja {\ teksti {muuten}} \ lopeta {tapaukset}}}![f (x, a) = f_ {a} (x) = {\ aloita {tapaukset} {\ frac {1} {a}} ja {\ teksti {si}} \ quad x \ sisään [0; a] \ \ 0 ja {\ teksti {muuten}} \ lopeta {tapaukset}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f18b4c9eedf0c979225be78b83c58bee31873ac2)
Todennäköisyys on kirjoitettu:
L(x1,...,xi,...,xei;klo)=∏i=1eifklo(xi)={0josklo<enint(x1,...,xei)1kloeijosklo≥enint(x1,...,xei){\ displaystyle L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; a) = \ prod _ {i = 1} ^ {n} f_ {a} (x_ {i} ) = {\ begin {cases} 0 & {\ text {si}} \ quad a <\ max (x_ {1}, \ ldots, x_ {n}) \\ {\ frac {1} {a ^ {n }}} ja {\ text {si}} \ quad a \ geq \ max (x_ {1}, \ ldots, x_ {n}) \ end {tapaukset}}}![L (x_ {1}, \ ldots, x_ {i}, \ ldots, x_ {n}; a) = \ prod _ {{i = 1}} ^ {n} f_ {a} (x_ {i}) = {\ begin {cases} 0 & {\ text {si}} \ quad a <\ max (x_ {1}, \ ldots, x_ {n}) \\ {\ frac {1} {a ^ {n} }} ja {\ text {si}} \ quad a \ geq \ max (x_ {1}, \ ldots, x_ {n}) \ end {tapaukset}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3e9e7ec8946b892ae121aa1e5bd77122d48b872f)
Tätä toimintoa ei voida johtaa osoitteessa . Sen johdannainen katoaa koko ajan . On selvää, että tämän funktion maksimin löytämiseksi ei pitäisi katsoa, mihin johdannainen katoaa.
enint(x1,...,xei){\ displaystyle \ max (x_ {1}, \ ldots, x_ {n})}
[0,enint(x1,...,xei)[{\ displaystyle [0, \ max (x_ {1}, \ ldots, x_ {n}) [}![[0, \ max (x_ {1}, \ ldots, x_ {n}) [](https://wikimedia.org/api/rest_v1/media/math/render/svg/29de2f78b056aa13ad14be783b23a7cab7e9a177)
L: n arvo on suurin , koska laskee arvolle .
klo^=enint(x1,...,xei){\ displaystyle {\ hat {a}} = \ max (x_ {1}, \ ldots, x_ {n})}
1kloei{\ displaystyle {\ tfrac {1} {a ^ {n}}}}
klo>0{\ displaystyle a> 0}![a> 0](https://wikimedia.org/api/rest_v1/media/math/render/svg/1f34a80ea013edb56e340b19550430a8b6dfd7b9)
Tämä esimerkki osoittaa myös, että todennäköisyyden logaritmi ei ole aina hyvin määritelty (ellemme hyväksy sitä ).
ln(0)=-∞{\ displaystyle \ ln (0) = - \ infty}![\ ln (0) = - \ infty](https://wikimedia.org/api/rest_v1/media/math/render/svg/6ce280837cfb2a00cfbd338d2ca1a68ffb60177e)
Sovellukset
Suurimman todennäköisyyden menetelmää käytetään hyvin usein. Sitä käytetään erityisesti logistisen regressiomallin tai probit-mallin arvioimiseen . Yleisemmin sitä käytetään yleisesti arvioimaan yleistetty lineaarinen malli , logistista regressiota sisältävät malliluokat ja probit-malli.
Bibliografia
- (en) Larry Wasserman , Kaikki tilastot: Tiivis kurssi tilastollisessa päättelyssä , New York, Springer-Verlag ,15. syyskuuta 2004, 461 Sivumäärä ( ISBN 978-0-387-40272-7 , lue verkossa )
- (en) Colin Cameron ja Pravin Trivedi , Mikroekonometria: menetelmät ja sovellukset , Cambridge University Press ,2005, 1056 Sivumäärä ( ISBN 978-0-521-84805-3 , lue verkossa )
Huomautuksia ja viitteitä
Huomautuksia
-
Muistutamme, että p-arvo määritellään ensimmäisen luokan riskin pienimmäksi arvoksi ( ), jolle hylkäämme testin ( Wasserman 2004 , s. 156)a{\ displaystyle \ alfa}
Viitteet
-
(in) John Aldrich , " RA Fisher ja tekemistä suurimman todennäköisyyden 1912-1922 " , Statistical Science , Vol. 12, n o 3,1997, s. 162-176 ( luettu verkossa , kuultu 19. joulukuuta 2011 )
-
(in) Stephen Stiglerin , " Epic tarina Maximum Likelihood " , Statistical Science , Vol. 22, n o 4,2007( luettu verkossa , kuultu 21. joulukuuta 2011 ).
-
(in) Ronald Fisher , " On ehdoton sovittamiseksi taajuuden käyrät " , Messenger matematiikan , n o 41,1912, s. 155 - 160
-
(in) Ronald Fisher , " On" todennäköinen virhe "joka korrelaatiokerroin päätelty pieni näyte " , Metron , n o 1,1921
-
(in) Ronald Fisher , " On the matemaattisen perustan teoreettisen tilastoja " , Philos. Trans. Roy. Soc. London Ser. A ,1922
-
Wasserman 2004 , s. 126
-
Cameron ja Trivedi 2005 , s. 119
-
Wasserman 2004 , s. 129, lause 9.18
-
Cameron ja Trivedi 2005 , s. 121
-
Wasserman 2004 , s. 129, lause 9.19
-
Wasserman 2004 , s. 153, määritelmä 10.3
-
Wasserman 2004 , s. 158, lause 10.13
-
Wasserman 2004 , s. 164
-
Wasserman 2004 , s. 123, esimerkki 9.11
-
Wasserman 2004 , s. 124, esimerkki 9.12
Katso myös
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">