Bootstrap (tilastot)

Bootstrap

Luonto	Menetelmä ( d )
Keksijä	Bradley Efron

In tilastojen , bootstrap tekniikat ovat tilastollisen päättelyn menetelmät perustuvat useita replikaation datan datajoukon tutkittu, mukaan resampling tekniikoita. Ne ovat peräisin 1970-luvun lopulta, jolloin mahdollisuus intensiivisiin tietokonelaskelmiin tuli kohtuuhintaiseksi. Melkein vuosisadan ajan on laskettu arviot  : dispersiomittarit ( varianssi , keskihajonta ), luottamusvälit , hypoteesitestien päätöstaulukot jne. Todennäköisyyslakien matemaattisista lausekkeista, samoin kuin vain näiden likiarvot, kun laskenta ei ollut mahdollista. Tästä lähtien digitaalisen tekniikan stokastinen laskentamenetelmä mahdollistaa näiden arvioiden moninkertaistamisen ja ennen kaikkea kvantifioida näiden arvioiden herkkyyden alkuperäisen otoksen eli tutkitun aineiston erityispiirteille tutkimuksen tilastollisen analyysin ansiosta. alinäytteet mahdollisia.

Tämä menetelmä perustuu stokastinen simulaatioita, kuten menetelmät Monte Carlo , numeerisia menetelmiä Bayes ( Gibbs näytteenotin , algoritmi Metropolis-Hastings ), sillä erolla, että bootstrap ei vaadi muuta tietoa, joka on saatavilla yksilöiden alkuperäisen näytteen.

Tarkemmin sanottuna, ja tämä on termin "  uudelleennäyte  " merkitys, käynnistyshihna koostuu tilastollisten "uusien näytteiden" luomisesta, mutta vain tekemällä korvaaminen alkuperäisestä näytteestä. Menetelmän itsekeskeinen ja iteratiivinen näkökulma inspiroi sen englanninkielistä nimeä: todellakin, bootstrap tarkoittaa tosiasiaa "itsensä nostamisesta vetämällä omia nauhojaan tai tarkemmin " bootstrapit ", jotka englanniksi tarkoittavat ommeltuja nahkaisia ​​renkaita tai kangasta saappaiden reunaan viemään sormet niiden läpi, jotta ne olisivat helpommin päällä ”.

Yleinen käytäntö

Antaa olla näyte on n havaintojen, riippumattomia ja samoin jakautuneita (IID) erään (Tuntematon) laki . Haluamme arvioida määrän , kuten lain odotuksen , sen mediaanin tai varianssin. Ensimmäisessä tapauksessa toiminnallinen on X1,X2,...,Xei{\ displaystyle X_ {1}, X_ {2}, \ ldots, X_ {n}}F{\ displaystyle F}θ=T(F){\ displaystyle \ theta = T (F)}T{\ displaystyle T}

T(F)=∫xdF(x){\ displaystyle T (F) = \ int xdF (x)}

ja viimeisessä

T(F)=∫(x-μ)2dF(x){\ displaystyle T (F) = \ int (x- \ mu) ^ {2} dF (x)}

kanssa toivoa, jonka ilmentyminen annettiin edellä. μ{\ displaystyle \ mu}

Klassinen estimaatti on , missä on arvio jakautumisfunktiosta . Siksi on vielä saatava tämä arvio . Kaksi tapausta ilmenee: θ{\ displaystyle \ theta}θ^=T(F^){\ displaystyle {\ hattu {\ theta}} = T ({\ hattu {F}})}F^{\ displaystyle {\ hattu {F}}}F{\ displaystyle F}F^{\ displaystyle {\ hattu {F}}}

• parametrinen tapaus  : oletetaan, että se on osa parametrilakien perhettä, toisin sanoen indeksoitu joukolla parametreja, sanotaan . Jälkeen estimoidaan parametrit , jonka suurimman todennäköisyyden esimerkiksi, meillä on (parametrinen) arvio . Puhumme parametrisesta käynnistyshihnasta  ;F{\ displaystyle F}ω{\ displaystyle \ omega}ω{\ displaystyle \ omega}F{\ displaystyle F}
• ei-parametrinen tapaus  : tässä ei oleteta lain kuulumista parametriseen perheeseen. Se arvioidaan käyttämällä empiiristä jakautumistoimintoa . Puhumme ei-parametrisesta käynnistyshihnasta .F^{\ displaystyle {\ hattu {F}}}

Bootstrapin seuraava vaihe perustuu simulaatioihin: kun otetaan huomioon estimaatti (parametrinen tai ei) , saamme tästä laista vetoja, joiden avulla voidaan arvioida . Puhumme bootstrap-näytteestä yhden näistä piirroksista. Huomaa, että tässä piirustus ei koske havaintoa , vaan koko näyte, joka koostuu n itsenäisestä havainnosta. Bootstrap-näytteistä saatuja kokoelmia kutsutaan bootstrap-jakeluiksi . F^{\ displaystyle {\ hattu {F}}}θ^=T(F^){\ displaystyle {\ hattu {\ theta}} = T ({\ hattu {F}})}xi{\ displaystyle x_ {i}}θ^{\ displaystyle {\ hattu {\ theta}}}

Parametrisessa tapauksessa käynnistyshihna-menetelmä on samanlainen kuin simuloidut menetelmät, kuten Monte-Carlo-menetelmät . Ei-parametrisissa tapauksissa bootstrap-menetelmä tarkoittaa käynnistyshihnanäytteen käyttöä, joka koostuu uudelleennäytteistämisestä alkuperäisen näytteen korvaamisella . Menetelmä edellyttää siis simuloituja näytteitä; niiden lukumäärän, esimerkiksi , on oltava riittävän suuri, jotta voidaan varmistaa empiiristen arvioiden lähentyminen . On tavallista harkita simuloitua näytettä, joka on saman kokoinen kuin alkuperäinen näyte. B{\ displaystyle B}T(F^){\ displaystyle T ({\ hattu {F}})}

Oletetaan, että haluamme suuremman selvyyden vuoksi arvioida lain odotuksen ja erityisesti tämän odotuksen estimaatin tarkkuuden (eli odotuksen varianssin). Näin voit tehdä sen. Asetimme ensin näytteiden lukumäärän. Menettely on seuraava: B{\ displaystyle B}

• Loop sillä menee kohteeseen  : b{\ displaystyle b}1{\ displaystyle 1}B{\ displaystyle B}
  • piirrämme bootstrap-näytteen: mukaan ;X1∗,X2∗,...,Xei∗{\ displaystyle X_ {1} ^ {\ ast}, X_ {2} ^ {\ ast}, \ ldots, X_ {n} ^ {\ ast}}F^{\ displaystyle {\ hattu {F}}}
  • lasketaan tilastollinen (tässä näyte keskiarvo) päässä bootstrap näyte:  ;θ^b=(X1∗+⋯+Xei∗)/ei{\ displaystyle {\ hat {{theta}} _ {b} = (X_ {1} ^ {\ ast} + \ cdots + X_ {n} ^ {\ ast}) / n}
• Empiirinen keskiarvo on bootstraps-näytteiden empiiristen keskiarvojen keskiarvoθ^¯{\ displaystyle {\ bar {\ hat {\ theta}}}}θ^b{\ displaystyle {\ hattu {\ theta}} _ {b}}
• Empiirisen keskiarvon estimaattorin varianssi on likimääräistä bootstrap-populaation empiirisellä varianssilla .σ^2(θ^¯){\ displaystyle {\ hattu {\ sigma}} ^ {2} ({\ bar {\ hat {\ theta}}})}θ^b{\ displaystyle {\ hattu {\ theta}} _ {b}}

Tässä viimeisessä vaiheessa meidän on arvioitava

σ^2(θ^¯)=1B∑b=1B[θ^b-θ^¯]2{\ displaystyle {\ hattu {\ sigma}} ^ {2} ({\ bar {\ hat {\ theta}}}) = {\ frac {1} {B}} \ summa _ {b = 1} ^ { B} \ vasen [{\ hat {\ theta}} _ {b} - {\ bar {\ hat {\ theta}}} \ oikea] ^ {2}},

kanssa

θ^¯=1B∑b=1Bθ^b{\ displaystyle {\ bar {\ hat {\ theta}}} = {\ frac {1} {B}} \ summa _ {b = 1} ^ {B} {\ hat {\ theta}} _ {b} }

joka on vaihtoehto klassiselle estimaattorille

θ^=1ei∑iXi{\ displaystyle {\ hat {\ theta}} = {\ frac {1} {n}} \ summa _ {i} X_ {i}}.

Ei-parametrisen käynnistyshihnan osalta simulointivaihe on hyvin yksinkertainen: se on käynnistyshihnan näyte, joka saadaan yksinkertaisesti uudelleen näytteistämällä korvaamalla alkuperäinen näyte. Esimerkiksi alkunäytteelle (1,2,5,4) bootstrap-näyte on esimerkiksi (5,5,4,1) tai taas (4,1,4,2) ja niin edelleen.

Luottamusväli

Käynnistyshihna antaa myös kuvan estimaatin luottamusvälistä . Käynnistyshihnan luottamusväli tasolla määritetään tunnistamalla käynnistyshihnan jakelun kvantiilit , jättäen jakelun molemmat puolet . Siten 5%: n kynnyksellä luottamusväli rajataan yksinkertaisesti käynnistyshihnan jakauman 2,5%: n ja 97,5%: n prosenttipisteillä. a{\ displaystyle \ alfa}a/2×100%{\ displaystyle \ alpha / 2 \ kertaa 100 \%}

Käynnistyshihnan luottamusvälin saamiseksi useiden simulaatioiden on oltava riittävän suuria; erityisesti . B{\ displaystyle B}B≥1000{\ displaystyle B \ geq 1000}

Tämä tekniikka on voimassa vain, kun käynnistyshihnan jakauma on symmetrinen ja keskitetty alkuperäiseen näytteeseen. Tutkimme kannattavasti lähdeluettelossa mainittuja teoksia määritellaksemme tekniikat - enemmän tai vähemmän triviaalit -, jotka mahdollistavat tämän tapauksen ymmärtämisen.

Lineaarinen regressio

Bootstrap voidaan soveltaa myös määrittämiseen luottamusvälin parametrin tapauksessa klassisen lineaarisen regression . Tätä tapausta kutsutaan sileäksi käynnistyshihnaksi englanniksi. β{\ displaystyle \ beta}

Lineaarisessa regressiomallissa

y=Xβ+ϵ,{\ displaystyle y = X \ beta + \ epsilon,}

oletetaan, että riippuva muuttuja y ja vaarat ovat ulottuvuus , selittävä tekijät ulottuvuus ja jotka on kertoimet voidaan määrittää. ϵ{\ displaystyle \ epsilon}ei×1{\ displaystyle n \ kertaa 1}X{\ displaystyle X}ei×s{\ displaystyle n \ kertaa p}s{\ displaystyle p}β{\ displaystyle \ beta}

Klassisen oletukset lineaarisen regression voidaan päätellä, että estimaattori , jonka pienimmän neliösumman , jaetaan yleensä  : β{\ displaystyle \ beta}β^=(X′X)-1X′y{\ displaystyle {\ hat {\ beta}} = (X'X) ^ {- 1} X'y}

β^∼EI(β;σ2(X′X)-1).{\ displaystyle {\ hattu {\ beta}} \ sim N \ vasen (\ beta; \ sigma ^ {2} (X'X) ^ {- 1} \ oikea).}

Siten välille ja voimme rakentaa luottamusvälin  %  : n kynnyksellä seuraaville : j{\ displaystyle j}1{\ displaystyle 1}s{\ displaystyle p}a{\ displaystyle \ alfa}β^j{\ displaystyle {\ hattu {\ beta}} _ {j}}

β^j±ta/2;ei-s×s2^vs.j,j.{\ displaystyle {\ hat {\ beta}} _ {j} \ pm t _ {\ alpha / 2; np} \ kertaa {\ sqrt {{\ widehat {s ^ {2}}} c_ {j, j} }}.}

Tässä kaavassa on Studentin lain kvantiili , matriisin tavanomainen estimaattori ja elementti . ta/2;ei-s{\ displaystyle t _ {\ alpha / 2; np}}s2^{\ displaystyle {\ widehat {s ^ {2}}}}σ2{\ displaystyle \ sigma ^ {2}}vs.j,j{\ displaystyle c_ {j, j}}(j,j){\ displaystyle (j, j)}VS=(X′X)-1{\ displaystyle C = (X'X) ^ {- 1}}

Käynnistyshihnaa käytetään tarjoamaan vaihtoehto tälle luottamusvälille. Vaaroja ei voida havaita, koska niiden lakia ei tunneta. Bootstrap-lähestymistavassa vaarat korvataan jäännöksillä: ϵ{\ displaystyle \ epsilon}

e^=(e^1,...,e^ei)=y-y^=y-Xb^.{\ displaystyle {\ hat {e}} = ({\ hat {e}} _ {1}, \ ldots, {\ hat {e}} _ {n}) = y - {\ hattu {y}} = yX {\ hat {b}}.}

Käynnistyshihna etenee seuraavasti:

• Sillä menee kohteeseen  : b{\ displaystyle b}1{\ displaystyle 1}B{\ displaystyle B}
  • resampling: vaarat korvataan bootstrap-jäännöksillä , jotka on saatu ottamalla uudelleen näytteitä korvaamalla alkuperäiset jäännökset . Näillä jäännöksillä on ulottuvuus , eikä riippuvuutta indeksistä ole osoitettu merkintöjen yksinkertaistamiseksi;e^∗{\ displaystyle {\ hattu {e}} ^ {\ ast}}e^{\ displaystyle {\ hattu {e}}}ei{\ displaystyle n}b{\ displaystyle b}
  • rakennamme käynnistysriipusta riippuvat muuttujat:, sitten arvioimme tavallisimmilla pienimmillä neliöillä .y^∗=Xβ^+e^∗{\ displaystyle {\ hat {y}} ^ {\ ast} = X {\ hat {\ beta}} + {\ hattu {e}} ^ {\ ast}}β^b∗=(X′X)-1X′y^∗{\ displaystyle {\ hat {\ beta}} _ {b} ^ {\ ast} = (X'X) ^ {- 1} X '{\ hat {y}} ^ {\ ast}}
• Populaation hyödyntäminen yllä mainitun luottamusvälin muodostamiseksi. Meidän on hankittava järjestys ja populaatiokvantiilit .β^b∗{\ displaystyle {\ hattu {\ beta}} _ {b} ^ {\ ast}}a{\ displaystyle \ alfa}1-a{\ displaystyle 1- \ alfa}β^b∗{\ displaystyle {\ hattu {\ beta}} _ {b} ^ {\ ast}}

Bootstrap-testi

Ohjelmistokirjasto

• Free Library for MATLAB
• Alle R , on lähinnä kaksi pakettia:
  • bootstrap perustuu Efroniin ja Tibshiraniin (1994);
  • bootilla on enemmän ominaisuuksia (Davisonin ja Hinkleyn, 1997 jälkeen).

Esimerkki

Ihmiskehon mittoja koskevista 507 havainnosta käytetään 34: tä. Paino (kilogrammoina) ja pituus (metreinä) uutetaan kehon massaindeksin laskemiseksi , joka määritellään painon ja korkeuden neliösuhteena. Tiedot toistetaan alla.

34 käytettävissä olevaa tietoa

paino	leikata	BMI
65,60	1.74	21.67
71.80	1.75	23.36
80,70	1.94	21.55
72,60	1.87	20.87
78,80	1.87	22.49
74,80	1.82	22.71
62,00	1.75	20.24
81,60	1.84	24.10
76,60	1.80	23.64
83,60	1.78	26.44
74,60	1.76	24.08
76.40	1.80	23.50
63.20	1.65	23.36
60,90	1.73	20.35
74,80	1.84	22.21
59,50	1.70	20.59
67.20	1.82	20.29
61.30	1.70	21.21
68,60	1.78	21.70
55.20	1.64	20.50
57.00	1.63	21.45
66.10	1.72	22.40
72,00	1.82	21.74
64,60	1.67	23.16
74,80	1.78	23.66
70,00	1.65	25,87
68.40	1.77	21.96
65,90	1.69	22.96
75,70	1.82	22.83
73.20	1.77	23.29
53,90	1.67	19.23
72,00	1.78	22.70
55,50	1.69	19.46
58.40	1.57	23.63

Olemme kiinnostuneita BMI : n odotuksista . Luonnollinen estimaattori on empiirinen keskiarvo: μ{\ displaystyle \ mu}

μ^=1ei∑i=1eixi{\ displaystyle {\ hattu {\ mu}} = {\ frac {1} {n}} \ summa _ {i = 1} ^ {n} x_ {i}}

Tämän havaitun empiirisen keskiarvon varianssin estimaattori tunnetaan nimenomaisesti: se saadaan empiirisestä varianssista jaettuna n: llä , toisin sanoen: σ^2(μ^){\ displaystyle {\ hattu {\ sigma}} ^ {2} ({\ hat {\ mu}})}σ^P2{\ displaystyle {\ hattu {\ sigma}} _ {P} ^ {2}}

σ^2(μ^)=σ^P2ei=1ei(ei-1)∑i=1ei(xi-μ^)2{\ displaystyle {\ hattu {\ sigma}} ^ {2} ({\ hat {\ mu}}) = {\ frac {{\ hat {\ sigma}} _ {P} ^ {2}} {n} } = {\ frac {1} {n (n-1)}} \ summa _ {i = 1} ^ {n} (x_ {i} - {\ hattu {\ mu}}) ^ {2}}

Empiiriset arviot ovat ja . μ^=22,32941{\ displaystyle {\ hat {\ mu}} = 22.32941}σ^2(μ^)=0,079882{\ displaystyle {\ hattu {\ sigma}} ^ {2} ({\ hat {\ mu}}) = 0,079882}

Voimme verrata bootstrap-tekniikoilla saatuihin tuloksiin. Käytämme bootstrap-näytteitä . Muistutamme seuraavasta menettelystä: B=1000{\ displaystyle B = 1000}ei=34{\ displaystyle n = 34}

• ja b menee 1 B
  • bootstrap-näyte muodostetaan ottamalla se uudelleen näytteellä korvaamalla;
  • laskemme tämän bootstrap-näytteen keskiarvon (empiirisen), havaittu  ;μb{\ displaystyle \ mu _ {b}}
• laskemme empiirisen keskiarvon ja bootstrap-jakauman empiirisen keskiarvon varianssin.

Nämä laskelmat ovat seuraavat:

μ^∗=1B∑b=1Bμb{\ displaystyle {\ hattu {\ mu}} _ {\ ast} = {\ frac {1} {B}} \ summa _ {b = 1} ^ {B} \ mu _ {b}}

ja

σ^2(μ^)∗=1B-1∑b=1B(μb-μ^∗)2{\ displaystyle {\ hattu {\ sigma}} ^ {2} ({\ hat {\ mu}}) _ {\ ast} = {\ frac {1} {B-1}} \ summa _ {b = 1 } ^ {B} (\ mu _ {b} - {\ hat {\ mu}} _ {\ ast}) ^ {2}}

Empiirinen keskiarvo on ja tämän empiirisen keskiarvon estimaatin varianssi on arvot, jotka ovat hyvin lähellä ei-bootstrap-estimaatteja. Lisäksi bootstrap-jakelu näyttää normaalilta, kuten qq-juoni osoittaa . Voisimme sitten rakentaa käynnistyshihnan luottamusvälin otoksen hyvin pienestä koosta huolimatta. μ^∗=22,33521{\ displaystyle {\ hattu {\ mu}} _ {\ ast} = 22.33521}σ^2(μ^)∗=0,079582{\ displaystyle {\ hattu {\ sigma}} ^ {2} ({\ hat {\ mu}}) _ {\ ast} = 0,079582}

Huomautuksia ja viitteitä

Huomautuksia

1. (sisään) vetää itsensä ylös omalla bootstrapilla . Tämä viittaa paroni Münchhausenin seikkailuihin , joiden uskotaan paenneen suosta, johon hänet oli upotettu vetämällä itseään saappaista ja työntäen itsensä siten ilmaan. Yleisemmin bootstrapit ovat nahasta tai kankaasta valmistettuja renkaita, jotka on ommeltu saappaiden reunaan ja joiden läpi lyöt sormia auttaaksesi niitä. Vaihtoehtoinen nimi (ja käytännössä vähän käytetty) Cyranon menetelmä viittaa samaan jaksoon, mutta Edmond Rostand otti sen esiin Cyrano de Bergeracissaan (III näytös, kohtaus 13, noin 1664 - 1669).
2. Emme ottaneet vaivaa sisällyttää indeksi b otokseen luokitusten keventämiseksi.
3. Viitteenä mainituista teoksista viitataan lähdeluettelossa.

Viitteet

1. (in) Grete Heinz Louis J. Peterson, Roger W. Johnson, Carter J. Kerk "  Exploring Ihmissuhteet Rungon koko  " , Journal of Statistics Education , vol.  11, n o  22003( lue verkossa )

Bibliografia

• (en) Bradley Efron , "  Bootstrap Methods: Another Look at the Jackknife  " , Annals of Statistics , voi.  7, n o  1,tammikuu 1979, s.  1-26 ( ISSN  0090-5364 , DOI  10.2307 / 2958830 , lue verkossa )
• (en) AC Davison, DV Hinkley, Bootstrap Methods and their Application , Cambridge University Press,28. lokakuuta 1997( ISBN  0-521-57471-4 )
• (en) Efron Bradley, RJ Tibshirani, Johdatus Bootstrapiin , New York, Chapman & Hall / CRC,15. toukokuuta 1994, 436  Sivumäärä ( ISBN  0-412-04231-2 )
• (en) Efron Bradley, The Jackknife, Bootstrap, and Other resampling Plans , Philadelphia (Pa.), Society for Industrial & Applied Mathematics, Yhdysvallat,31. tammikuuta 1982, 92  Sivumäärä ( ISBN  0-89871-179-7 )

Katso myös

Sisäiset linkit

• Linkkuveitsi
• Monte-Carlo-menetelmä

Ulkoiset linkit

• (en) Melko täydellinen esittely [PDF]
• (en) Boostrap- ja jacknife-menetelmät [PDF]
• (fr) Käynnistyshihnan sovellus Accromath-päiväkirjassa [PDF]

<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">