Erotteleva analyysi

Erotteleva analyysi

Alaluokka	Tilastollinen menetelmä ( d )

Erotteluanalyysiä ( AFD ) tai yksinkertaisesti erotteluanalyysiä on tekniikka tilastoja , jonka tarkoituksena on kuvata, selittää ja ennustaa jäsenyyden ennalta ryhmissä (luokat, luokat muuttujan ennustaa ...) joukon havaintoja (yksityishenkilöt, esimerkkejä ...) ennustavien muuttujien sarjasta (kuvaajat, eksogeeniset muuttujat ...).

Diskriminanttianalyysiä käytetään monilla aloilla.

• In lääketieteessä , esimerkiksi havaita ryhmiä, joilla on korkea sydän- riskien perusteella ominaisuuksia, kuten ruokavalion, ovatko tupakointia, suvussa, jne
• Pankkialalla, kun haluamme arvioida lainanhakijan luotettavuuden tulojen, huollettavien lukumäärän, hänen hallussaan olevien lainojen jne. Perusteella
• In biology , kun haluamme antaa kappale sen perheen jäsenyyden perustuu sen fyysisiin ominaisuuksiin. Sir Ronald Fisherin iirikset - joka on tämän menetelmän lähtökohta - ovat esimerkki, kyse on iiriksen tyypin (setosa, virginica ja versicolor) tunnistamisesta sen terälehtien ja verholehtien pituudelta / leveydeltä.
• Tietojenkäsittelytiede, optiseen merkintunnistukseen . Diskriminanttianalyysiä käytetään tunnistamaan merkki, joka on tulostettu yksinkertaisista tiedoista, kuten symmetrian esiintymisestä tai puuttumisesta, päiden lukumäärästä jne.

Erotteluanalyysi on tunnettu ja hyväksytty tekniikka on kuvattu, noin identtisellä tavalla eri yhteisöissä, tietojenkäsittely: valmisteleva tilastotietojen ( valmisteleva data-analyysi ), jonka datan analysointiin on hahmontunnistus ( hahmontunnistusta ) on koneen oppiminen ( kone oppiminen ), tiedot kaivostoiminta ( tiedonlouhinta ) ...

Tietotaulukko

Flas Beetles Dataset -tiedostossa, johon viitataan DASL-sivustossa ( Data and Story Library ), havaitaan kolme kirppuperhettä, joille on tunnusomaista ruokatorven kulma ja leveys, urospuolinen lisääntymiselin.

Tässä tiedostossa on 74 havaintoa. Lajin muuttuja osoittaa perheen kunkin siru, on kolme {Con - concinna, Hei - Heikertingeri, Hep - Heptapotamica}. Kirput kuvataan kahden jatkuvan muuttujan avulla: niiden aedeagusin leveys ( leveys ) ja kulma.

Koska tietoja kuvataan kahdella muuttujalla, on mahdollista esittää sirontakaavio XY-kuvaajassa, jonka leveys on abscissassa ja kulma (kulma) ordinaatissa. Tämä ei ole enää mahdollista, kun kuvailijoiden lukumäärä on yli kaksi, erottelevan analyysin yksi rooleista on nimenomaan ehdottaa sopivaa graafista esitystä pienennetyssä tilassa.

Eri lähestymistavat tavoitteista riippuen

Päätapoja on yleensä kaksi:

• Diskriminanttianalyysi voi olla kuvaileva tekniikka. Puhumme tässä tapauksessa syrjivien tekijöiden analyysistä (tai kuvailevasta syrjinnän analyysistä ). Tavoitteena on ehdottaa uutta esitysjärjestelmää, piileviä muuttujia, jotka muodostuvat ennustavien muuttujien lineaarisista yhdistelmistä, jotka mahdollistavat yksilöryhmien erottamisen mahdollisimman paljon. Tässä mielessä se on samanlainen kuin tekijäanalyysi, koska se antaa mahdollisuuden ehdottaa graafista esitystä pienennetyssä tilassa, erityisesti analyysia pääkomponenteista, jotka on laskettu tietyn metrisen pisteiden pilvien ehdollisilla painopisteillä. Puhumme myös kanonisesta syrjintäanalyysistä, erityisesti anglosaksisessa ohjelmistossa.

• Diskriminanttianalyysi voi olla ennakoiva. Tällöin siihen kuuluu luokitustoiminnon (määrityssäännön jne.) Rakentaminen, joka antaa mahdollisuuden ennustaa ryhmä, johon yksilö kuuluu, ennustavien muuttujien ottamista arvoista. Tässä mielessä tämä tekniikka on samanlainen kuin koneoppimisen valvotut tekniikat , kuten päätöspuut , hermoverkot jne. Se perustuu todennäköisyyskehykseen. Tunnetuin on varmasti multinormaalijakauman hypoteesi (normaalijakauma). Homoscedasticity-oletuksen lisäksi ehdollisilla pilvipilvillä on sama muoto, päädymme lineaariseen diskriminanttianalyysiin . Se on käytännössä erittäin houkutteleva, koska sijoitustoiminto ilmaistaan ​​ennustemuuttujien lineaarisena yhdistelmänä, helppo analysoida ja tulkita. Tätä tekniikkaa ja logistista regressiota käytetään laajalti pisteytyksessä esimerkiksi silloin, kun haluamme luonnehtia uuden tuotteen edessä olevan asiakkaan ruokahalua - ostohalukkuutta.

Näiden kahden lähestymistavan välinen ero ei ole niin selvä. On esimerkiksi mahdollista johtaa geometriset määrityssäännöt diskriminanttianalyysistä.

Kuvaava diskriminanttianalyysi

Kuvaava diskriminanttianalyysi (kanoninen diskriminanttianalyysi) on etsivä tilastollinen tekniikka, joka toimii muuttujien kuvaamien havaintojen joukossa jaoteltuina ryhmiin. Sen tarkoituksena on tuottaa uusi esitysjärjestelmä, joka koostuu alkumuuttujien lineaarisista yhdistelmistä, mikä sallii luokkien erottamisen mahdollisimman hyvin . ei{\ displaystyle n \,}J{\ displaystyle J \,}K{\ displaystyle K \,}K{\ displaystyle K \,}

• Kuvaava diskriminanttianalyysi on kuvaileva tekniikka, koska se tarjoaa graafisen esityksen, joka antaa mahdollisuuden visualisoida havaintojen läheisyydet, kuuluvat samaan ryhmään tai eivät.
• Se on myös selittävä tekniikka, koska meillä on mahdollisuus tulkita tekijäakselit, alkumuuttujien lineaariset yhdistelmät ja siten ymmärtää ominaisuuksia, jotka erottavat eri ryhmät.

Toisin kuin ennakoiva diskriminanttianalyysi, se ei perustu mihinkään todennäköisyysoletukseen. Se on pohjimmiltaan geometrinen menetelmä.

Merkinnät - Formulaatiot

Tiedot ja arviot

Meillä on näyte havainnoista jaettuna numeroihin . ei{\ displaystyle n \,}K{\ displaystyle K \,}eik{\ displaystyle n_ {k} \,}

Huomaa muuttuja, joka määrittelee ryhmät, se ottaa arvot sisään . Meillä on muuttujia . Y{\ displaystyle Y \,}{y1,...,yK}{\ displaystyle \ {y_ {1}, ..., y_ {K} \} \,}J{\ displaystyle J \,}X=(X1,...,XJ){\ displaystyle X = (X_ {1}, ..., X_ {J}) \,}

Merkitsemme ehdollisten pilvien painopisteitä, niiden varianssi-kovarianssimatriisia . μk{\ displaystyle \ mu _ {k} \,}Wk{\ displaystyle W_ {k} \,}

Askeleet

Diskriminanttianalyysin tavoitteena on tuottaa uusi esitystila, jonka avulla K-ryhmät voidaan erottaa parhaiten. Lähestymistapa koostuu erilaisten muuttujien tuotannosta , joita ei ole korreloitu kaksi kerrallaan siten, että saman ryhmän yksilöt, jotka heijastuvat näille akseleille, ovat mahdollisimman lähellä toisiaan ja että eri ryhmien yksilöt ovat mahdollisimman kaukana. Zh{\ displaystyle Z_ {h} \,}

• Ryhmän sisäinen hajonta kuvataan varianssikovarianttimatriisilla . Voimme päätellä (kertoimeen saakka) ryhmän sisäisen dispersiomatriisinWk{\ displaystyle W_ {k} \,}W=1ei∑keik×Wk{\ displaystyle W = {\ frac {1} {n}} \ summa _ {k} n_ {k} \ kertaa W_ {k} \,}

• Ryhmien välinen etäisyys, ryhmien painopisteiden välillä, näkyy ryhmien välisen varianssin kovarianssimatriisina (kertoimeksi asti) , missä on globaalin pistepilven painopiste.B=1ei∑keik(t(μk-μ))(μk-μ){\ displaystyle B = {\ frac {1} {n}} \ sum _ {k} n_ {k} ({} ^ {t} (\ mu _ {k} - \ mu)) (\ mu _ {k } - \ mu) \,}μ{\ displaystyle \ mu \,}

• Pilven kokonaisdispersio saadaan kokonaisvarianssikovarianttimatriisilla . Huyghensin lauseen (joka on varianssin hajoamisen kaavan moniulotteinen yleistys) nojalla:V{\ displaystyle V \,}V=B+W{\ displaystyle V = B + W \,}

Siksi ohjausvektori määrittelee ensimmäisen tekijäakselin siten , että määrä maksimoidaan . Tämän ensimmäisen tekijän akselin luokkien välinen varianssi on suurin. u1{\ displaystyle u_ {1} \,}u1′Bu1u1′Vu1{\ displaystyle {\ frac {u_ {1} 'Bu_ {1}} {u_ {1}' Vu_ {1}}} \,}Z1{\ displaystyle Z_ {1} \,}

Ratkaisu

Tämän lineaarisen optimointiongelman ratkaisu edellyttää yhtälön ratkaisemista . Vastaus saadaan meille suoraan laskemalla matriisin ominaisarvot ja ominaisvektorit . V-1Bu=λu{\ displaystyle V ^ {- 1} Bu = \ lambda u \,}V-1B{\ displaystyle V ^ {- 1} B \,}

• Ensimmäinen tekijäakseli saadaan siis käyttämällä suurinta ominaisarvoa vastaavaa ominaisvektoria . Toinen tekijäakseli määritetään seuraavalla ominaisvektorilla jne.Z1{\ displaystyle Z_ {1} \,}u1{\ displaystyle u_ {1} \,}λ1{\ displaystyle \ lambda _ {1} \,}

• Faktooriakselien joukko määritetään matriisin ei-nollan ominaisarvojen perusteella . Tavallisessa tapauksessa, jossa saadaan tekijäakselit.V-1B{\ displaystyle V ^ {- 1} B \,}ei>J>K{\ displaystyle n> J> K \,}K-1{\ displaystyle K-1 \,}

• Lopuksi kerroinakselille laskettu luokkien välinen varianssi , jota kutsutaan myös akselin erotteluvoimaksi , on yhtä suuri kuin siihen liittyvä ominaisarvo .Zh{\ displaystyle Z_ {h} \,}λh{\ displaystyle \ lambda _ {h} \,}

Arviointi

Arviointi on kahdella tasolla: tekijäakselin erotteluvoiman arviointi; arvioida tekijäakselijoukon erotteluvoima. Ajatuksena on pystyä määrittämään riittävä akselien määrä erottamaan havainnointiryhmät uudessa esitysjärjestelmässä.

Tietenkin näillä arvioinneilla on merkitystä vain, jos ryhmät ovat havaittavissa alkuperäisessä edustustilassa. Siksi meidän on ensin arvioitava, missä määrin ryhmien painopisteet ovat erilliset. Toisin sanoen on kyse tarkistamisesta, onko yhtälön V = B + W osa B riittävän suuri, jotta se kannattaa hajottaa myöhemmin.

MANOVA-testi

Kokotesti on kuin monisuuntainen yksisuuntainen varianssianalyysi. Tässä yhteydessä esitämme hypoteesin, jonka mukaan havainnot seuraavat moniulotteista normaalijakaumaa. Löydämme tämän testin myös ennustavassa diskriminanttianalyysissä ( lineaarinen diskriminanttianalyysi ). Tilastollinen testi on Wilks' Lambda, joka on yhtä suuri kuin suhde (| | tarkoittaa determinanttia matriisi). Fisherin lain mukaista Rao-muunnosta käyttämällä voimme selvittää, pitäisikö meidän hyväksyä vai kumota hypoteesi ryhmien painopisteiden tasa-arvosta. Λ=|W||V|{\ displaystyle \ Lambda = {\ frac {| W |} {| V |}} \,}

Varianssiosuus selitetty

Kukin akseli raportoi osan luokkien välisestä varianssista B. Yksinkertainen lähestymistapa akselin tärkeyden arvioimiseksi on laskea selitetyn varianssin osa, jonka ominaisarvo kääntää. Omiarvon osuus, ts. akselin ominaisarvon ja kaikkien akselien ominaisarvojen kokonaissumman välinen suhde antaa meille hyvän osoituksen akselin roolista.

Korrelaatioraportti

Toinen tapa ilmoittaa akselin tärkeys on laskea korrelaatio-suhde. Se perustuu varianssin hajoamiskaavaan. Faktoriallisella akselilla se on yhtä suuri kuin suhde (ryhmien välisten neliöiden summa jaettuna neliöiden kokonaissummalla edustaa havaintoa). Z{\ displaystyle Z \,}η(Z,Y)=∑keik(z¯k-z¯)2∑k∑i(zik-z¯)2{\ displaystyle \ eta (Z, Y) = {\ frac {\ sum _ {k} n_ {k} ({\ bar {z}} _ {k} - {\ bar {z}}) ^ {2} } {\ summa _ {k} \ summa _ {i} (z_ {ik} - {\ bar {z}}) ^ {2}}} \,}i{\ displaystyle i \,}

Akseli on sitäkin mielenkiintoisempi, jos sillä on korkea korrelaatiosuhde. Anglo-Saxon-ohjelmistossa akselikorrelaatiosuhteen neliöjuuria kutsutaan h: nneksi kanoniseksi korrelaatioksi. Zh{\ displaystyle Z_ {h} \,}

Peräkkäinen juuritesti

Esittelemällä jälleen hypotaasi multinormaalisuudesta ja homoscedastisuudesta (katso ennakoiva diskriminanttianalyysi) voimme testata viimeisten korrelaatioiden suhde. Testi perustuu Wilksin tilastoon . Nollahypoteesi ( korrelaatioasteiden nollaus ) mitätöidään pienille arvoille . q{\ displaystyle q \,}Λq=∏h=K-qK-1(1-η(Zh,Y)2){\ displaystyle \ Lambda _ {q} = \ prod _ {h = Kq} ^ {K-1} (1- \ eta (Z_ {h}, Y) ^ {2}) \,}q{\ displaystyle q \,}Λq{\ displaystyle \ Lambda _ {q} \,}

Mitä tulee maailmanlaajuiseen testiin, muutos toteutetaan palatakseen nykyisen käytön jakelulakeihin. Bartlettin muutosta tarjotaan usein ohjelmistoissa. Se noudattaa chi-neliön lakia, jolla on vapauden asteita. Nollahypoteesi hylätään, jos laskettu kriittinen todennäköisyys on pienempi kuin itsellemme asettaman ensiluokkaisen riskin (luottamustaso). [q×(J-K+q+1)]{\ displaystyle [q \ kertaa (J-K + q + 1)] \,}

Palataan takaisin yllä olevaan globaaliin MANOVA-testiin (Wilks 'Lambda), jos testataan korrelaatioasteiden mitätöinti kaikilla tekijäakseleilla. Toisin sanoen , mikä on melko luonnollista, koska se merkitsee kaikkien akselien testaamista. (K-1){\ displaystyle (K-1) \,}Λ=ΛK-1{\ displaystyle \ Lambda = \ Lambda _ {K-1} \,}

Esimerkki

Kuuluisa IRIS- tiedosto kuvaa menetelmää. Fisher itse ehdotti ja käytti sitä havainnollistamaan syrjivä analyysi. Siinä on 150 kukkaa, jotka on kuvattu 4 muuttujalla (terälehtien ja lehtipuiden pituus ja leveys) ja ryhmitelty kolmeen luokkaan (Setosa, Versicolor ja Virginica).

Tavoitteena on tuottaa tekijäsuunnitelma (3 luokkaa ⇒ 2 akselia), jonka avulla nämä kategoriat voidaan erottaa mahdollisimman hyvin ja sitten selittää niiden asemat.

Factorial-akselit

Laskelma tuottaa seuraavat tulokset.

Akseli	Val. puhdas	Osuus	Canonical R	Wilks	KHI-2	DDL	p-arvo
1	32,272	0,991	0,985	0,024	545,58	8	0,0
2	0,277	1.0	0,466	0,783	35.6	3	0,0

Nämä kaksi akselia ovat maailmanlaajuisesti merkittäviä. Itse asiassa kahden akselin mitätöinnin Wilks-lambda on yhtä suuri kuin 0,023525 ( tässä). Bartlettin KHI-2 on yhtä suuri kuin 545,57, vapausaste on (2 x (4-3 + 2 + 1)) = 8, se on erittäin merkittävä ( hyvin pieni p-arvo ). Λ=Λ2{\ displaystyle \ Lambda = \ Lambda _ {2} \,}

Huomaa kuitenkin, että ensimmäinen akseli heijastaa 99,1% selitetystä varianssista. Voimme perustellusti kysyä, onko toinen akseli merkityksellinen ryhmien syrjinnän kannalta. Riittää, että testataan viimeisen akselin ( ) virheellisyys . Lambda on korkeampi (0,78), mikä johtaa pienempään KHI-2: een (35,64) (1 x (4-3 + 1 + 1)) = 3 vapausasteessa, se on kuitenkin merkittävä, jos asetamme itsellemme luottamuksen 5 prosentin taso. Λ1{\ displaystyle \ Lambda _ {1} \,}

Tämän tuloksen perusteella meidän olisi pidettävä kaksi akselia. Näemme alla, että tämä tulos olisi asetettava perspektiiviin.

Graafinen esitys

Projisoimalla pisteet faktorialtaiseen tasoon saadaan seuraava sijoittelu.

Erotamme selvästi kolme kukkaluokkaa. Huomaa myös, että ensimmäinen akseli mahdollistaa jo niiden eristämisen sopivasti. Toisella akselilla, vaikka ryhmien painopisteet näyttävät erillisiltä, ​​erottelu ei ole niin selvää.

Tästä kaaviosta löydämme selvästi sen, mitä aistimme selitetyn varianssisuhteen kanssa. Ensimmäinen akseli on suurelta osin riittävä ryhmien erottamiseksi toisistaan. Vaikka toinen akseli on tilastollisesti merkitsevä, se ei tarjoa todellista lisätietoa.

Hyvin usein visuaaliset tekniikat tarjoavat erittäin merkityksellisen vastapisteen raakalukuisille tuloksille.

Uusien henkilöiden projektio

Lisähavaintojen heijastamiseksi tekijätasolle ohjelmisto tarjoaa erottelevien funktioiden yhtälöt. Riittää, kun niitä sovelletaan luokiteltavan yksilön kuvaukseen, jotta saat koordinaatit uudesta viitekehyksestä.

IRIS-esimerkissä saadaan seuraavat kertoimet.

Muuttujat	Akseli 1	Akseli 2
Sepän pituus	-0,819	-0,033
Kalvon leveys	-1,548	-2,155
Terälehden pituus	2,185	0,930
Terälehden leveys	2.854	-2,806
Jatkuva	-2,119	6,640

Akselien tulkinta

Viimeisenä, eikä vähäisimpänä, meidän on ymmärrettävä ryhmien suhteellinen sijoittelu, toisin sanoen selitettävä alkumuuttujien avulla luokkien jäsenyys.

Tätä varten, kuten tekijäkohtaiset tekniikat, kuten pääkomponenttianalyysi (PCA) - erotuskerroinanalyysi voidaan nähdä PCA: n erityistapauksena - ohjelmisto tarjoaa korrelaatiomatriisin. Toisin kuin PCA, voidaan tuottaa kolmenlaisia ​​korrelaatioita: yleinen korrelaatio akselien ja alkumuuttujien välillä; ryhmän sisäinen korrelaatio, laskettuna ryhmien sisällä; luokkien välinen korrelaatio laskettuna niiden taajuuksilla painotettujen ryhmien painopisteistä.

IRIS-esimerkissä, jos pidämme kiinni ensimmäisestä akselista, saamme seuraavat korrelaatiot.

Muuttujat	Kaikki yhteensä	Ryhmien sisäinen	Ryhmien välinen
Syyskuun pituus	0,792	0,222	0,992
Syysleveys	-0,523	-0,116	-0,822
Lemmikin pituus	0,985	0,705	1000
Lemmikin leveys	0,973	0,632	0,994

Luokkien välinen korrelaatio, joka heijastaa ryhmien sijoittumista akseleille, osoittaa tässä, että Virginicalla on melko pitkät verhosivut, tärkeiden terälehtien pituudet ja leveydet. Setosilla on toisaalta vähentynyt verhon pituus, terälehtien pituus ja leveys. Versicolorsilla on väliasento.

Verotus on päinvastainen verhojen leveyden suhteen.

Huomautuksia ja viitteitä

1. Flea Beetles -tietojoukko
2. DASL

Bibliografia

• M. Bardos , Diskriminanttianalyysi - soveltaminen riski- ja taloudellisiin pisteytyksiin , Dunod, 2001.
• Gilbert Saporta , todennäköisyys, tietojen analysointi ja tilastot , Pariisi, Éditions Technip,2006, 622  Sivumäärä [ yksityiskohdat painoksista ] ( ISBN  978-2-7108-0814-5 , online-esitys )
• L. Lebart, A. Morineau, M. Piron, Moniulotteiset tutkimustilastot , Dunod, 2000.
• M. Tenenhaus , Tilastolliset menetelmät johtamisessa , Dunod, 1996.
• Michael Volle , Data Analysis , Economica, 4 th  painos, 1997 ( ISBN  2-7178-3212-2 )