Hellävarainen johdanto todennäköisyystiheyden arviointiin

Päivitetty viimeksi 24. heinäkuuta 2020

Todennäköisyystiheys on havaintojen ja niiden välinen suhde. todennäköisyys.

Joillakin satunnaismuuttujan tuloksilla on pieni todennäköisyystiheys ja toisilla todennäköisyystiheys.

Todennäköisyystiheyden yleiseen muotoon viitataan todennäköisyydellä. jakauma ja satunnaismuuttujan tiettyjen tulosten todennäköisyyksien laskeminen tapahtuu todennäköisyystiheysfunktiolla tai lyhyellä PDF-tiedostolla.

On hyödyllistä tietää todennäköisyystiheysfunktio tietonäytteelle, jotta tietää, onko tietty havainto epätodennäköistä vai niin epätodennäköistä, että sitä pidetään poikkeavana tai poikkeavana ja onko se poistettava. On myös hyödyllistä valita sopivat oppimismenetelmät, jotka edellyttävät, että syötetiedoilla on tietty todennäköisyysjakauma.

On epätodennäköistä, että satunnaisotannan todennäköisyystoiminto tunnetaan. Sellaisena todennäköisyystiheys on arvioitava todennäköisyystiheyden estimoinnilla.

Tässä opetusohjelmassa löydät varovaisen johdannon todennäköisyystiheyden estimointiin.

Tämän jälkeen opetusohjelma, tiedät:

• Histogrammikaaviot tarjoavat nopean ja luotettavan tavan visualisoida datanäytteen todennäköisyystiheys.
• Parametrinen todennäköisyystiheyden estimointi edellyttää yhteisen jakauman valitsemista. ja tiheysfunktion parametrien arvioiminen datanäytteestä.
• Ei-parametrinen todennäköisyyden tiheyden arviointi edellyttää tekniikan käyttöä mallin sovittamiseksi tietojen mielivaltaiseen jakautumiseen, kuten ytimen tiheyden estimointi.

Aloita projektisi uudella kirjallani Todennäköisyys koneoppimiseen, mukaan lukien vaiheittaiset oppaat ja Python-lähdekooditiedostot kaikille esimerkeille.

Aloitetaan.

Opetusohjelman yleiskatsaus

Tämä opetusohjelma on jaettu neljään osaan; ne ovat:

1. Todennäköisyystiheys
2. Yhteenveto tiheydestä histogrammilla
3. Parametrinen tiheysestimaatti
4. Ei-parametrinen tiheysestimaatti

Todennäköisyystiheys

Satunnaismuuttujalla x on todennäköisyysjakauma p (x).

Satunnaismuuttujan tulosten ja todennäköisyyden suhde on kutsutaan todennäköisyystiheydeksi tai yksinkertaisesti ”tiheydeksi”.

Jos satunnainen muuttuja on jatkuva, todennäköisyys voidaan laskea todennäköisyystiheysfunktion tai lyhyen PDF-tiedoston avulla. Satunnaismuuttujan toimialueen funktiota kutsutaan todennäköisyysjakaumaksi ja yleisillä todennäköisyysjakaumilla on nimiä, kuten yhtenäinen, normaali, eksponentiaalinen ja niin edelleen.

Kun otetaan huomioon satunnaismuuttuja, olemme kiinnostuneita sen todennäköisyyksien tiheys.

Esimerkiksi, jos annetaan muuttujan satunnainen otos, saatamme haluta tietää esimerkiksi todennäköisyysjakauman muodon. osuus, todennäköisin arvo, arvojen leviäminen ja muut ominaisuudet.

Satunnaismuuttujan todennäköisyysjakauman tunteminen voi auttaa laskemaan jakauman momentteja, kuten keskiarvo ja varianssi, mutta voi myös olla hyödyllinen muille yleisemmille näkökohdille, kuten sen määrittämiseksi, onko havainto epätodennäköistä vai erittäin epätodennäköistä ja onko se poikkeama vai poikkeama.

Ongelmana on, että emme ehkä tiedä satunnaismuuttujan todennäköisyysjakaumaa. Tunnemme harvoin jakauman, koska meillä ei ole pääsyä kaikkiin mahdollisiin satunnaismuuttujan tuloksiin. Itse asiassa meillä on vain näyte havainnoista. Sinänsä meidän on valittava todennäköisyysjakauma.

Tätä ongelmaa kutsutaan todennäköisyystiheyden estimoinniksi tai yksinkertaisesti ”tiheysestimaatiksi”, koska käytämme satunnaisotoksen havaintoja arvioidaksesi yleisen tiheyden todennäköisyydet, jotka ovat vain käytettävissä olevan tiedon otoksen ulkopuolella.

Satunnaismuuttujan tiheyden estimointiprosessissa on muutama vaihe.

Ensimmäinen askel on tarkistaa havainnot satunnaisessa otoksessa yksinkertaisella histogrammilla. Histogrammista voimme ehkä tunnistaa yleisen ja hyvin ymmärretyn todennäköisyysjakauman, jota voidaan käyttää, kuten normaalijakauma. Jos ei, joudumme ehkä sovittamaan mallin arvioi jakauma.

Seuraavissa osioissa tarkastelemme tarkemmin kutakin näistä vaiheista vuorotellen.

Keskitymme yksimuuttujaiseen dataan, esim. yhteen satunnaismuuttujaan, Tässä vaiheessa yksinkertaisuuden vuoksi. Vaikka vaiheet ovat sovellettavissa monimuuttujatietoihin, niistä voi tulla haastavampia ng muuttujien määrän kasvaessa.

Haluatko oppia koneoppimisen todennäköisyyden

Suorita ilmainen seitsemän päivän sähköpostihäiriökurssini nyt (mallikoodilla).

Napsauta rekisteröityäksesi ja hanki myös ilmainen PDF Ebook -versio kurssista.

Lataa ILMAINEN minikurssi

Yhteenveto tiheydestä histogrammilla

Tiheysarvioinnin ensimmäinen vaihe on luoda histogrammi havainnoista satunnaisessa näytteessä.

Histogrammi on käyrä, joka käsittää ensin havaintojen ryhmittelemisen roskiin ja laskemisen kuhunkin lokeroon putoavien tapahtumien määrän. Kunkin astian laskelmat tai havaintotaajuudet piirretään sitten pylväsdiagrammiksi siten, että roskat ovat x-akselilla ja taajuus y-akselilla.

Säiliöiden lukumäärän valinta on tärkeä, koska se hallitsee jakauman karkeutta (palkkien lukumäärä) ja puolestaan sitä, kuinka hyvin havaintojen tiheys on piirretty. On hyvä kokeilla eri lokerokokoja tietylle näytteelle saadaksesi useita näkökulmia tai näkymiä samoille tiedoille.

Histogrammi voidaan luoda käyttämällä Matplotlib-kirjastoa ja hist () -funktiota. Tiedot annetaan ensimmäisenä argumenttina, ja roskakorien lukumäärä määritetään ”bin” -argumentin kautta joko kokonaislukuna (esim. 10) tai kunkin lokeron rajojen sarjana (esim.).

Alla oleva katkelma luo histogrammin, jossa on 10 lokeroa datanäytteelle.

Voimme luoda satunnaisotoksen, joka on otettu normaalijakaumasta ja p Emme tiedä jakaumaa uudelleen, luo sitten histogrammi tiedoista. Normaali () NumPy-funktio saavuttaa tämän ja luomme 1000 näytettä, joiden keskiarvo on 0 ja keskihajonta 1, esim. tavallinen Gaussin kieli.

Täydellinen esimerkki on lueteltu alla.

esimerkki ottaa otoksen satunnaishavainnoista ja luo histogrammin, jossa on 10 lokeroa. Voimme selvästi nähdä normaalijakauman muodon.

Huomaa, että tulokset eroavat toisistaan, kun otetaan huomioon datan otoksen satunnainen luonne. Yritä suorittaa esimerkki muutama kerta.

Esimerkin suorittaminen altailla 3 asetettuna tekee normaalijakaumasta vähemmän ilmeisen.

Tarkastamalla tietonäytteen histogrammia, jossa on useita erilaisia lokeroita, voidaan tunnistaa, näyttääkö tiheys kuten tavallinen todennäköisyysjakauma vai ei.

Useimmissa tapauksissa näet unimodaalisen jakauman, kuten normaalin normaalin kellomuodon, univormun tasaisen muodon tai laskevan tai nousevan muodon. eksponentiaalinen tai Pareto-jakauma.

Saatat nähdä myös monimutkaisia jakaumia, kuten useita piikkejä, jotka eivät häviä, kun eri määrä altaita kutsutaan bimodaaliseksi jakaumaksi, tai useita piikkejä, joihin viitataan multimodaalinen jakelu. Saatat myös nähdä suuren tiheyspiikin tietylle arvolle tai pienen arvoalueen, joka osoittaa poikkeamat, usein esiintyvän jakauman hännässä kaukana muusta tiheydestä.

Parametrinen tiheysestimaatti

Useimpien satunnaisten näytteiden histogrammin muoto vastaa hyvin tunnettua todennäköisyysjakaumaa.

Yleiset jakaumat ovat yleisiä, koska ne esiintyvät yhä uudelleen eri ja joskus odottamattomilla toimialueilla.

Tutustu yleisiin todennäköisyysjakaumiin, koska se auttaa sinua tunnistamaan tietyn jakelun histogrammi.

Kun se on tunnistettu, voit yrittää arvioida satunnaismuuttujan tiheyden valitulla todennäköisyysjakaumalla. Tämä voidaan saavuttaa arvioimalla jakauman parametrit satunnaisdatanäytteellä.

Esimerkiksi normaalijakaumalla on kaksi parametria: keskiarvo ja keskihajonta. Näiden kahden parametrin perusteella tiedämme nyt todennäköisyysjakautumisfunktion. Nämä parametrit voidaan arvioida tietojen perusteella laskemalla otoksen keskiarvo ja otoksen keskihajonta.

Tätä prosessia kutsutaan parametriseksi tiheyden estimoinniksi.

Syynä on, että käytämme ennalta määriteltyjä toimintoja tiivistää havaintojen ja niiden todennäköisyyden välinen suhde, jota voidaan hallita tai konfiguroida parametreilla, joten ”parametrinen”.

Kun tiheys on arvioitu, voimme tarkistaa, sopiiko se hyvin. Tämä voidaan tehdä monin tavoin, kuten:

• Tiheysfunktion piirtäminen ja muodon vertaaminen histogrammiin.
• Tiheysfunktion otanta ja generoidun näytteen vertaaminen todellinen näyte.
• Tilastollisen testin käyttäminen tietojen sovittamiseksi jakaumaan.

Voimme osoittaa tämän esimerkillä.

Me pystyy tuottamaan satunnaisotoksen 1000 havainnosta normaalijakaumasta keskiarvolla 50 ja keskihajonnalla 5.

Sitten voimme teeskennellä, ettemme tiedä todennäköisyysjakaumaa, ja ehkä tarkastella histogrammia ja arvata, että se on normaalia. Jos oletetaan, että se on normaalia, voimme sitten laskea jakauman parametrit, erityisesti keskiarvon ja keskihajonnan.

Emme odota keskiarvon ja keskihajonnan olevan 50 ja 5 tarkalleen ottaen huomioon pieni otoskoko. ja kohina näytteenottoprosessissa.

Sovita sitten jakauma näiden parametrien kanssa, niin kutsuttu parametri tiheysestimaatti näytteellemme.

Tässä tapauksessa voimme käyttää normia ( ) SciPy-toiminto.

Voimme sitten ottaa näytteistä todennäköisyydet tästä jakaumasta verkkotunnuksemme arvoalueelle, tässä tapauksessa 30 ja 70 välillä.

Lopuksi voimme piirtää datanäytteen histogrammin ja peittää viivakaavion todennäköisyydelle, joka on laskettu arvon alueelle PDF.

Tärkeää on, että histogrammin jokaisessa lokerossa olevat luvut tai taajuudet voidaan muuntaa normalisoiduksi todennäköisyydeksi varmistaaksemme, että histogrammin y-akseli vastaa viivakaavion y-akselia. Tämä voidaan saavuttaa asettamalla tiheys-argumentiksi ”True” kutsussa hist ().

Yhdistämällä nämä katkelmat yhteen alla on täydellinen esimerkki parametrisen tiheyden arvioinnista.

Esimerkin suorittaminen luo ensin datanäytteen , sitten arvioi normaalin todennäköisyyden parametrit jakelu.

Huomaa, että tulokset eroavat toisistaan, kun otetaan huomioon datan otoksen satunnaisuus. Yritä käyttää esimerkkiä muutaman kerran.

Tässä tapauksessa voimme nähdä, että keskiarvolla ja keskihajonnalla on jonkin verran melua ja ne eroavat hieman odotetuista arvoista 50 ja 5. Melu on vähäistä ja jakauman odotetaan silti olevan sopiva.

Seuraavaksi PDF on sopiva Arvioitujen parametrien ja 10 lokeron tietojen histogrammin käyttöä verrataan todennäköisyyksiin PDF-näytteestä otetulle arvoryhmälle.

Voimme nähdä, että PDF sopii hyvin tietoihimme.

On mahdollista, että data täsmää yleisen todennäköisyysjakauman kanssa, mutta vaatii muunnoksen ennen parametrisen tiheyden estimointia.

Sinulla voi olla esimerkiksi poikkeavia arvoja, jotka ovat kaukana jakauman keskiarvo tai painopiste. Tämä voi johtaa virheellisten arvioiden jakamisparametreihin ja puolestaan aiheuttaa huonon sovituksen tietoihin. Nämä poikkeamat tulisi poistaa ennen jakeluparametrien arviointia.

Toinen esimerkki on, että tiedoissa voi olla vinoja tai siirtymiä vasemmalle tai oikealle. Tässä tapauksessa saatat joutua muuttamaan tiedot ennen parametrien arviointia, kuten lokin tai neliöjuuren ottamista, tai yleisemmin käyttämällä tehomuunnosta, kuten Box-Cox-muunnosta.

Nämä tyypit tietojen muuttaminen ei välttämättä ole ilmeistä, ja tehokas parametrinen tiheyden estimointi voi vaatia iteratiivisen prosessin:

• Silmukka kunnes jakeluverkko tietoihin on riittävän hyvä:
  • 1. Jakeluparametrien arvioiminen
  • 2. Tuloksena olevan PDF-tiedoston tarkistaminen tietojen perusteella
  • 3. Tietojen muuntaminen jakauman paremmin sovittamiseksi

Ei-parametrinen tiheyden estimointi

Joissakin tapauksissa datanäyte ei välttämättä muistuta yleistä todennäköisyyttä jakelu tai sitä ei voida helposti tehdä jakelun mukaiseksi.

Näin on usein, kun tiedoissa on kaksi piikkiä (bimodaalinen jakauma) tai useita piikkejä (multimodaalinen jakauma).

Tässä Tällöin parametrinen tiheysestimointi ei ole mahdollista, ja voidaan käyttää vaihtoehtoisia menetelmiä, joissa ei käytetä yhteistä jakaumaa. Sen sijaan algoritmia käytetään arvioimaan datan todennäköisyysjakauma ilman ennalta määritettyä jakaumaa, jota kutsutaan ei-parametriseksi menetelmäksi.

Jakeluilla on edelleen parametreja, mutta niitä ei voida suoraan hallita samalla tavalla yksinkertaisina todennäköisyysjakaumina. Esimerkiksi ei-parametrinen menetelmä voi arvioida tiheyden käyttämällä satunnaisotoksen kaikkia havaintoja, jolloin kaikki havainnot näytteestä ”parametrit”.

Ehkä yleisin ei-parametrinen lähestymistapa todennäköisyystiheysfunktion arvioimiseksi jatkuvaa satunnaismuuttujaa kutsutaan ytimen tasoittamiseksi tai ytimen tiheyden arvioimiseksi, KDE lyhyesti.

• Ytimen tiheyden estimointi: Ei-parametrinen menetelmä tietojoukon käyttämiseksi uusien pisteiden todennäköisyyksien arvioimiseksi.

Tässä tapauksessa ydin on matemaattinen funktio, joka palauttaa satunnaismuuttujan tietyn arvon todennäköisyyden. Ydin tasoittaa tai interpoloi todennäköisyydet satunnaismuuttujan lopputulosalueella siten, että summa todennäköisyyksien arvo on yksi, hyvin käyttäytyvien todennäköisyyksien vaatimus.

Ytintoiminto painottaa datanäytteen havaintojen osuutta niiden suhteen tai etäisyyden perusteella tiettyyn kyselynäytteeseen, jonka t todennäköisyyttä pyydetään.

Parametri, jota kutsutaan tasoitusparametriksi tai kaistanleveydeksi, ohjaa havaintojen laajuutta tai ikkunaa datanäytteestä, joka auttaa arvioimaan tietyn näytteen todennäköisyyttä. Sellaisena ytimen tiheyden arviointia kutsutaan joskus Parzen-Rosenblatt-ikkunaksi tai yksinkertaisesti Parzen-ikkunaksi menetelmän kehittäjien jälkeen.

• Parametrin tasaus (kaistanleveys): Parametri, joka ohjaa näytteiden määrä tai näytteiden ikkuna, joita käytetään uuden pisteen todennäköisyyden arvioimiseen.

Suuri ikkuna voi johtaa karkeaan tiheyteen, jossa on vähän yksityiskohtia, kun taas pienessä ikkunassa voi olla liian paljon yksityiskohtia ja olla riittävän tasainen tai yleinen kattamaan uudet tai näkymättömät esimerkit oikein.Näytteiden panos ikkunassa voidaan muotoilla käyttämällä erilaisia toimintoja, joita joskus kutsutaan perustoiminnoiksi, esim. yhtenäinen normaali jne., jolla on erilaiset vaikutukset tuloksena olevan tiheysfunktion tasaisuuteen.

• Perustoiminto (ydin): Valittu toiminto, jota käytetään hallitsemaan tietojoukossa olevien näytteiden osuutta arvioitaessa uuden pisteen todennäköisyys.

Sellaisena voi olla hyödyllistä kokeilla erilaisia ikkunakokoja ja erilaisia osallistumistoimintoja ja arvioida tuloksia tietojen histogrammien perusteella.

Voimme osoittaa tämän esimerkillä.

Ensinnäkin voimme rakentaa bimodaalisen jakauman yhdistämällä näytteet kahdesta eri normaalijakaumasta. Erityisesti 300 esimerkkiä, joiden keskiarvo on 20 ja keskihajonta 5 (pienempi huippu), ja 700 esimerkkiä, joiden keskiarvo on 40 ja keskihajonta 5 (suurempi piikki). Keskiarvot valittiin lähellä toisiaan varmistaakseen jakaumien päällekkäisyydet yhdistetyssä näytteessä.

Täydellinen esimerkki tämän otoksen luomisesta bimodaalisella todennäköisyysjakaumalla ja histogrammin piirtämisestä on lueteltu alla.

Esimerkin suorittaminen luo datanäytteen ja piirtää histogrammin.

Huomaa, että tulokset eroavat toisistaan, koska datanäyte on sattumanvarainen. Yritä käyttää esimerkkiä muutaman kerran.

Meillä on vähemmän näytteitä, joiden keskiarvo on 20 kuin näytteitä, joiden keskiarvo on 40, mikä näkyy histogrammissa, kun näytteiden tiheys on suurempi kuin 40 kuin noin 20.

Tämän jakauman tiedot eivät sovi hienosti yhteiseen todennäköisyysjakaumaan suunnittelun mukaan. Se on hyvä tapaus käyttää ei-parametrista ytimen tiheyden estimointimenetelmää.

Scikit-learn-koneoppimiskirjasto tarjoaa KernelDensity-luokan, joka toteuttaa ytimen tiheyden estimoinnin.

Ensinnäkin luokka rakennetaan halutulla kaistanleveydellä. (ikkunan koko) ja ytimen (perustoiminto) argumentit. On hyvä testata tietosi eri kokoonpanot. Tässä tapauksessa yritämme kaistanleveyttä 2 ja Gaussin ydintä.

Tällöin luokka sovitetaan datanäytteeseen fit () -toiminnon avulla. Funktio odottaa datan olevan 2D-muotoinen muodon kanssa, joten voimme muotoilla datanäytteemme uudelleen siten, että siinä on 1000 riviä ja yksi sarake.

Voimme sitten arvioida, kuinka hyvin tiheysestimaatti vastaa tietojamme laskemalla todennäköisyydet alueelle obs ervaatioita ja muodon vertaamista histogrammiin, aivan kuten edellisessä osassa parametritapaukselle.

KernelDensity-funktio score_samples () laskee logaritodennäköisyyden näyteryhmälle. Voimme luoda alueen näytteistä 1-60, toimialueemme alueelle, laskea lokitodennäköisyydet ja kääntää sitten lokioperaation laskemalla eksponentin tai exp () palauttaaksesi arvot alueelle 0-1 normaalitodennäköisyydelle .

Lopuksi voimme luoda histogrammin, jossa on normalisoidut taajuudet ja päällekkäinen viivakaavio arvoista arvioituihin todennäköisyyksiin.

Yhdistämällä tämä, alla oleva esimerkki bimodaalidatanäytteen ytimen tiheyden estimoinnista on täydellinen.

Esimerkin suorittaminen luo datajakauman, sopii ytimen tiheyden arviointimalliin ja piirtää sitten datanäyte ja KDE-mallin PDF.

Huomaa, että tulokset eroavat toisistaan, kun otetaan huomioon datan otoksen satunnaisuus. Yritä suorittaa esimerkki muutama kerta.

Tässä tapauksessa voimme nähdä, että PDF sopii hyvin histogrammiin. Se ei ole kovin sujuva ja siitä voisi tehdä enemmän asettamalla ”kaistanleveys” -argumentiksi vähintään 3 näytettä. Kokeile eri kaistanleveyden ja ytintoiminnon arvoilla.

KernelDensity-luokka on tehokas ja tukee PDF: n arviointia moniulotteisille tiedoille.

Lisälukemista

Tässä osassa on enemmän aiheen resursseja, jos haluat mennä syvemmälle.

Kirjat

• Kuvion tunnistaminen ja koneoppiminen, 2006.
• Koneoppiminen: todennäköinen näkökulma, 2012.
• Tilastollisen oppimisen elementit: tiedonlouhinta, päätelmä ja Prediction, 2009.

API

• scipy.stats.gaussian_kde API.
• Nonparametric Methods nonparametric, Statsmodels API.
• Kernel Density Estimation Statsmodels Exa
• Tiheyden arviointi, Scikit-Learn-sovellusliittymä.

Artikkelit

• Tiheyden arviointi, Wikipedia.
• Histogrammi, Wikipedia.
• Ytimen tiheyden arviointi, Wikipedia.
• Usean muuttujan ytimen tiheyden arviointi, Wikipedia.
• Ytimen tiheyden arviointi Parzen-Rosenblatt-ikkunamenetelmällä, 2014.
• In-Depth: Kernel Density Estimation.

Yhteenveto

Tässä opetusohjelmassa löysit lempeän johdannon todennäköisyystiheyden arviointiin.

Erityisesti opit:

• Histogrammikaaviot tarjoavat nopean ja luotettavan tavan visualisoida datanäytteen todennäköisyystiheys.
• Parametrinen todennäköisyystiheys estimointiin kuuluu yhteisen jakauman valitseminen ja tiheysfunktion parametrien arvioiminen datanäytteestä.
• Ei-parametrinen todennäköisyystiheyden estimointi edellyttää tekniikan käyttöä mallin sovittamiseksi tietojen mielivaltaiseen jakautumiseen, kuten ytimen tiheyden estimaatti päällä.

Onko sinulla kysyttävää?
Kysy kysymyksesi alla olevissa kommenteissa ja teen parhaani vastata.