Könnyű bevezetés a valószínűségi sűrűség becsléséhez

Utolsó frissítés: 2020. július 24.

A valószínűségi sűrűség a megfigyelések és azok összefüggése valószínűség.

A véletlen változó egyes eredményeinek valószínűségi sűrűsége alacsony, míg más eredményeknek nagy a valószínűségi sűrűsége.

A valószínűségi sűrűség teljes alakját valószínűségnek nevezzük. eloszlást, és egy véletlen változó konkrét eredményeinek valószínűségeit egy valószínűségi sűrűség függvény, vagy röviden a PDF végzi.

Hasznos tudni az adatminta valószínűségi sűrűség függvényét annak érdekében, hogy tudni, hogy egy adott megfigyelés valószínűtlen, vagy annyira valószínűtlen, hogy kiugrónak vagy anomáliának tekinthető, és el kell-e távolítani. Hasznos a megfelelő tanulási módszerek kiválasztásához is, amelyek megkövetelik, hogy a bemeneti adatok meghatározott valószínűségi eloszlással rendelkezzenek.

Nem valószínű, hogy egy véletlenszerű adatminta valószínűségi sűrűségfüggvénye ismert. Mint ilyen, a valószínűség sűrűségét a valószínűség sűrűségének becslésének nevezett folyamat segítségével kell megközelíteni.

Ebben az oktatóanyagban egy szelíd bevezetést fedez fel a valószínűség sűrűségének becsléséhez.

Ennek befejezése után oktatóanyag, tudni fogja:

• A hisztogram diagramok gyors és megbízható módot kínálnak az adatminta valószínűségi sűrűségének vizualizálására.
• A paraméteres valószínűségi sűrűség becslés magában foglalja a közös eloszlás kiválasztását és a sűrűségfüggvény paramétereinek megbecsülése adatmintából.
• A nem paraméteres valószínűségi sűrűségbecslés magában foglalja egy olyan technika alkalmazását, amellyel a modell illeszkedik az adatok tetszőleges eloszlásához, például a magsűrűség-becsléshez.

Indítsa el a projektet az új Valószínűség a gépi tanuláshoz című könyvemmel, beleértve az egyes példákhoz tartozó lépésenkénti oktatóanyagokat és a Python forráskódfájlokat.

Kezdjük.

Oktatóanyag áttekintése

Ez az oktatóanyag négy részre oszlik; ezek a következők:

1. Valószínűségi sűrűség
2. A sűrűség összegzése hisztogrammal
3. Parametrikus sűrűség-becslés
4. Nem paraméteres sűrűség-becslés

Valószínűségi sűrűség

Az x véletlenszerű változó valószínűségi eloszlása p (x).

A véletlen változó kimenetele és annak valószínűsége közötti összefüggés valószínűségi sűrűségnek vagy egyszerűen “sűrűségnek” nevezzük.

Ha egy véletlen változó folyamatos, akkor a valószínűség kiszámítható a valószínűségi sűrűség függvényen keresztül, vagy röviden a PDF-en keresztül. A véletlen változó tartománybeli függvényét valószínűségi eloszlásnak nevezzük, és a gyakori valószínűségi eloszlásoknak vannak nevei, például egyenletes, normális, exponenciális és így tovább.

Ha véletlen változót adunk meg, akkor valószínűségeinek sűrűsége.

Például egy változó véletlenszerű mintája alapján olyan dolgokat tudhatunk meg, mint a valószínűségi disztribúció alakja az arány, a legvalószínűbb érték, az értékek terjedése és egyéb tulajdonságok.

Egy véletlen változó valószínűségi eloszlásának ismerete segíthet az eloszlás momentumainak kiszámításában, mint például az átlag és a variancia, de az is lehet, hogy hasznos más általánosabb szempontoknál, például annak megállapításához, hogy egy megfigyelés valószínűtlen vagy nagyon valószínűtlen, és kiugró vagy anomáliás lehet-e.

A probléma az, hogy nem ismerjük a véletlenszerű változó valószínűség-eloszlását. Ritkán ismerjük az eloszlást, mert nincs hozzáférésünk egy véletlen változó összes lehetséges eredményéhez. Valójában csak a megfigyelések mintája fér hozzá. Mint ilyen, meg kell választanunk egy valószínűség-eloszlást.

Ezt a problémát valószínűségi sűrűség-becslésnek vagy egyszerűen “sűrűség-becslésnek” nevezzük, mivel a véletlenszerű mintában végzett megfigyeléseket használjuk az általános sűrűség becsléséhez. a rendelkezésre álló adatok mintáján túlmutató valószínűségek.

A véletlen változó sűrűségbecslésének folyamatában van néhány lépés.

Az első lépés a megfigyelések a véletlenszerű mintában, egyszerű hisztogrammal. A hisztogram alapján képesek lehetünk azonosítani egy közös és jól érthető valószínűség-eloszlást, amely használható, például normál eloszlást. Ha nem, akkor lehet, hogy illesztenünk kell egy modellt a becsülje meg az eloszlást.

A következő szakaszokban egymás után közelebbről megvizsgáljuk ezeket a lépéseket.

Az egyváltozós adatokra fogunk összpontosítani, például egy véletlenszerű változóra, Ebben a bejegyzésben az egyszerűség kedvéért. Bár a lépések többváltozós adatokra is alkalmazhatók, nehezebbé válhatnak ng a változók számának növekedésével.

Szeretnéd megtanulni a gépi tanulás valószínűségét

Töltsd le most az ingyenes 7 napos e-mail összeomlási tanfolyamomat (mintakóddal).

Kattintson a regisztrációhoz, és kapja meg a tanfolyam ingyenes PDF Ebook változatát is.

Töltse le INGYENES mini tanfolyamát

Összefoglalja a sűrűséget hisztogrammal

A sűrűségbecslés első lépése a véletlenszerű mintában található megfigyelések hisztogramjának létrehozása.

A hisztogram egy olyan diagram, amely magában foglalja a megfigyelések első szemétkosarakba való csoportosítását és az egyes kukákba eső események számának megszámlálását. Ezután az egyes kukákban lévő számlálásokat vagy megfigyelések gyakoriságát oszlopdiagramként ábrázoljuk, az üregek tengelyein az x tengelyen, a frekvenciájukon pedig az y tengelyén.

A tárolók számának megválasztása fontos, mivel szabályozza az eloszlás durvaságát (oszlopok számát), és azt, hogy mennyire jól ábrázolják a megfigyelések sűrűségét. Célszerű egy adott adatminta különböző méretű tárolóival kísérletezni, hogy ugyanazon adatra több nézőpontot vagy nézetet kapjon.

A hisztogram létrehozható a Matplotlib könyvtár és a hist () függvény segítségével. Az adatokat első argumentumként adjuk meg, és a tárolók számát a “bin” argumentumon keresztül adhatjuk meg egész számként (pl. 10) vagy az egyes binok határainak sorozataként (pl.).

Az alábbi kódrészlet hisztogramot készít 10 rekesszel az adatmintához.

Hozhatunk létre véletlenszerű mintát normál eloszlásból és p újraküldés, nem ismerjük az eloszlást, majd hozzon létre egy hisztogramot az adatokról. A normál () NumPy függvény ezt el fogja érni, és 1000 mintát állítunk elő 0 átlaggal és 1 szórással, pl. szabványos Gauss-féle.

A teljes példa az alábbiakban található.

A A példa véletlenszerű megfigyelésekből vesz mintát, és létrehozza a hisztogramot 10 tárolóval. Jól láthatjuk a normális eloszlás alakját.

Ne feledje, hogy az eredményei eltérnek az adatminta véletlenszerű jellegétől. Próbálkozzon néhányszor a példa futtatásával.

A példa futtatása 3-ra beállított tárolókkal a normál eloszlást kevésbé nyilvánvalóvá teszi.

Az adatminta hisztogramjának áttekintése különböző számú tartálytartomány segítségével segít meghatározni, hogy a sűrűség látszik-e mint egy gyakori valószínűségeloszlás, vagy sem.

A legtöbb esetben egy unimodális eloszlást fog látni, például a normál szokásos harang alakját, az egyenruha lapos alakját, vagy az egyenruha csökkenő vagy növekvő alakját. exponenciális vagy Pareto eloszlás.

Lehet, hogy összetett eloszlásokat is láthat, például több csúcsot, amelyek nem tűnnek el különféle számú tárolóval, bimodális eloszlásnak nevezik, vagy több csúcsot, multimodális eloszlás. Előfordulhat, hogy egy adott értéknél nagy a sűrűségcsúcs, vagy a kiugró értékeket jelző kis értéktartomány, amely gyakran előfordul a sűrűség többi részétől távol eső eloszlás farkain.

Parametrikus sűrűségbecslés

A legtöbb véletlenszerű minta hisztogramjának alakja meg fog egyezni a jól ismert valószínűségeloszlással.

A közös eloszlások azért gyakoriak, mert újra és újra előfordulnak különböző és néha váratlan tartományokban.

Ismerje meg a gyakori valószínűségi eloszlásokat, mivel ez segít azonosítani egy adott elosztást hisztogram.

Az azonosítást követően megkísérelheti megbecsülni a véletlen változó sűrűségét egy kiválasztott valószínűség-eloszlással. Ez úgy érhető el, hogy az eloszlás paramétereit véletlenszerű adatmintával becsüljük meg.

Például a normális eloszlásnak két paramétere van: az átlag és a szórás. E két paraméter ismeretében ma már ismerjük a valószínűségeloszlás függvényét. Ezeket a paramétereket az adatok alapján megbecsülhetjük a minta átlagának és a minta szórásának kiszámításával.

Ezt a folyamatot paraméteres sűrűség-becslésnek nevezzük.

Ennek oka az, hogy előre definiált függvényeket használunk. összefoglalni a megfigyelések és azok valószínűségének kapcsolatát, amelyek paraméterekkel szabályozhatók vagy konfigurálhatók, ezért “paraméteresek”.

Miután megbecsültük a sűrűséget, ellenőrizhetjük, hogy ez megfelelő-e. Ezt sokféleképpen lehet megtenni, például:

• A sűrűségfüggvény ábrázolása és az alakzat összehasonlítása a hisztogrammal.
• A sűrűségfüggvény mintavétele és a létrehozott minta összehasonlítása a valódi minta.
• Statisztikai teszt használata az adatok illeszkedésének megoszlásához.

Ezt egy példával bizonyíthatjuk.

Mi 1000 megfigyelésből álló véletlenszerű mintát generálhat normál eloszlásból 50 átlaggal és 5 szórással.

Ezután úgy tehetünk, mintha nem ismernénk a valószínűségeloszlást, és esetleg megnézhetünk egy hisztogramot, és kitalálhatjuk, hogy ez normális. Feltételezve, hogy normális, akkor kiszámíthatjuk az eloszlás paramétereit, konkrétan az átlagot és a szórást.

Nem várnánk, hogy az átlag és a szórás 50 és 5 lesz, pontosan a kis mintaméret mellett és a zaj a mintavételi folyamatban.

Ezután illessze be az eloszlást ezekre a paraméterekre, az úgynevezett paraméteres sűrűség-becslést az adatmintánkra. ) SciPy függvény.

Ezután mintákat vehetünk ebből az eloszlásból tartományunk értéktartományára, ebben az esetben 30 és 70 közötti értékre.

Végül felrajzolhatjuk az adatminta hisztogramját, és átfedhetjük a valószínűségeket a A PDF.

Fontos, hogy a hisztogram minden egyes tálcájában lévő számokat vagy frekvenciákat normalizált valószínűséggé alakíthatjuk, hogy a hisztogram y tengelye megegyezzen a vonal diagram y tengelyével. Ez úgy érhető el, hogy a “sűrűség” argumentumot “igaz” értékre állítja a hist () hívásban.

Ezeket a kivonatokat összekapcsolva az alábbiakban felsoroljuk a paraméteres sűrűség-becslés teljes példáját.

A példa futtatásával először előáll az adatminta , majd becsülje meg a normális valószínűség paramétereit terjesztés.

Ne feledje, hogy eredményei eltérnek az adatminta véletlenszerű jellegétől. Próbálkozzon néhányszor a példa futtatásával.

Ebben az esetben láthatjuk, hogy az átlag és a szórás némi zajt mutat, és kissé eltér a várt 50, illetve 5 értékektől. A zaj kisebb, és az eloszlás várhatóan még mindig megfelelő lesz.

Ezután a PDF illik A becsült paraméterek és az adatok hisztogramja 10 tárolóval történő összehasonlításával összehasonlítjuk a PDF-ből mintavételezett értéktartomány valószínűségével.

Láthatjuk, hogy a PDF jól illeszkedik adatainkhoz.

Lehetséges, hogy az adatok megegyeznek egy közös valószínűségeloszlással, de a paraméteres sűrűségbecslés előtt átalakítást igényelnek.

Például lehetnek olyan kiugró értékek, amelyek messze vannak az eloszlás átlagos vagy tömegközéppontja. Ennek az lehet a következménye, hogy helytelen becslést ad az elosztási paraméterekről, és ezáltal rosszul illeszkedik az adatokhoz. Ezeket a kiugró értékeket el kell távolítani, mielőtt megbecsülnénk az eloszlási paramétereket.

Egy másik példa, hogy az adatok ferdeek lehetnek, vagy balra vagy jobbra tolódhatnak. Ebben az esetben előfordulhat, hogy a paraméterek becslése előtt átalakítania kell az adatokat, például meg kell venni a naplót vagy a négyzetgyöket, vagy általánosabban egy olyan teljesítményátalakítást kell használni, mint a Box-Cox transzformáció.

Ezek a típusok Az adatok módosításának nem biztos, hogy nyilvánvaló, és a paraméterek sűrűségének hatékony becslése az alábbiak iteratív folyamatát igényelheti:

• Hurok addig, amíg az adatokhoz való terjesztés megfelelő lesz:
  • 1. Eloszlási paraméterek becslése
  • 2. A kapott PDF áttekintése az adatokkal
  • 3. Az adatok átalakítása, hogy jobban illeszkedjenek az eloszláshoz

Nemparametrikus sűrűségbecslés

Bizonyos esetekben előfordulhat, hogy az adatminta nem hasonlít közös valószínűségre eloszlás, vagy nem lehet könnyen elkészíteni az eloszláshoz.

Ez gyakran előfordul, ha az adatoknak két csúcsuk van (bimodális eloszlás) vagy sok csúcsuk van (multimodális eloszlás).

Ebben esetben a paraméteres sűrűség becslése nem megvalósítható, és alternatív módszerek is alkalmazhatók, amelyek nem használnak közös eloszlást. Ehelyett algoritmust használnak az adatok valószínűség-eloszlásának közelítésére előre definiált eloszlás nélkül, amelyet nem paraméteres metódusnak neveznek.

Az elosztásoknak továbbra is lesznek paraméterei, de nem közvetlenül ugyanúgy irányíthatók. mint egyszerű valószínűségeloszlások. Például egy nem paraméteres módszer megbecsülheti a sűrűséget egy véletlenszerű minta összes megfigyelésének felhasználásával, valójában a mintában szereplő összes megfigyelést “paraméterekként” végezheti el.

Talán a leggyakoribb nemparaméteres megközelítés a egy folytonos véletlen változót kernel simításnak vagy kernel sűrűség becslésének, röviden KDE-nek nevezünk.

• Kernel Density Estimation: Nemparametrikus módszer adatkészlet felhasználására az új pontok valószínűségének becsléséhez. / ul>

  Ebben az esetben a kernel olyan matematikai függvény, amely egy véletlen változó adott értékének valószínűségét adja vissza. A kernel simítja vagy interpolálja a valószínűségeket egy véletlen változó kimeneti tartományában, így az összeg a valószínűségek megegyezik egy, a jól viselkedett valószínűségek követelményével.

  A kernel függvény az adatmintából származó megfigyelések hozzájárulását súlyozza az összefüggésük vagy távolságuk alapján egy adott lekérdezési mintához, amelyhez t A valószínűség bekérése szükséges.

  Egy paraméter, amelyet simítási paraméternek vagy sávszélességnek hívunk, az adatmintából vezérli a megfigyelések körét vagy ablakát, amely hozzájárul az adott minta valószínűségének becsléséhez. Mint ilyen, a kernel sűrűség-becslését néha Parzen-Rosenblatt ablaknak vagy egyszerűen Parzen ablaknak nevezik a módszer fejlesztői után.

  • Paraméter simítása (sávszélesség): Az a paraméter, amely vezérli a az új pont valószínűségének becsléséhez használt minták száma vagy minták ablaka.

  Egy nagy ablak durva sűrűséget eredményezhet, kevés részlet mellett, míg egy kis ablak túl sok részletet tartalmazhat és ne legyen elég sima vagy általános ahhoz, hogy helyesen fedje le az új vagy nem látott példákat.Az ablakon belüli minták hozzájárulása különböző függvények segítségével alakítható ki, amelyeket néha alapfüggvényeknek is neveznek, pl. egységes normál stb., különböző hatásokkal a kapott sűrűségfüggvény simaságára.

  • Alapfunkció (kernel): Az a funkció, amelyet az adatkészletben lévő minták hozzájárulásának szabályozására használnak az egy új pont valószínűsége.

  Mint ilyen, hasznos lehet különböző ablakméretekkel és különböző hozzájárulási funkciókkal kísérletezni, és az eredményeket az adatok hisztogramjaival összehasonlítani.

  Ezt egy példával bizonyíthatjuk.

  Először két különböző normális eloszlásból származó minták kombinálásával készíthetünk bimodális eloszlást. Pontosabban 300 példa 20 átlaggal és 5 szórással (a kisebb csúcs), és 700 példa 40 átlaggal és 5 szórással (a nagyobb csúcs). Az eszközöket szorosan egymás mellett választották, hogy biztosítsák az eloszlások átfedését az egyesített mintában.

  Az alábbiakban felsoroljuk a teljes példát a minta bimodális valószínűség-eloszlással történő létrehozására és a hisztogram ábrázolására. A példa futtatásával létrehozza az adatmintát és megrajzolja a hisztogramot.

  Ne feledje, hogy az eredményei eltérnek az adatminta véletlenszerű jellegétől. Próbálkozzon néhányszor a példa futtatásával.

  Kevesebb mintánk van 20-as átlaggal, mint 40-es átlag, amit láthatunk a hisztogramon, nagyobb mint 40 körüli mintasűrűséggel, mint kb. 20.

  Az ilyen eloszlású adatok terv szerint nem illeszkednek be egy valószínűség-eloszlásba. Jó alkalom nemparametrikus kernelsűrűség-becslési módszer használatára.

  

  Az adatminta hisztogramja Bimodális valószínűségi eloszlással

  A scikit-learn gépi tanulási könyvtár biztosítja a KernelDensity osztályt, amely végrehajtja a kernel sűrűség-becslését.

  Először az osztályt a kívánt sávszélességgel építik (ablakméret) és kernel (bázisfüggvény) argumentumok. Célszerű tesztelni a különböző konfigurációkat az adatokon. Ebben az esetben 2-es sávszélességet és egy Gauss-kernelt próbálunk meg.

  Ezután az osztály illeszkedik egy adatmintára a fit () függvényen keresztül. A függvény elvárja, hogy az adatok 2D formájúak legyenek az űrlaphoz képest, ezért az adatmintánkat úgy alakíthatjuk át, hogy 1000 sor és 1 oszlop legyen.

  1 2 3 4 5

  … # fit sűrűség model = KernelDensity (sávszélesség = 2, kernel = “gaussian”) sample = sample.reshape ((len (minta), 1)) model.fit (minta)

  Ezután kiértékelhetjük, hogy a sűrűségbecslés mennyire egyezik az adatainkkal, ha kiszámítjuk a obs tartományának valószínűségeit ervációk és az alakzat összehasonlítása a hisztogrammal, ugyanúgy, mint az előző szakaszban szereplő paraméteres esetnél.

  A KernelDensity-n található score_samples () függvény kiszámítja egy minta tömb log valószínűségét. Hozhatunk létre 1 és 60 közötti mintatartományt, a tartományunk tartománya körül, kiszámíthatjuk a napló valószínűségeit, majd megfordíthatjuk a napló műveletet az exponens vagy az exp () kiszámításával, hogy az értékeket a normál valószínűségek 0–1 tartományba állítsuk .

  Végül létrehozhatunk hisztogramot normalizált frekvenciákkal és az értékek becsült valószínűségi sorrendben.

  1 2 3 4 5

  … # ábrázolja a hisztogramot és a pdf pyplot.hist (minta, bin = 50, sűrűség = True) pyplot.plot (értékek, valószínűségek) pyplot.show ()

  Ennek összekapcsolásával az alábbiakban felsoroljuk a bimodális adatminta kernel-sűrűség-becslésének teljes példáját.

  A példa futtatásával létrejön az adateloszlás, illeszkedik a kernel-sűrűség-becslési modellhez, majd megrajzolja a az adatminta és a KDE modell PDF-je.

  Ne feledje, hogy eredményei eltérnek az adatminta véletlenszerű jellegétől. Próbálja meg néhányszor futtatni a példát.

  Ebben az esetben láthatjuk, hogy a PDF jól illeszkedik a hisztogramhoz. Nem túl sima, és jobban megtehető, ha a “sávszélesség” argumentumot 3 vagy annál magasabb mintára állítja be. Kísérletezzen a sávszélesség és a kernel függvény különböző értékeivel.

  

  A hisztogram és a valószínűségi sűrűség függvénytáblázat becsült kernel sűrűség becsléssel egy bimodális adatminta esetében

  A KernelDensity osztály erőteljes és támogatja a PDF sokdimenziós adatokra vonatkozó becslését.

  További olvasmányok

  Ez a szakasz több forrást nyújt a témához, ha mélyebbre szeretne térni.

  Könyvek

  • Mintafelismerés és gépi tanulás, 2006.
  • Gépi tanulás: valószínűségi perspektíva, 2012.
  • A statisztikai tanulás elemei: adatbányászat, következtetés és Prediction, 2009.

  API

  • scipy.stats.gaussian_kde API.
  • Nonparametric Methods nonparametric, Statsmodels API.
  • Kernel Density Estimation Statsmodels Exa mple.
  • Sűrűségbecslés, Scikit-Learn API.

  Cikkek

  • Sűrűségbecslés, Wikipédia.
  • Hisztogram, Wikipedia.
  • Kernel density becslés, Wikipedia.
  • Többváltozós kernel sűrűség becslés, Wikipedia.
  • Kernel sűrűség becslés a Parzen-Rosenblatt ablak módszerrel, 2014.
  • In-Depth: Kernel Density Estimation.

  Összefoglalás

  Ebben az oktatóanyagban egy szelíd bevezetést fedezett fel a valószínűségi sűrűség becsléséhez.

  Konkrétan megtanultad:

  • A hisztogram diagramok gyors és megbízható módot kínálnak az adatminta valószínűségi sűrűségének megjelenítésére.
  • Parametrikus valószínűségi sűrűség a becslés magában foglalja a közös eloszlás kiválasztását és a sűrűségfüggvény paramétereinek megbecsülését egy adatmintából.
  • A nem paraméteres valószínűségi sűrűségbecslés magában foglalja azt a technikát, amelynek segítségével a modell illeszkedik az adatok tetszőleges eloszlásához, például a kernel sűrűségbecsléséhez. tovább.

  Van kérdése?
  Tegye fel kérdéseit az alábbi megjegyzésekben, és mindent megteszek a válaszadás érdekében.

  Kezelje a gépi tanulás valószínűségét!

  

  Fejlessze a valószínűség megértését

  … csak néhány soros Python-kóddal

  Fedezze fel, hogy az új e-könyvemben:
  Valószínűség a gépi tanuláshoz

  Önálló tanulást nyújt oktatóanyagok és végpontok közötti projektek:
  Bayes-tétel, Bayes-féle optimalizálás, disztribúciók, maximális valószínűség, kereszt-entrópia, modellek kalibrálása
  és még sok más …

  Végül hasznosítsa a bizonytalanságot a A projektjei

  Hagyja ki az oktatókat. Csak eredmények. Nézze meg, mi van benne:

  Tweet Share Share