Een zachte inleiding tot kansdichtheidsschatting

Laatst bijgewerkt op 24 juli 2020

Waarschijnlijkheidsdichtheid is de relatie tussen waarnemingen en hun waarschijnlijkheid.

Sommige uitkomsten van een willekeurige variabele hebben een lage waarschijnlijkheidsdichtheid en andere uitkomsten hebben een hoge waarschijnlijkheidsdichtheid.

De algehele vorm van de waarschijnlijkheidsdichtheid wordt een waarschijnlijkheid genoemd verdeling, en de berekening van kansen voor specifieke uitkomsten van een willekeurige variabele wordt uitgevoerd door een kansdichtheidsfunctie, of afgekort PDF.

Het is handig om de kansdichtheidsfunctie voor een steekproef van gegevens te kennen om om te weten of een bepaalde waarneming onwaarschijnlijk is, of zo onwaarschijnlijk dat deze als een uitbijter of anomalie wordt beschouwd, en of deze moet worden verwijderd. Het is ook nuttig om geschikte leermethoden te kiezen waarvoor invoergegevens een specifieke kansverdeling moeten hebben.

Het is onwaarschijnlijk dat de kansdichtheidsfunctie voor een willekeurige steekproef van gegevens bekend is. Als zodanig moet de kansdichtheid worden benaderd met behulp van een proces dat bekend staat als kansdichtheidsschatting.

In deze tutorial ontdek je een zachte inleiding tot kansdichtheidsschatting.

Nadat je dit hebt voltooid tutorial, weet je:

• Histogramplots bieden een snelle en betrouwbare manier om de waarschijnlijkheidsdichtheid van een gegevenssteekproef te visualiseren.
• Parametrische schatting van de kansdichtheid omvat het selecteren van een gemeenschappelijke verdeling en het schatten van de parameters voor de dichtheidsfunctie uit een gegevensmonster.
• Niet-parametrische schatting van de waarschijnlijkheidsdichtheid omvat het gebruik van een techniek om een model aan te passen aan de willekeurige verdeling van de gegevens, zoals schatting van de kerneldichtheid.

Geef je project een vliegende start met mijn nieuwe boek Probability for Machine Learning, inclusief stapsgewijze tutorials en de Python-broncodebestanden voor alle voorbeelden.

Laten we beginnen.

Overzicht tutorial

Deze tutorial is onderverdeeld in vier delen; dit zijn:

1. Waarschijnlijkheidsdichtheid
2. Vat dichtheid samen met een histogram
3. Schatting van parametrische dichtheid
4. Schatting van niet-parametrische dichtheid

Kansdichtheid

Een willekeurige variabele x heeft een kansverdeling p (x).

De relatie tussen de uitkomsten van een willekeurige variabele en zijn kans is aangeduid als de waarschijnlijkheidsdichtheid, of gewoon de ‘dichtheid’.

Als een willekeurige variabele continu is, kan de kans worden berekend via de kansdichtheidsfunctie, of afgekort PDF. De vorm van de kansdichtheid functie over het domein voor een willekeurige variabele wordt de kansverdeling genoemd en algemene kansverdelingen hebben namen, zoals uniform, normaal, exponentieel, enzovoort.

Gegeven een willekeurige variabele, zijn we geïnteresseerd in de dichtheid van zijn waarschijnlijkheden.

Gegeven een willekeurige steekproef van een variabele, willen we misschien dingen weten zoals de vorm van de kansverdeling bution, de meest waarschijnlijke waarde, de spreiding van waarden en andere eigenschappen.

Het kennen van de kansverdeling voor een willekeurige variabele kan helpen bij het berekenen van momenten van de verdeling, zoals het gemiddelde en de variantie, maar kan ook nuttig voor andere, algemenere overwegingen, zoals bepalen of een waarneming onwaarschijnlijk of zeer onwaarschijnlijk is en een uitbijter of anomalie kan zijn.

Het probleem is dat we de kansverdeling voor een willekeurige variabele misschien niet kennen. We kennen de verdeling zelden omdat we geen toegang hebben tot alle mogelijke uitkomsten voor een willekeurige variabele. In feite hebben we alleen toegang tot een voorbeeld van observaties. Daarom moeten we een kansverdeling kiezen.

Dit probleem wordt waarschijnlijkheidsdichtheidsschatting of eenvoudigweg ‘dichtheidsschatting’ genoemd, omdat we de waarnemingen in een willekeurige steekproef gebruiken om de algemene dichtheid van waarschijnlijkheden die verder gaan dan alleen de steekproef van gegevens waarover we beschikken.

Er zijn een paar stappen in het proces van dichtheidsschatting voor een willekeurige variabele.

De eerste stap is om de dichtheid van waarnemingen in de willekeurige steekproef met een eenvoudig histogram. Uit het histogram kunnen we mogelijk een algemene en goed begrepen kansverdeling identificeren die kan worden gebruikt, zoals een normale verdeling. Als dat niet het geval is, moeten we mogelijk een model aanpassen aan schat de verdeling.

In de volgende secties zullen we elk van deze stappen achtereenvolgens nader bekijken.

We zullen ons concentreren op univariate gegevens, bijv. één willekeurige variabele, in dit bericht voor de eenvoud Hoewel de stappen van toepassing zijn op multivariate data, kunnen ze een grotere uitdaging worden ng naarmate het aantal variabelen toeneemt.

Wil je waarschijnlijkheid leren voor machine learning

Volg nu mijn gratis 7-daagse e-mailcursus (met voorbeeldcode).

Klik om u aan te melden en ontvang ook een gratis pdf-e-boekversie van de cursus.

Download uw GRATIS minicursus

Vat dichtheid samen met een histogram

De eerste stap bij het schatten van de dichtheid is het maken van een histogram van de waarnemingen in de willekeurige steekproef.

Een histogram is een plot waarbij eerst de waarnemingen in bakken worden gegroepeerd en het aantal gebeurtenissen dat in elke bak valt, wordt geteld. De tellingen, of frequenties van waarnemingen, in elke bak worden vervolgens uitgezet als een staafdiagram met de bakken op de x-as en de frequentie op de y-as.

De keuze van het aantal bakken is belangrijk omdat het de grofheid van de verdeling (aantal staven) regelt en, op zijn beurt, hoe goed de dichtheid van de waarnemingen wordt uitgezet. Het is een goed idee om te experimenteren met verschillende bakgroottes voor een bepaald gegevensvoorbeeld om meerdere perspectieven of weergaven van dezelfde gegevens te krijgen.

Een histogram kan worden gemaakt met behulp van de Matplotlib-bibliotheek en de functie hist (). De gegevens worden verstrekt als het eerste argument, en het aantal bakken wordt gespecificeerd via het “bins” -argument ofwel als een geheel getal (bijv. 10) of als een reeks van de grenzen van elke bak (bijv.).

Het onderstaande fragment maakt een histogram met 10 opslaglocaties voor een gegevensvoorbeeld.

We kunnen een willekeurige steekproef maken, getrokken uit een normale verdeling en p retend we de distributie niet kennen en maak dan een histogram van de gegevens. De normal () NumPy-functie zal dit bereiken en we zullen 1.000 samples genereren met een gemiddelde van 0 en een standaarddeviatie van 1, bijv. een standaard Gaussiaans.

Het volledige voorbeeld wordt hieronder weergegeven.

De voorbeeld trekt een steekproef van willekeurige waarnemingen en creëert het histogram met 10 bakken. We kunnen duidelijk de vorm van de normale verdeling zien.

Merk op dat uw resultaten zullen verschillen gezien de willekeurige aard van de gegevenssteekproef. Probeer het voorbeeld een paar keer uit te voeren.

Als u het voorbeeld uitvoert met bins ingesteld op 3, wordt de normale verdeling minder duidelijk.

Het bekijken van een histogram van een gegevensmonster met een reeks verschillende aantallen bakken helpt om te bepalen of de dichtheid eruitziet zoals een gewone kansverdeling of niet.

In de meeste gevallen zul je een unimodale verdeling zien, zoals de bekende belvorm van de normaal, de platte vorm van het uniform, of de aflopende of oplopende vorm van een exponentiële of Pareto-distributie.

Mogelijk ziet u ook complexe distributies, zoals meerdere pieken die niet verdwijnen met een verschillend aantal opslaglocaties, ook wel een bimodale distributie genoemd, of meerdere pieken, ook wel een multimodale distributie. Mogelijk ziet u ook een grote piek in dichtheid voor een bepaalde waarde of een klein bereik van waarden die uitbijters aangeven, vaak voorkomend op de staart van een verdeling ver weg van de rest van de dichtheid.

Parametrische dichtheidsschatting

De vorm van een histogram van de meeste willekeurige steekproeven komt overeen met een bekende kansverdeling.

De gebruikelijke distributies komen vaak voor omdat ze keer op keer voorkomen in verschillende en soms onverwachte domeinen.

Raak vertrouwd met de gebruikelijke kansverdelingen, aangezien het u zal helpen een bepaalde distributie te identificeren van een histogram.

Eenmaal geïdentificeerd, kunt u proberen de dichtheid van de willekeurige variabele te schatten met een gekozen kansverdeling. Dit kan worden bereikt door de parameters van de verdeling te schatten uit een willekeurige steekproef van gegevens.

De normale verdeling heeft bijvoorbeeld twee parameters: het gemiddelde en de standaarddeviatie. Gegeven deze twee parameters kennen we nu de kansverdelingsfunctie. Deze parameters kunnen op basis van gegevens worden geschat door het steekproefgemiddelde en de standaarddeviatie van de steekproef te berekenen.

We noemen dit proces parametrische dichtheidsschatting.

De reden is dat we vooraf gedefinieerde functies gebruiken om de relatie tussen waarnemingen en hun waarschijnlijkheid samen te vatten die kan worden gecontroleerd of geconfigureerd met parameters, vandaar “parametrisch”.

Zodra we de dichtheid hebben geschat, kunnen we controleren of deze goed past. Dit kan op veel manieren worden gedaan, zoals:

• De densiteitsfunctie plotten en de vorm vergelijken met het histogram.
• De densiteitsfunctie bemonsteren en het gegenereerde monster vergelijken met de echte steekproef.
• Met behulp van een statistische test om te bevestigen dat de gegevens passen bij de verdeling.

We kunnen dit aantonen met een voorbeeld.

We kan een willekeurige steekproef van 1.000 waarnemingen genereren uit een normale verdeling met een gemiddelde van 50 en een standaarddeviatie van 5.

We kunnen dan net doen alsof we de kansverdeling niet kennen en misschien naar een histogram kijken en raden dat het normaal is. Ervan uitgaande dat het normaal is, kunnen we vervolgens de parameters van de verdeling berekenen, met name het gemiddelde en de standaarddeviatie.

We zouden niet verwachten dat het gemiddelde en de standaarddeviatie precies 50 en 5 zijn gezien de kleine steekproefomvang en ruis in het bemonsteringsproces.

Pas vervolgens de verdeling aan met deze parameters, de zogenaamde parametrische dichtheidsschatting van ons datamonster.

In dit geval kunnen we de norm ( ) SciPy-functie.

We kunnen dan een steekproef nemen van de waarschijnlijkheden uit deze verdeling voor een bereik van waarden in ons domein, in dit geval tussen 30 en 70.

Ten slotte kunnen we een histogram van het gegevensmonster uitzetten en een lijndiagram van de waarschijnlijkheden die voor het bereik van waarden uit de PDF.

Belangrijk is dat we de tellingen of frequenties in elke bak van het histogram kunnen converteren naar een genormaliseerde waarschijnlijkheid om ervoor te zorgen dat de y-as van het histogram overeenkomt met de y-as van de lijnplot. Dit kan worden bereikt door het argument “density” in te stellen op “True” in de aanroep van hist ().

Door deze fragmenten aan elkaar te koppelen, wordt het complete voorbeeld van parametrische dichtheidsschatting hieronder weergegeven.

Als u het voorbeeld uitvoert, wordt eerst het gegevensvoorbeeld gegenereerd , schat vervolgens de parameters van de normale waarschijnlijkheid distributie.

Merk op dat uw resultaten zullen verschillen gezien de willekeurige aard van de gegevenssteekproef. Probeer het voorbeeld een paar keer uit te voeren.

In dit geval kunnen we zien dat de gemiddelde en standaarddeviatie wat ruis hebben en enigszins verschillen van de verwachte waarden van respectievelijk 50 en 5. De ruis is klein en de distributie zal naar verwachting nog steeds goed passen.

Vervolgens is de PDF geschikt het gebruik van de geschatte parameters en het histogram van de gegevens met 10 opslaglocaties wordt vergeleken met waarschijnlijkheden voor een reeks waarden die uit de PDF zijn bemonsterd.

We kunnen zien dat de PDF goed overeenkomt met onze gegevens.

Het is mogelijk dat de gegevens overeenkomen met een algemene kansverdeling, maar een transformatie vereisen voordat de parametrische dichtheid wordt geschat.

U kunt bijvoorbeeld uitbijterwaarden hebben die verre van het gemiddelde of zwaartepunt van de distributie. Dit kan tot gevolg hebben dat er onjuiste schattingen van de verdelingsparameters worden gegeven, wat op zijn beurt een slechte aanpassing aan de gegevens kan veroorzaken. Deze uitschieters moeten worden verwijderd voordat de distributieparameters worden geschat.

Een ander voorbeeld is dat de gegevens scheef staan of naar links of rechts zijn verschoven. In dit geval moet u mogelijk de gegevens transformeren voordat u de parameters schat, zoals het logboek of de vierkantswortel nemen, of meer in het algemeen, met behulp van een vermogenstransformatie zoals de Box-Cox-transformatie.

Deze typen van wijzigingen aan de gegevens zijn misschien niet voor de hand liggend en voor een effectieve parametrische schatting van de dichtheid kan een iteratief proces nodig zijn van:

• Loop totdat de distributie van de gegevens voldoende is:
  • 1. Verdelingsparameters schatten
  • 2. De resulterende PDF beoordelen tegen de gegevens
  • 3. De gegevens transformeren om beter bij de verdeling te passen

Niet-parametrische dichtheidsschatting

In sommige gevallen lijkt een gegevenssteekproef niet op een algemene waarschijnlijkheid distributie of kan niet gemakkelijk worden aangepast aan de distributie.

Dit is vaak het geval wanneer de gegevens twee pieken (bimodale distributie) of veel pieken (multimodale distributie) hebben.

Hierin In het geval is parametrische dichtheidsschatting niet haalbaar en kunnen alternatieve methoden worden gebruikt die geen gemeenschappelijke verdeling gebruiken. In plaats daarvan wordt een algoritme gebruikt om de kansverdeling van de gegevens te benaderen zonder een vooraf gedefinieerde verdeling, ook wel een niet-parametrische methode genoemd.

De verdelingen zullen nog steeds parameters hebben, maar zijn niet direct op dezelfde manier controleerbaar als eenvoudige kansverdelingen. Een niet-parametrische methode kan bijvoorbeeld de dichtheid schatten met behulp van alle waarnemingen in een willekeurige steekproef, waardoor in feite alle waarnemingen in de steekproef “parameters” worden gemaakt.

Misschien wel de meest gebruikelijke niet-parametrische benadering voor het schatten van de kansdichtheidsfunctie van een continue willekeurige variabele wordt kernel smoothing genoemd, of kerneldichtheidschatting, afgekort KDE.

• Kerneldichtheidsschatting: niet-parametrische methode om een dataset te gebruiken om kansen voor nieuwe punten te schatten.

In dit geval is een kernel een wiskundige functie die een kans retourneert voor een bepaalde waarde van een willekeurige variabele. De kernel verzacht of interpoleert effectief de kansen over het bereik van uitkomsten voor een willekeurige variabele, zodat de som van kansen is gelijk aan één, een vereiste van goed opgevoede kansen.

De kernelfunctie weegt de bijdrage van waarnemingen uit een gegevenssteekproef op basis van hun relatie of afstand tot een gegeven vraagsteekproef waarvoor t e waarschijnlijkheid wordt gevraagd.

Een parameter, de afvlakparameter of de bandbreedte genoemd, regelt de reikwijdte of het venster van waarnemingen van de gegevenssteekproef die bijdraagt aan het schatten van de waarschijnlijkheid voor een gegeven steekproef. Daarom wordt het schatten van de kerneldichtheid soms een Parzen-Rosenblatt-venster genoemd, of gewoon een Parzen-venster, naar de ontwikkelaars van de methode.

• Smoothing Parameter (bandbreedte): Parameter die de aantal monsters of een venster met monsters dat wordt gebruikt om de kans op een nieuw punt te schatten.

Een groot venster kan resulteren in een grove dichtheid met weinig details, terwijl een klein venster te veel details kan bevatten en niet soepel of algemeen genoeg zijn om nieuwe of ongeziene voorbeelden correct te behandelen.De bijdrage van monsters binnen het venster kan worden gevormd met behulp van verschillende functies, soms basisfuncties genoemd, b.v. uniform normaal, enz., met verschillende effecten op de gladheid van de resulterende dichtheidsfunctie.

• Basisfunctie (kernel): de gekozen functie die wordt gebruikt om de bijdrage van monsters in de dataset te controleren bij het schatten van de waarschijnlijkheid van een nieuw punt.

Als zodanig kan het nuttig zijn om te experimenteren met verschillende venstergroottes en verschillende contributiefuncties en de resultaten te vergelijken met histogrammen van de gegevens.

We kunnen dit demonstreren met een voorbeeld.

Ten eerste kunnen we een bimodale distributie construeren door samples van twee verschillende normale distributies te combineren. Concreet 300 voorbeelden met een gemiddelde van 20 en een standaarddeviatie van 5 (de kleinere piek), en 700 voorbeelden met een gemiddelde van 40 en een standaarddeviatie van 5 (de grotere piek). De gemiddelden zijn dicht bij elkaar gekozen om ervoor te zorgen dat de verdelingen elkaar overlappen in de gecombineerde steekproef.

Het volledige voorbeeld van het maken van deze steekproef met een bimodale kansverdeling en het uitzetten van het histogram wordt hieronder weergegeven.

Als u het voorbeeld uitvoert, wordt het gegevensmonster gemaakt en wordt het histogram geplot.

Houd er rekening mee dat uw resultaten verschillen gezien de willekeurige aard van het gegevensmonster. Probeer het voorbeeld een paar keer uit te voeren.

We hebben minder monsters met een gemiddelde van 20 dan monsters met een gemiddelde van 40, wat we weerspiegeld kunnen zien in het histogram met een grotere dichtheid van monsters rond de 40 dan rond 20.

Gegevens met deze verdeling passen per definitie niet goed in een algemene kansverdeling. Het is een goede zaak om een niet-parametrische methode voor het schatten van de kerneldichtheid te gebruiken.

De scikit-learn machine learning-bibliotheek biedt de KernelDensity-klasse die de schatting van de kerneldichtheid implementeert.

Ten eerste wordt de klasse geconstrueerd met de gewenste bandbreedte (venstergrootte) en kernel (basisfunctie) argumenten. Het is een goed idee om verschillende configuraties op uw gegevens te testen. In dit geval zullen we een bandbreedte van 2 en een Gauss-kernel proberen.

De klasse wordt vervolgens op een datamonster gepast via de functie fit (). De functie verwacht dat de gegevens een 2D-vorm hebben met het formulier, daarom kunnen we ons gegevensvoorbeeld opnieuw vormgeven zodat het 1000 rijen en 1 kolom heeft.

We kunnen vervolgens evalueren hoe goed de schatting van de dichtheid overeenkomt met onze gegevens door de kansen voor een reeks obs te berekenen ervations en het vergelijken van de vorm met het histogram, net zoals we deden voor het parametrische geval in de vorige sectie.

De functie score_samples () op de KernelDensity zal de logkans berekenen voor een reeks steekproeven. We kunnen een reeks steekproeven van 1 tot 60 maken, ongeveer het bereik van ons domein, de logboekkansen berekenen en vervolgens de logbewerking omkeren door de exponent of exp () te berekenen om de waarden terug te geven naar het bereik 0-1 voor normale kansen .

Ten slotte kunnen we een histogram maken met genormaliseerde frequenties en een overlay-lijndiagram van waarden naar geschatte waarschijnlijkheden.

Door dit samen te voegen, wordt het complete voorbeeld van de schatting van de kerneldichtheid voor een bimodaal gegevensmonster hieronder weergegeven.

Als u het voorbeeld uitvoert, wordt de gegevensverdeling gecreëerd, past het in het schattingsmodel van de kerneldichtheid en wordt vervolgens het histogram van het gegevensvoorbeeld en de PDF van het KDE-model.

Merk op dat uw resultaten zullen verschillen gezien de willekeurige aard van de gegevenssteekproef. Probeer het voorbeeld een paar keer uit te voeren.

In dit geval kunnen we zien dat de pdf goed past bij het histogram. Het is niet erg soepel en zou nog meer kunnen worden gedaan door het argument “bandbreedte” in te stellen op 3 samples of hoger. Experimenteer met verschillende waarden van de bandbreedte en de kernelfunctie.

De KernelDensity-klasse is krachtig en ondersteunt wel het schatten van de PDF voor multidimensionale gegevens.

Verder lezen

Deze sectie biedt meer bronnen over het onderwerp als je dieper wilt gaan.

Boeken

• Pattern Recognition and Machine Learning, 2006.
• Machine Learning: A Probabilistic Perspective, 2012.
• De elementen van statistisch leren: datamining, inferentie , en Prediction, 2009.

API

• scipy.stats.gaussian_kde API.
• Niet-parametrische methoden niet-parametrisch, Statsmodels API.
• Statistiekenmodellen voor schatting van de dichtheid van de kernel Exa mple.
• Schatting van dichtheid, Scikit-Learn API.

Artikelen

• Schatting van dichtheid, Wikipedia.
• Histogram, Wikipedia.
• Schatting van kerneldichtheid, Wikipedia.
• Schatting van multivariate kerneldichtheid, Wikipedia.
• Schatting van kerneldichtheid via de Parzen-Rosenblatt-venstermethode, 2014.
• Diepgaand: Kernel Density Estimation.

Samenvatting

In deze tutorial ontdekte je een zachte inleiding tot het schatten van waarschijnlijkheidsdichtheid.

In het bijzonder leerde u:

• Histogramplots bieden een snelle en betrouwbare manier om de waarschijnlijkheidsdichtheid van een gegevenssteekproef te visualiseren.
• Parametrische waarschijnlijkheidsdichtheid schatting omvat het selecteren van een gemeenschappelijke verdeling en het schatten van de parameters voor de dichtheidsfunctie uit een gegevenssteekproef.
• Niet-parametrische schatting van de waarschijnlijkheidsdichtheid omvat het gebruik van een techniek om een model aan te passen aan de willekeurige verdeling van de gegevens, zoals kerneldichtheidschattingen on.

Heb je nog vragen?
Stel je vragen in de reacties hieronder en ik zal mijn best doen om te antwoorden.