Delikatne wprowadzenie do szacowania gęstości prawdopodobieństwa

Ostatnia aktualizacja 24 lipca 2020 r.

Gęstość prawdopodobieństwa to związek między obserwacjami a ich prawdopodobieństwa.

Niektóre wyniki zmiennej losowej będą miały niską gęstość prawdopodobieństwa, a inne wyniki będą miały wysoką gęstość prawdopodobieństwa.

Ogólny kształt gęstości prawdopodobieństwa jest określany jako prawdopodobieństwo rozkład, a obliczenia prawdopodobieństw dla określonych wyników zmiennej losowej wykonuje się za pomocą funkcji gęstości prawdopodobieństwa lub w skrócie PDF.

Warto znać funkcję gęstości prawdopodobieństwa dla próbki danych w kolejności aby wiedzieć, czy dana obserwacja jest mało prawdopodobna lub na tyle nieprawdopodobna, że zostanie uznana za wartość odstającą lub anomalię i czy należy ją usunąć. Jest to również pomocne przy wyborze odpowiednich metod uczenia się, które wymagają, aby dane wejściowe miały określony rozkład prawdopodobieństwa.

Jest mało prawdopodobne, że znana jest funkcja gęstości prawdopodobieństwa dla losowej próbki danych. W związku z tym gęstość prawdopodobieństwa musi być przybliżona za pomocą procesu znanego jako estymacja gęstości prawdopodobieństwa.

W tym samouczku odkryjesz delikatne wprowadzenie do szacowania gęstości prawdopodobieństwa.

Po zakończeniu tego samouczka, dowiesz się:

• Wykresy histogramów zapewniają szybki i niezawodny sposób wizualizacji gęstości prawdopodobieństwa próbki danych.
• Parametryczne oszacowanie gęstości prawdopodobieństwa obejmuje wybór wspólnego rozkładu oraz oszacowanie parametrów funkcji gęstości na podstawie próbki danych.
• Nieparametryczne oszacowanie gęstości prawdopodobieństwa obejmuje użycie techniki dopasowania modelu do dowolnego rozkładu danych, na przykład oszacowanie gęstości jądra.

Rozpocznij swój projekt od mojej nowej książki Prawdopodobieństwo uczenia maszynowego, w tym samouczków krok po kroku i plików z kodem źródłowym Pythona dla wszystkich przykładów.

Zaczynajmy.

Omówienie samouczka

Ten samouczek jest podzielony na cztery części; są to:

1. Gęstość prawdopodobieństwa
2. Podsumuj gęstość za pomocą histogramu
3. Parametryczne oszacowanie gęstości
4. Nieparametryczne oszacowanie gęstości

Gęstość prawdopodobieństwa

Zmienna losowa x ma rozkład prawdopodobieństwa p (x).

Zależność między wynikami zmiennej losowej a jej prawdopodobieństwem wynosi zwana gęstością prawdopodobieństwa lub po prostu „gęstością”.

Jeśli zmienna losowa jest ciągła, to prawdopodobieństwo można obliczyć za pomocą funkcji gęstości prawdopodobieństwa lub w skrócie PDF. Kształt gęstości prawdopodobieństwa funkcja w całej dziedzinie dla zmiennej losowej jest określana jako rozkład prawdopodobieństwa, a wspólne rozkłady prawdopodobieństwa mają nazwy, takie jak jednolita, normalna, wykładnicza itd.

Biorąc pod uwagę zmienną losową, jesteśmy zainteresowani gęstość prawdopodobieństw.

Na przykład, mając losową próbkę zmiennej, moglibyśmy chcieć poznać takie rzeczy, jak kształt rozkładu prawdopodobieństwa bution, najbardziej prawdopodobna wartość, rozrzut wartości i inne właściwości.

Znajomość rozkładu prawdopodobieństwa zmiennej losowej może pomóc w obliczeniu momentów rozkładu, takich jak średnia i wariancja, ale można przydatne do innych bardziej ogólnych rozważań, takich jak określenie, czy obserwacja jest nieprawdopodobna lub bardzo nieprawdopodobna i może być wartością odstającą lub anomalią.

Problem w tym, że możemy nie znać rozkładu prawdopodobieństwa zmiennej losowej. Rzadko znamy rozkład, ponieważ nie mamy dostępu do wszystkich możliwych wyników dla zmiennej losowej. W rzeczywistości wszystko, do czego mamy dostęp, to próbka obserwacji. W związku z tym musimy wybrać rozkład prawdopodobieństwa.

Ten problem jest określany jako estymacja gęstości prawdopodobieństwa lub po prostu „estymacja gęstości”, ponieważ używamy obserwacji z losowej próby do oszacowania ogólnej gęstości prawdopodobieństwa wykraczające poza próbkę dostępnych danych.

Proces szacowania gęstości zmiennej losowej obejmuje kilka kroków.

Pierwszym krokiem jest sprawdzenie gęstości obserwacje w losowej próbie z prostym histogramem. Na podstawie histogramu możemy być w stanie zidentyfikować wspólny i dobrze zrozumiały rozkład prawdopodobieństwa, który można zastosować, taki jak rozkład normalny. Jeśli nie, być może będziemy musieli dopasować model do oszacować rozkład.

W następnych sekcjach przyjrzymy się bliżej każdemu z tych kroków po kolei.

Skoncentrujemy się na danych jednozmiennowych, np. jednej zmiennej losowej, w tym poście dla uproszczenia. Chociaż kroki mają zastosowanie do danych wielowymiarowych, mogą być trudniejsze ng wraz ze wzrostem liczby zmiennych.

Chcę się nauczyć prawdopodobieństwa uczenia maszynowego

Weź udział w moim 7-dniowym szybkim kursie e-mail (z przykładowym kodem).

Kliknij, aby się zarejestrować i otrzymać bezpłatną wersję kursu w postaci e-booka PDF.

Pobierz DARMOWY mini-kurs

Podsumuj gęstość za pomocą histogramu

Pierwszym krokiem w estymacji gęstości jest utworzenie histogramu obserwacji z próby losowej.

Histogram to wykres obejmujący najpierw pogrupowanie obserwacji w przedziały i zliczenie liczby zdarzeń, które wpadają do każdego przedziału. Liczby lub częstotliwości obserwacji w każdym przedziale są następnie wykreślane jako wykres słupkowy z przedziałami na osi x i częstotliwością na osi y.

Wybór liczby przedziałów jest ważne, ponieważ kontroluje zgrubność rozkładu (liczbę słupków) i, z kolei, jak dobrze wykreślana jest gęstość obserwacji. Dobrym pomysłem jest eksperymentowanie z różnymi rozmiarami bin dla danej próbki danych, aby uzyskać wiele perspektyw lub widoków tych samych danych.

Histogram można utworzyć za pomocą biblioteki Matplotlib i funkcji hist (). Dane są dostarczane jako pierwszy argument, a liczba pojemników jest określana za pomocą argumentu „bins” jako liczba całkowita (np. 10) lub jako sekwencja granic każdego pojemnika (np.).

Poniższy fragment tworzy histogram z 10 przedziałami dla próbki danych.

Możemy utworzyć losową próbkę z rozkładu normalnego i p powtórz, nie znamy rozkładu, a następnie utwórz histogram danych. Normalna funkcja () NumPy osiągnie to i wygenerujemy 1000 próbek ze średnią 0 i odchyleniem standardowym 1, np. standardowy Gaussian.

Pełny przykład znajduje się poniżej.

Uruchamianie przykład rysuje próbkę losowych obserwacji i tworzy histogram z 10 przedziałami. Wyraźnie widzimy kształt rozkładu normalnego.

Zwróć uwagę, że wyniki będą się różnić, biorąc pod uwagę losowy charakter próbki danych. Spróbuj uruchomić przykład kilka razy.

Uruchomienie przykładu z przedziałami ustawionymi na 3 sprawia, że rozkład normalny jest mniej oczywisty.

Przeglądanie histogramu próbki danych z różnymi liczbami przedziałów pomoże określić, czy wygląda gęstość jak zwykły rozkład prawdopodobieństwa, czy nie.

W większości przypadków zobaczysz rozkład unimodalny, taki jak znajomy kształt dzwonu normalnej, płaski kształt munduru lub opadający lub rosnący kształt rozkład wykładniczy lub Pareto.

Możesz również zobaczyć złożone rozkłady, takie jak wiele pików, które nie znikają z różnymi liczbami przedziałów, nazywane rozkładem bimodalnym lub wieloma pikami, określanymi jako dystrybucja multimodalna. Możesz również zauważyć duży wzrost gęstości dla danej wartości lub mały zakres wartości wskazujący na wartości odstające, często występujący na końcu rozkładu daleko od reszty gęstości.

Parametryczne szacowanie gęstości

Kształt histogramu większości losowych próbek będzie pasował do dobrze znanego rozkładu prawdopodobieństwa.

Typowe rozkłady są powszechne, ponieważ pojawiają się wielokrotnie w różnych i czasami nieoczekiwanych domenach.

Zapoznaj się z typowymi rozkładami prawdopodobieństwa, ponieważ pomoże ci to zidentyfikować dany rozkład na podstawie histogram.

Po zidentyfikowaniu możesz spróbować oszacować gęstość zmiennej losowej z wybranym rozkładem prawdopodobieństwa. Można to osiągnąć poprzez oszacowanie parametrów rozkładu na podstawie losowej próbki danych.

Na przykład rozkład normalny ma dwa parametry: średnią i odchylenie standardowe. Mając te dwa parametry, znamy teraz funkcję rozkładu prawdopodobieństwa. Parametry te można oszacować na podstawie danych, obliczając średnią próbki i odchylenie standardowe próbki.

Proces ten nazywamy parametrycznym szacowaniem gęstości.

Powodem jest to, że używamy predefiniowanych funkcji podsumować związek między obserwacjami i ich prawdopodobieństwem, które można kontrolować lub konfigurować za pomocą parametrów, stąd „parametryczne”.

Po oszacowaniu gęstości możemy sprawdzić, czy jest dobrze dopasowana. Można to zrobić na wiele sposobów, takich jak:

• Wykreślenie funkcji gęstości i porównanie kształtu z histogramem.
• Próbkowanie funkcji gęstości i porównanie wygenerowanej próbki z rzeczywista próbka.
• Potwierdzenie zgodności danych z rozkładem za pomocą testu statystycznego.

Możemy to zademonstrować na przykładzie.

może wygenerować losową próbkę 1000 obserwacji z rozkładu normalnego ze średnią 50 i odchyleniem standardowym równym 5.

Możemy wtedy udawać, że nie znamy rozkładu prawdopodobieństwa i być może spojrzeć na histogram i zgadnąć, że jest to normalne. Zakładając, że jest to normalne, możemy następnie obliczyć parametry rozkładu, w szczególności średnią i odchylenie standardowe.

Nie spodziewalibyśmy się, że średnia i odchylenie standardowe wynosi dokładnie 50 i 5, biorąc pod uwagę małą wielkość próby i szum w procesie próbkowania.

Następnie dopasuj rozkład z tymi parametrami, tak zwane parametryczne oszacowanie gęstości naszej próbki danych.

W tym przypadku możemy użyć normy ( ) Funkcja SciPy.

Następnie możemy próbkować prawdopodobieństwa z tej dystrybucji dla zakresu wartości w naszej dziedzinie, w tym przypadku od 30 do 70.

Na koniec możemy wykreślić histogram próbki danych i nałożyć wykres liniowy prawdopodobieństw obliczonych dla zakresu wartości z PDF.

Co ważne, możemy przekonwertować liczby lub częstości w każdym przedziale histogramu na znormalizowane prawdopodobieństwo, aby upewnić się, że oś y histogramu pasuje do osi y wykresu liniowego. Można to osiągnąć, ustawiając argument „density” na wartość „True” w wywołaniu hist ().

Po połączeniu tych fragmentów ze sobą pełny przykład parametrycznego szacowania gęstości przedstawiono poniżej.

Uruchomienie przykładu w pierwszej kolejności generuje próbkę danych , a następnie szacuje parametry prawdopodobieństwa normalnego dystrybucja.

Zwróć uwagę, że wyniki będą się różnić ze względu na losowy charakter próbki danych. Spróbuj uruchomić przykład kilka razy.

W tym przypadku widzimy, że średnia i odchylenie standardowe mają pewien szum i nieznacznie różnią się od oczekiwanych wartości odpowiednio 50 i 5. Szum jest niewielki i oczekuje się, że rozkład będzie nadal dobrze dopasowany.

Następnie plik PDF jest dopasowany za pomocą oszacowanych parametrów i histogramu danych z 10 przedziałami porównuje się z prawdopodobieństwami dla zakresu wartości pobranych z pliku PDF.

Widzimy, że plik PDF dobrze pasuje do naszych danych.

Możliwe, że dane są zgodne z powszechnym rozkładem prawdopodobieństwa, ale wymagają transformacji przed parametryczną estymacją gęstości.

Na przykład możesz mieć wartości odstające, które są dalekie od średnią lub środek masy rozkładu. Może to skutkować nieprawidłowymi oszacowaniami parametrów rozkładu, co z kolei skutkuje słabym dopasowaniem do danych. Te wartości odstające należy usunąć przed oszacowaniem parametrów rozkładu.

Innym przykładem jest to, że dane mogą być skośne lub przesunięte w lewo lub w prawo. W takim przypadku może zajść potrzeba przekształcenia danych przed oszacowaniem parametrów, na przykład zrobieniem dziennika lub pierwiastka kwadratowego, lub bardziej ogólnie, przy użyciu transformacji potęgowej, takiej jak transformata Boxa-Coxa.

Te typy Modyfikacje danych mogą nie być oczywiste, a efektywne oszacowanie gęstości parametrycznej może wymagać iteracyjnego procesu:

• Pętla do momentu dopasowania dystrybucji do danych jest wystarczająco dobre:
  • 1. Szacowanie parametrów dystrybucji
  • 2. Przeglądanie wynikowego pliku PDF pod kątem danych
  • 3. Przekształcanie danych w celu lepszego dopasowania do rozkładu

Nieparametryczne oszacowanie gęstości

W niektórych przypadkach próbka danych może nie przypominać typowego prawdopodobieństwa dystrybucji lub nie można ich łatwo dopasować do rozkładu.

Często dzieje się tak, gdy dane mają dwa piki (rozkład bimodalny) lub wiele pików (rozkład multimodalny).

W tym W takim przypadku parametryczne oszacowanie gęstości nie jest wykonalne i można zastosować metody alternatywne, które nie wykorzystują wspólnego rozkładu. Zamiast tego do przybliżenia rozkładu prawdopodobieństwa danych bez z góry określonego rozkładu używany jest algorytm, co jest określane jako metoda nieparametryczna.

Rozkłady nadal będą miały parametry, ale nie można nimi bezpośrednio sterować w ten sam sposób jako proste rozkłady prawdopodobieństwa. Na przykład metoda nieparametryczna może oszacować gęstość przy użyciu wszystkich obserwacji w próbce losowej, w efekcie dokonując wszystkich obserwacji w „parametrach” próbki.

Być może najpowszechniejsze nieparametryczne podejście do szacowania funkcji gęstości prawdopodobieństwa ciągła zmienna losowa nazywana jest wygładzaniem jądra lub szacowaniem gęstości jądra, w skrócie KDE.

• Szacowanie gęstości jądra: nieparametryczna metoda wykorzystania zbioru danych do szacowania prawdopodobieństwa dla nowych punktów.

W tym przypadku jądro jest funkcją matematyczną, która zwraca prawdopodobieństwo dla danej wartości zmiennej losowej. Jądro skutecznie wygładza lub interpoluje prawdopodobieństwa w zakresie wyników dla zmiennej losowej, tak że suma prawdopodobieństw równa się jeden, wymóg dobrze zachowanych prawdopodobieństw.

Funkcja jądra waży wkład obserwacji z próbki danych na podstawie ich relacji lub odległości do danej próbki zapytania, dla której t Prawdopodobieństwo jest wymagane.

Parametr, nazywany parametrem wygładzania lub szerokością pasma, steruje zakresem lub oknem obserwacji z próbki danych, które przyczyniają się do oszacowania prawdopodobieństwa dla danej próbki. W związku z tym oszacowanie gęstości jądra jest czasami nazywane oknem Parzena-Rosenblatta lub po prostu oknem Parzena od twórców metody.

• Parametr wygładzania (przepustowość): parametr kontrolujący liczba próbek lub okno próbek użyte do oszacowania prawdopodobieństwa dla nowego punktu.

Duże okno może skutkować grubą gęstością z małą ilością szczegółów, podczas gdy małe okno może zawierać zbyt wiele szczegółów i nie być wystarczająco gładkie lub ogólne, aby poprawnie opisać nowe lub niewidziane przykłady.Udział próbek w oknie można kształtować za pomocą różnych funkcji, czasami nazywanych funkcjami podstawowymi, np. jednolita normalna itp., z różnym wpływem na gładkość wynikowej funkcji gęstości.

• Funkcja podstawowa (jądro): Funkcja wybrana do kontrolowania udziału próbek w zbiorze danych w szacowaniu prawdopodobieństwo nowego punktu.

W związku z tym przydatne może być eksperymentowanie z różnymi rozmiarami okien i różnymi funkcjami udziału oraz ocena wyników na podstawie histogramów danych.

Możemy to zademonstrować na przykładzie.

Najpierw możemy skonstruować rozkład bimodalny, łącząc próbki z dwóch różnych rozkładów normalnych. Konkretnie, 300 przykładów ze średnią 20 i odchyleniem standardowym 5 (mniejszy pik) i 700 przykładów ze średnią 40 i odchyleniem standardowym 5 (większy pik). Średnie zostały wybrane blisko siebie, aby zapewnić nakładanie się rozkładów w połączonej próbie.

Pełny przykład tworzenia tej próbki z bimodalnym rozkładem prawdopodobieństwa i wykreślania histogramu znajduje się poniżej.

Uruchomienie przykładu tworzy próbkę danych i wykreśla histogram.

Zwróć uwagę, że wyniki będą się różnić ze względu na losowy charakter próbki danych. Spróbuj uruchomić przykład kilka razy.

Mamy mniej próbek o średniej 20 niż próbek o średniej 40, co możemy zobaczyć na histogramie z większą gęstością próbek około 40 niż około 20.

Dane z tym rozkładem nie pasują dobrze do wspólnego rozkładu prawdopodobieństwa, z założenia. Jest to dobry przypadek, aby użyć nieparametrycznej metody szacowania gęstości jądra.

Biblioteka uczenia maszynowego scikit-learn udostępnia klasę KernelDensity, która implementuje szacowanie gęstości jądra.

Najpierw klasa jest konstruowana z żądaną przepustowością (rozmiar okna) i jądro (funkcja podstawowa). Warto przetestować różne konfiguracje na swoich danych. W tym przypadku spróbujemy przepustowości 2 i jądra Gaussa.

Klasa jest następnie dopasowywana do próbki danych za pomocą funkcji fit (). Funkcja oczekuje, że dane będą miały kształt 2D wraz z formularzem, dlatego możemy zmienić kształt naszej próbki danych tak, aby miała 1000 wierszy i 1 kolumnę.

Następnie możemy ocenić, jak dobrze oszacowanie gęstości pasuje do naszych danych, obliczając prawdopodobieństwa dla zakresu obs ervations i porównanie kształtu z histogramem, tak jak zrobiliśmy to dla przypadku parametrycznego w poprzedniej sekcji.

Funkcja score_samples () w KernelDensity obliczy logarytmiczne prawdopodobieństwo dla tablicy próbek. Możemy utworzyć zakres próbek od 1 do 60, dotyczących zakresu naszej domeny, obliczyć logarytm prawdopodobieństwa, a następnie odwrócić operację log, obliczając wykładnik lub exp (), aby zwrócić wartości z zakresu 0-1 dla normalnych prawdopodobieństw .

Na koniec możemy utworzyć histogram ze znormalizowanymi częstotliwościami i nakładany wykres liniowy wartości na szacowane prawdopodobieństwa.

Łącząc to razem, pełny przykład szacowania gęstości jądra dla próbki danych bimodalnych znajduje się poniżej.

Uruchomienie przykładu tworzy rozkład danych, dopasowuje model szacowania gęstości jądra, a następnie wykreśla histogram próbka danych i plik PDF z modelu KDE.

Zwróć uwagę, że wyniki będą się różnić ze względu na losowy charakter próbki danych. Spróbuj uruchomić przykład kilka razy.

W tym przypadku widzimy, że plik PDF dobrze pasuje do histogramu. Nie jest to zbyt płynne i można by to poprawić, ustawiając argument „przepustowość” na 3 próbki lub więcej. Eksperymentuj z różnymi wartościami przepustowości i funkcji jądra.

Klasa KernelDensity jest potężna i obsługuje szacowanie pliku PDF dla danych wielowymiarowych.

Dalsza lektura

Ta sekcja zawiera więcej zasobów na ten temat, jeśli chcesz wejść głębiej.

Książki

• Rozpoznawanie wzorców i uczenie maszynowe, 2006.
• Uczenie maszynowe: perspektywa probabilistyczna, 2012.
• Elementy uczenia się statystycznego: eksploracja danych, wnioskowanie i Prediction, 2009.

API

• scipy.stats.gaussian_kde API.
• Nonparametric Methods nonparametric, Statsmodels API.
• Szacowanie gęstości jądra Statsmodels Exa mple.
• Estymacja gęstości, Scikit-Learn API.

Artykuły

• Estymacja gęstości, Wikipedia.
• Histogram, Wikipedia.
• Oszacowanie gęstości jądra, Wikipedia.
• Wielowymiarowe oszacowanie gęstości jądra, Wikipedia.
• Oszacowanie gęstości jądra metodą okna Parzena-Rosenblatta, 2014.
• Dogłębne: szacowanie gęstości jądra.

Podsumowanie

W tym samouczku odkryłeś delikatne wprowadzenie do szacowania gęstości prawdopodobieństwa.

W szczególności nauczyłeś się:

• Wykresy histogramów zapewniają szybki i niezawodny sposób wizualizacji gęstości prawdopodobieństwa próbki danych.
• Parametryczna gęstość prawdopodobieństwa estymacja obejmuje wybranie wspólnego rozkładu i oszacowanie parametrów funkcji gęstości z próbki danych.
• Nieparametryczne oszacowanie gęstości prawdopodobieństwa obejmuje użycie techniki dopasowania modelu do dowolnego rozkładu danych, np. estymacja gęstości jądra on.

Masz jakieś pytania?
Zadaj je w komentarzach poniżej, a dołożę wszelkich starań, aby na nie odpowiedzieć.