Generalizacja Walidacja jakości uczenia Blędy klasyfikacji Przypadek ciągly Wstęp do sieci neuronowych, wyklad 09, Walidacja jakości uczenia. Metody statystyczne. Maja Czoków, Jaroslaw Piersa Wydzial Matematyki i Informatyki, Uniwersytet Mikolaja Kopernika 2011-12-06 M. Czoków, J. Piersa WSN 2011/2012 Wyklad 09
69
Embed
Wstep do sieci neuronowych, wyklad 09, Walidacja jakosci …piersaj/www/contents/teaching/wsn2011/... · 2011-12-06 M. Czoków, J. Piersa WSN 2011/2012 Wykład 09. Generalizacja Walidacja
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Wstęp do sieci neuronowych, wykład 09, Walidacjajakości uczenia. Metody statystyczne.
Maja Czoków, Jarosław Piersa
Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika
2011-12-06
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
1 GeneralizacjaPrzykładGeneralizacjaPrzeuczenie sieci
2 Walidacja jakości uczeniaPrzypomnienie ze statystykiProblemModele walidacji danych
3 Błędy klasyfikacjiEksperyment myślowyBłędy pierwszego i drugiego rodzaju
Przypomnienie ze statystykiProblemModele walidacji danych
Proste rozwiązanie
Rozwiązanie jest aż za proste!
nie mówi nic o zachowaniu się sieci na danych, których niewidziała,
preferuje uczenie się danych na pamięć, ignoruje generalizację,
zaletą jest to, że maksymalnie wykorzystuje zestaw danych douczenia.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypomnienie ze statystykiProblemModele walidacji danych
Walidacja prosta
dane uczące są losowo dzielone na dwa rozłączne zbiory:próbkę uczącą U,próbkę testową T ,
sieć jest uczona za pomocą próbki uczącej,
jakość sieci jest badana tylko za pomocą próbki testowej
jakość :=ilość przykładów T sklasyfikowanych poprawnie
ilość wszystkich przykładów w T
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypomnienie ze statystykiProblemModele walidacji danych
Walidacja prosta
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypomnienie ze statystykiProblemModele walidacji danych
Walidacja prosta
Uwagi i niebezpieczeństwa:
większy wpływ na wynik może mieć |U||U∪T | , niż
zaimplementowany algorytm,
rozsądnym minimum dla |U| jest około 14 całego zbioru,
z drugiej strony |U| nie powinno być większe niż 910 całegozbioru,
podając wynik, zawsze podajemy proporcje w jakich podzielonozbiór,
mamy informację o możliwości generalizacji, ale algorytmuczenia sieci korzystał tylko z ułamka dostępnej wiedzy,
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypomnienie ze statystykiProblemModele walidacji danych
k-krotna walidacja krzyżowa
Ang. k-fold cross-validation
dane uczące są losowo dzielone na k rozłącznych i równolicznychzbiorów: T1, ...,Tk ,dla i = 1...k powtarzamy
uczymy sieć na zbiorze uczącym T1 ∪ ...Ti−1 ∪ Ti+1 ∪ Tk ,testujemy tak nauczoną sieć na danych Ti (na tych danych siećnie była uczona),zapamiętujemy rezultat jako ri
podajemy wszystkie rezultaty ri ,
lub przynajmniej ich średnią, medianę, minimum, maksimum iodchylenie standardowe,
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypomnienie ze statystykiProblemModele walidacji danych
k-krotna walidacja krzyżowa
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypomnienie ze statystykiProblemModele walidacji danych
k-razy dwukrotna walidacja krzyżowa
Ang. k-times 2-fold cross-validation
odmiana walidacji krzyżowej,dla i = 1...k powtarzamy:
wykonujemy 2-krotną walidację, za każdym razem losujemyzbiory treningowy i testowy od nowa,zapamiętujemy wyniki ri1 ri2 (po dwa na każdą iterację),
zwracamy statystyki uzyskanych wyników,
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypomnienie ze statystykiProblemModele walidacji danych
k-razy dwukrotna walidacja krzyżowa
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypomnienie ze statystykiProblemModele walidacji danych
Leave One Out
odmiana walidacji krzyżowej, w której k = ilość elementów w T ,dla i = 1...n powtarzamy:
uczymy sieć na zbiorze uczącym T\Ti ,testujemy sieć na pozostałym przykładzie Ti ,zapamiętujemy wynik ri (będzie on albo +1, albo 0),
obliczamy średnią i odchylenie standardowe wyników,
można stosować w przypadku małej ilości danych w zbiorze T .
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypomnienie ze statystykiProblemModele walidacji danych
Leave One Out
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Eksperyment myślowyBłędy pierwszego i drugiego rodzaju
1 GeneralizacjaPrzykładGeneralizacjaPrzeuczenie sieci
2 Walidacja jakości uczeniaPrzypomnienie ze statystykiProblemModele walidacji danych
3 Błędy klasyfikacjiEksperyment myślowyBłędy pierwszego i drugiego rodzaju
Eksperyment myślowyBłędy pierwszego i drugiego rodzaju
Błędy i błędy
jeżeli przyjmowana klasyfikacja jest binarna to możemy siępomylić na dwa sposoby:
przypadek, który powinien być prawdziwy, oceniamy jakofałszywy, (ang. false negative error)przypadek fałszywy oceniamy jako prawdziwy (ang. falsepositive),
który błąd jest gorszy?
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Eksperyment myślowyBłędy pierwszego i drugiego rodzaju
Przykład
egzamin z przedmiotu (np. WSN) powinien testować wiedzęzdających
jeżeli zdający zna materiał i dostał ocenę pozytywną, toegzaminator poprawnie ocenił wiedzę,jeżeli zdający nie zna materiału i nie zaliczył, to ocena jestpoprawna,jeżeli zdający umiał, ale mimo tego nie zaliczył, to egzaminatorpopełnił błąd (false negative),jeżeli zdający nie umiał a zaliczył, to egzaminator popełnił(dramatyczny) błąd (false positive).
ponieważ zawsze przysługuje egzamin poprawkowy, to ostatniaopcja jest najgorsza...
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Eksperyment myślowyBłędy pierwszego i drugiego rodzaju
Eksperyment myślowyBłędy pierwszego i drugiego rodzaju
Bardziej życiowe przykłady
filtr antyspamowy,
kontrola bezpieczeństwa na lotnisku,
diagnoza lekarska,
diagnoza usterek technicznych,
kontrola jakości,
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Eksperyment myślowyBłędy pierwszego i drugiego rodzaju
Wrażliwość i specyficzność
wrażliwość testu (ang. sensitivity) jest odsetkiem poprawnychodpowiedzi wśród poprawnych przypadków, test o wysokiejwrażliwości popełnia mało błędów II-go rodzaju
TPR =true positives
positives
specyficzność testu (ang. specificity) jest odsetkiempoprawnych odpowiedzi wśród negatywnych przypadków, test owysokiej specyficzności popełnia mało błędów I-go rodzaju
TNR =true negatives
negatives
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Eksperyment myślowyBłędy pierwszego i drugiego rodzaju
Wrażliwość i specyficzność
stuprocentowa wrażliwość — tak na każdy przypadek,
stuprocentowa specyficzność — nie na każdy przypadek(„bardzo asertywny test”),
wysokie oba wskaźniki są cechą dobrych testów (co oznacza:trudne do osiągnięcia),
znając cel (np. unikanie fałszywych alarmów), szukamynajlepszego kompromisu kontrolując ważniejszą statystykę,
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Eksperyment myślowyBłędy pierwszego i drugiego rodzaju
Reciever Operation Characteristic
Funkcja wrażliwości testu w zależności od progu przyjmowaniaodpowiedzi:
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypadek ciągłyRegresja liniowa — prostaRegresja liniowa — wielomian stopnia dZadania
1 GeneralizacjaPrzykładGeneralizacjaPrzeuczenie sieci
2 Walidacja jakości uczeniaPrzypomnienie ze statystykiProblemModele walidacji danych
3 Błędy klasyfikacjiEksperyment myślowyBłędy pierwszego i drugiego rodzaju
Przypadek ciągłyRegresja liniowa — prostaRegresja liniowa — wielomian stopnia dZadania
Aproksymacja wielomianem zbyt wysokiego stopnia
dla wysokich stopni wielomianu d i złośliwych danych problemmoże być źle uwarunkowany (np. w danych jest para(xi , yi )(xj , yj) gdzie xi jest dość bliski xj , a odpowiadające im yznacznie się różnią),
wielomian trafia idealnie (niemal idealnie, jeżeli d < n − 1) wkażdy z punktów uczących, ale nie oddaje tego, co się dziejepoza nimi,
jeżeli d ' n (ilość danych), to prostszym rozwiązaniem jestinterpolacja wielomianowa Lagrange’a.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypadek ciągłyRegresja liniowa — prostaRegresja liniowa — wielomian stopnia dZadania
Aproksymacja wielomianem zbyt wysokiego stopnia
-40
-20
0
20
40
0 2 4 6 8 10
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypadek ciągłyRegresja liniowa — prostaRegresja liniowa — wielomian stopnia dZadania
(*) znajdź wielomian interpolacyjny Lagrange’a stopnia 1, 2 i 3dla danych z zadań powyżej,
zaimplementuj uczenie perceptronu i prostej sieci skierowanej naprzykładzie XOR (lub innym nietrywialnym), zbadaj jakośćuczenia w obu przypadkach, Skorzystaj z walidacji prostej,krzyżowej, LOO, estymacji poprawnie klasyfikowanych punktówitp.
M. Czoków, J. Piersa WSN 2011/2012 Wykład 09
GeneralizacjaWalidacja jakości uczenia
Błędy klasyfikacjiPrzypadek ciągły
Przypadek ciągłyRegresja liniowa — prostaRegresja liniowa — wielomian stopnia dZadania
Zadania
zbadaj specyficzność i wrażliwość (sensitivity and specificity)nauczonej sieci z zadania wyżej,
(**) kontrolując ręcznie próg neuronu a tym samym wrażliwośćtestu (zawsze „nie” do zawsze „tak”), wyświetl wykreszależności specyficzności od wrażliwości (wykres ROC).
(**) Oblicz numerycznie pole pod wykresem (AUC) z zadaniapowyżej.