Podwójne zejście

W statystyce i uczeniu maszynowym podwójne zejście to zjawisko, w którym model statystyczny z małą liczbą parametrów i model z bardzo dużą liczbą parametrów mają mały błąd, ale model, którego liczba parametrów jest mniej więcej taka sama jak liczba punktów danych używanych do uczenia modelu będzie miało duży błąd. Zjawisko to wydaje się być sprzeczne z kompromisem między odchyleniami a wariancją w klasycznej statystyce, zgodnie z którym posiadanie zbyt wielu parametrów spowoduje bardzo duży błąd.

Zobacz też

Kompromis między odchyleniem a wariancją

Michaił Belkin; Daniel Hsu; Ji Xu (2020). „Dwa modele podwójnego zejścia dla słabych cech” . SIAM Journal o matematyce nauki o danych . 2 (4). doi : 10.1137/20M1336072 .
Preetum Nakkiran; Gal Kaplun; Yamini Bansal; Tristan Yang; Boaz Barak; Ilya Sutskever (29 grudnia 2021). „Głębokie podwójne zejście: gdzie bolą większe modele i więcej danych” . Journal of Statistical Mechanics: Theory and Experiment . IOP Publishing Ltd i SISSA Medialab srl. 2021 . ar Xiv : 1912.02292 . doi : 10.1088/1742-5468/ac3a74 .
Song Mei; Andrea Montanari (kwiecień 2022). „Błąd uogólnienia regresji cech losowych: dokładna asymptotyka i krzywa podwójnego zejścia”. Komunikaty dotyczące matematyki czystej i stosowanej . 75 (4). ar Xiv : 1908.05355 . doi : 10.1002/cpa.22008 .
Xiangyu Chang; Yingcong Li; Sameta Oymaka; Christos Thrampoulidis (2021). „Możliwe do udowodnienia korzyści z przeparametryzacji w kompresji modelu: od podwójnego zejścia do przycinania sieci neuronowych”. Materiały z konferencji AAAI na temat sztucznej inteligencji . 35 (8). arXiv : 2012.08749 .
Michaił Belkin; Daniel Hsu; Siyuan Ma; Soumik Mandal (2019). „Pogodzenie nowoczesnej praktyki uczenia maszynowego z klasycznym kompromisem między odchyleniami a wariancją” . Proceedings of the National Academy of Sciences of the United States of America . 116 (32). doi : 10.1073/pnas.1903070116 .
Marco Loog; Toma Vieringa; Aleksandra Meya; Jesse H. Krijthe; Podatek Davida MJ (2020). „Krótka prehistoria podwójnego pochodzenia” . Proceedings of the National Academy of Sciences of the United States of America . 117 (16). doi : 10.1073/pnas.2001875117 .

Linki zewnętrzne

Brenta Wernessa; Jareda Wilbera. „Podwójne zejście: część 1: wizualne wprowadzenie” .
Brenta Wernessa; Jareda Wilbera. „Podwójne zejście: część 2: wyjaśnienie matematyczne” .