Adaptacja domeny

Rozróżnienie między zwykłym ustawieniem uczenia maszynowego a uczeniem transferowym oraz pozycjonowanie adaptacji domeny

Adaptacja domeny to dziedzina związana z uczeniem maszynowym i uczeniem transferowym . Ten scenariusz powstaje, gdy naszym celem jest nauczenie się ze źródłowej dystrybucji danych dobrze działającego modelu na innej (ale powiązanej) docelowej dystrybucji danych. Na przykład jedno z zadań typowego problemu filtrowania spamu polega na dostosowaniu modelu od jednego użytkownika (dystrybucja źródłowa) do nowego użytkownika, który otrzymuje znacząco różne wiadomości e-mail (dystrybucja docelowa). Wykazano również, że adaptacja domeny jest korzystna dla uczenia się niepowiązanych źródeł. Należy zauważyć, że gdy dostępna jest więcej niż jedna dystrybucja źródłowa, problem jest określany jako adaptacja domeny z wieloma źródłami.

Przegląd

Adaptacja domeny to możliwość zastosowania algorytmu przeszkolonego w jednej lub kilku „domenach źródłowych” do innej (ale powiązanej) „domeny docelowej”. Adaptacja domeny jest podkategorią uczenia się transferowego. W adaptacji domeny domeny źródłowa i docelowa mają tę samą przestrzeń cech (ale różne dystrybucje); w przeciwieństwie do tego uczenie się transferu obejmuje przypadki, w których przestrzeń cech domeny docelowej różni się od źródłowej przestrzeni lub przestrzeni cech.

Przesunięcie domeny

Przesunięcie domeny lub przesunięcie dystrybucyjne to zmiana w rozkładzie danych między zestawem danych szkoleniowych algorytmu a zbiorem danych, który napotyka on po wdrożeniu. Te przesunięcia domen są powszechne w praktycznych zastosowaniach sztucznej inteligencji. Konwencjonalne algorytmy uczenia maszynowego często słabo dostosowują się do zmian w domenach. Nowoczesna społeczność ucząca się maszyn ma wiele różnych strategii, aby uzyskać lepszą adaptację domeny.

Przykłady

• Algorytm przeszkolony w wiadomościach może być zmuszony do dostosowania się do nowego zestawu danych dokumentów biomedycznych.
• Filtr antyspamowy, wytrenowany na określonej grupie użytkowników poczty e-mail podczas szkolenia, po wdrożeniu musi dostosować się do nowego użytkownika docelowego.
• Zastosowanie algorytmów diagnostycznych AI, wyszkolonych na oznakowanych danych związanych z poprzednimi chorobami, do nowych nieoznakowanych danych związanych z pandemią COVID-19 .
• Nagła zmiana społeczna, taka jak wybuch pandemii, może spowodować zmianę domeny i spowodować, że algorytmy uczenia maszynowego przeszkolone na przestarzałych danych konsumenckich zawiodą i będą wymagać interwencji.

Inne zastosowania obejmują wykrywanie lokalizacji Wi-Fi i wiele aspektów widzenia komputerowego .

Formalizowanie

Niech $będzie$ przestrzenią wejściową (lub przestrzenią opisu) i niech $. Celem algorytmu uczenia maszynowego$ przestrzenią wyjściową (lub przestrzenią etykiet $\ displaystyle$$Y}$ modelu matematycznego (hipotezy) zdolnego do dołączenia etykiety z do przykładu z $} \displaystyle X}$ . Tego modelu uczy się z próbki uczącej ${\ Displaystyle S = \ {(x_ {i}, y_ {i}) \ w ( X\razy Y)\}_{i=1}^{m}}$ .

Zwykle w uczeniu nadzorowanym (bez adaptacji domeny) zakładamy, że przykłady ${\ Displaystyle (x_ {i}, y_ {i}) \ in S}$ są rysowane iid z rozkładu ${\ Displaystyle D_ {S}}$ wsparcia ${\ Displaystyle X \ razy Y}$ (nieznane i naprawione). Celem jest więc nauczenie się $($$aby$$,$ tak popełniało jak najmniej błędów przy oznaczaniu nowych przykładów pochodzących .

Główna różnica między uczeniem nadzorowanym a adaptacją domeny polega na tym, że w tej drugiej sytuacji badamy dwa różne (ale powiązane) rozkłady $T$$}}$ { na ${ \ displaystyle X \ razy Y}$ . $wówczas$$domeny$ na przeniesieniu wiedzy z domeny źródłowej domeny docelowej Celem jest zatem nauczenie się $oznakowanych$ lub nieoznakowanych próbek pochodzących z dwóch domen) tak, aby popełniało jak najmniej błędów w domenie $.$ .

Główny problem jest następujący: jeśli model jest wyuczony z domeny źródłowej, jaka jest jego zdolność do poprawnego etykietowania danych pochodzących z domeny docelowej?

Różne typy adaptacji domeny

Istnieje kilka kontekstów adaptacji domeny. Różnią się informacjami branymi pod uwagę dla zadania docelowego.

1. Nienadzorowana adaptacja domeny : próbka ucząca zawiera zestaw oznakowanych przykładów źródłowych, zestaw nieoznakowanych przykładów źródłowych i zestaw nieoznakowanych przykładów docelowych.
2. Częściowo nadzorowana adaptacja domeny : w tej sytuacji rozważamy również „mały” zestaw oznaczonych przykładów docelowych.
3. Adaptacja domeny nadzorowanej : wszystkie rozważane przykłady powinny być oznaczone.

Cztery zasady algorytmiczne

Algorytmy ponownego ważenia

Celem jest ponowne zważenie próbki oznaczonej jako źródło, tak aby „wyglądała” jak próbka docelowa (pod względem rozważanej miary błędu).

Algorytmy iteracyjne

Metoda adaptacji polega na iteracyjnym „automatycznym etykietowaniu” docelowych przykładów. Zasada jest prosta:

1. model jest wyuczony z oznaczonych $przykładów$
2. ${\ displaystyle h}$ automatycznie oznacza niektóre docelowe przykłady;
3. nowy model jest wyuczony z nowo oznaczonych przykładów.

Należy zauważyć, że istnieją inne podejścia iteracyjne, ale zwykle wymagają one przykładów oznaczonych jako cel.

Poszukiwanie wspólnej przestrzeni reprezentacji

Celem jest znalezienie lub skonstruowanie wspólnej przestrzeni reprezentacji dla obu domen. Celem jest uzyskanie przestrzeni, w której domeny są blisko siebie, przy jednoczesnym zachowaniu dobrych wyników w zadaniu oznaczania źródła. Można to osiągnąć za pomocą uczenia maszynowego , w których reprezentacje cech z próbek w różnych domenach są zachęcane do tego, aby były nie do odróżnienia.

Hierarchiczny model bayesowski

Celem jest skonstruowanie hierarchicznego modelu bayesowskiego $i$$zasadniczo$ modelem faktoryzacji dla zliczeń wyprowadzić ukryte reprezentacje zależne od domeny, umożliwiające zarówno specyficzne dla domeny globalnie wspólne czynniki ukryte.

Oprogramowania

W ciągu ostatnich dziesięcioleci wdrożono kilka kompilacji algorytmów adaptacji domen i uczenia się transferu:

• ADAPTUJ (Python)
• TLlib (Python)
• Zestaw narzędzi do adaptacji domeny (Matlab)