Faktoryzacja macierzy (systemy rekomendujące)

Faktoryzacja macierzowa jest klasą algorytmów filtrowania współpracującego stosowanych w systemach rekomendujących . Algorytmy rozkładu na czynniki macierzowe działają na zasadzie rozkładu macierzy interakcji użytkownik-element na iloczyn dwóch prostokątnych macierzy o niższej wymiarowości. Ta rodzina metod stała się szeroko znana podczas z nagrodami Netflix ze względu na jej skuteczność, o czym poinformował Simon Funk w swoim poście na blogu z 2006 roku, w którym podzielił się swoimi odkryciami ze społecznością naukową. Wyniki predykcji można poprawić, przypisując różne wagi regularyzacji do ukrytych czynników na podstawie popularności elementów i aktywności użytkowników.

Techniki

Ideą faktoryzacji macierzy jest reprezentowanie użytkowników i elementów w utajonej przestrzeni o niższych wymiarach . Od czasu pierwszej pracy Funka w 2006 r. Zaproponowano wiele podejść do faktoryzacji macierzy dla systemów rekomendujących. Niektóre z najczęściej używanych i prostszych są wymienione w poniższych sekcjach.

Funk MF

Oryginalny algorytm zaproponowany przez Simona Funka w jego poście na blogu rozłożył macierz oceny pozycji użytkownika na czynniki jako iloczyn dwóch macierzy o niższych wymiarach, pierwsza ma wiersz dla każdego użytkownika, a druga ma kolumnę dla każdego elementu. Wiersz lub kolumna powiązana z określonym użytkownikiem lub elementem jest określana jako czynniki ukryte . Zauważ, że w Funk MF nie dekompozycji wartości osobliwych , jest to model uczenia maszynowego podobny do SVD. Przewidywane oceny można obliczyć jako , gdzie R $\ Displaystyle {\ tylda {R}} =$ ${\ Displaystyle {\ tylda {R}} \ in \ mathbb {R} ^ {users \ times items}}$ macierz oceny pozycji użytkownika, ${\ Displaystyle H \ w \ mathbb {R} ^ {użytkownicy \ razy ukryte czynniki}}$ zawiera ukryte czynniki użytkownika i ${\ Displaystyle W \ in \ mathbb {R} ^ {czynniki utajone \ pozycje razy$ } czynniki.

Konkretnie, przewidywana ocena, jaką użytkownik u da pozycji i, jest obliczana jako:

$\ Displaystyle {\ tylda {r}} _ {ui} = \ suma _ {f = 0} ^ {nczynniki }H_{u,f}W_{f,i}}$

Możliwe jest dostrojenie mocy ekspresyjnej modelu poprzez zmianę liczby czynników ukrytych. Wykazano, że faktoryzacja macierzowa z jednym ukrytym czynnikiem jest równoważna z najpopularniejszym lub najbardziej popularnym rekomendującym (np. rekomenduje pozycje z największą liczbą interakcji bez jakiejkolwiek personalizacji). Zwiększenie liczby czynników ukrytych poprawi personalizację, a tym samym jakość rekomendacji, aż do momentu, gdy liczba czynników stanie się zbyt wysoka, w którym to momencie model zaczyna się przepełniać, a jakość rekomendacji spada. Powszechną strategią unikania nadmiernego dopasowania jest dodawanie regularyzacji do funkcji celu. Funk MF został opracowany jako przewidywania ocen , dlatego wykorzystuje jawne oceny liczbowe jako interakcje użytkownika z elementem.

Biorąc wszystko pod uwagę, Funk MF minimalizuje następującą funkcję celu:

${\ Displaystyle {\ underset {H, W} {\ operatorname {arg \, min}}} \, \|R-{\tylda {R}}\|_{\rm {F}}+\alpha \|H\|+\beta \|W\|}$

Gdzie $rekomendacją$ jest zdefiniowany jako norma Frobeniusa , podczas gdy inne normy mogą być normą Frobeniusa lub inną normą, w zależności od konkretnego problemu z

SVD++

Chociaż Funk MF jest w stanie zapewnić bardzo dobrą jakość rekomendacji, jego zdolność do używania tylko wyraźnych ocen liczbowych jako interakcji użytkownika z przedmiotami stanowi ograniczenie. Współczesne systemy rekomendacji powinny wykorzystywać wszystkie dostępne interakcje, zarówno jawne (np. oceny liczbowe), jak i ukryte (np. polubienia, zakupy, pominięte, dodane do zakładek). W tym celu SVD++ został zaprojektowany tak, aby uwzględniał również niejawne interakcje. W porównaniu do Funk MF, SVD++ bierze również pod uwagę stronniczość użytkownika i przedmiotu.

Przewidywana ocena, jaką użytkownik u wystawi pozycji i, jest obliczana w następujący sposób:

${\ Displaystyle {\ tylda {r}} _ {ui} = \ mu$

SVD++ ma jednak pewne wady, a główną wadą jest to, że ta metoda nie jest oparta na modelu. Oznacza to, że jeśli zostanie dodany nowy użytkownik, algorytm nie jest w stanie go zamodelować, chyba że cały model zostanie przeszkolony. Mimo że system mógł zebrać pewne interakcje dla tego nowego użytkownika, jego ukryte czynniki nie są dostępne i dlatego nie można obliczyć żadnych zaleceń. Jest to przykład zimnym startem , który polega na tym, że osoba polecająca nie może skutecznie radzić sobie z nowymi użytkownikami lub przedmiotami i należy zastosować określone strategie, aby poradzić sobie z tą wadą.

Możliwym sposobem rozwiązania tego problemu z zimnym startem jest zmodyfikowanie SVD++ tak, aby stało się algorytmem opartym na modelach , co umożliwi łatwe zarządzanie nowymi elementami i nowymi użytkownikami.

Jak wcześniej wspomniano w SVD++ nie mamy ukrytych czynników nowych użytkowników, dlatego konieczne jest reprezentowanie ich w inny sposób. Czynniki ukryte użytkownika reprezentują preferencje tego użytkownika dotyczące ukrytych czynników odpowiedniego elementu, dlatego ukryte czynniki użytkownika można oszacować na podstawie wcześniejszych interakcji użytkownika. Jeśli system jest w stanie zebrać pewne interakcje dla nowego użytkownika, możliwe jest oszacowanie jego ukrytych czynników. Należy pamiętać, że nie rozwiązuje to całkowicie problemu zimnego startu problem, ponieważ rekomendator nadal wymaga pewnych niezawodnych interakcji dla nowych użytkowników, ale przynajmniej nie ma potrzeby każdorazowego ponownego obliczania całego modelu. Wykazano, że ta formuła jest prawie równoważna modelowi SLIM, który jest rekomendatorem opartym na modelu pozycja-pozycja.

${\ Displaystyle {\ tylda {r}} _ {ui} = \ mu + b_ {i} + b_ {u} + \ suma _ {f = 0} ^ {nczynniki} {\ biggl (} \ suma _ {j =0}^{nitems}r_{uj}W_{j,f}{\biggr )}W_{f,i}}$

W przypadku tego sformułowania równoważnym polecającym przedmiot byłby ${\ Displaystyle {\ tylda {R}} = RS = RW ^ {\ rm {T}} W}$ . Dlatego macierz podobieństwa jest symetryczna.

Asymetryczny SVD

Asymetryczny SVD ma na celu połączenie zalet SVD++, będąc jednocześnie algorytmem opartym na modelu, dzięki czemu jest w stanie uwzględniać nowych użytkowników z kilkoma ocenami bez konieczności ponownego uczenia całego modelu. W przeciwieństwie do SVD opartego na modelu, tutaj macierz utajonych czynników użytkownika H jest zastąpiona przez Q, która uczy się preferencji użytkownika jako funkcji jego ocen.

Przewidywana ocena, jaką użytkownik u wystawi pozycji i, jest obliczana w następujący sposób:

$\ Displaystyle {\ tylda {r}}_{ui}=\mu +b_{i}+b_{u}+\sum _{f=0}^{nfactors}\sum _{j=0}^{nitems}r_{uj} Q_{j,f}W_{f,i}}$

W przypadku tego sformułowania równoważnym rekomendatorem pozycji byłby ${\ Displaystyle {\ tylda {R}} = RS = RQ ^ {\ rm {T}} W}$ . Ponieważ macierze Q i W są różne, macierz podobieństwa jest asymetryczna, stąd nazwa modelu.

Specyficzna dla grupy SVD

SVD specyficzne dla grupy może być skutecznym podejściem do problemu zimnego startu w wielu scenariuszach. Grupuje użytkowników i elementy na podstawie informacji o zależnościach i podobieństwach w charakterystyce. Następnie, gdy pojawi się nowy użytkownik lub element, możemy przypisać mu etykietę grupy i przybliżyć jego ukryty czynnik przez efekty grupowe (odpowiedniej grupy). Dlatego też, chociaż oceny związane z nowym użytkownikiem lub elementem niekoniecznie są dostępne, efekty grupowe zapewniają natychmiastowe i skuteczne przewidywania.

Przewidywana ocena, jaką użytkownik u wystawi pozycji i, jest obliczana w następujący sposób:

$\ Displaystyle {\ tylda {r}} _{ui}=\suma _{f=0}^{nczynniki}(H_{u,f}+S_{v_{u},f})(W_{f,i}+T_{f,j_{i }})}$

Tutaj i reprezentują odpowiednio etykietę grupy użytkownika $u$ elementu $i , które$ członków z tej samej . A i $efektów$ $.$ grupowych Na przykład dla nowego użytkownika, $}}$ H ${\ Displaystyle H_ {u_ {nowy}}} nie jest$ $\ displaystyle v_ {u_ {nowy}}}$ , możemy przynajmniej zidentyfikować ich etykietę grupy ich oceny jako: v u n mi

${\ Displaystyle {\ tylda {r}} _ {u_{nowy}i}=\suma _{f=0}^{nczynniki}S_{v_{u_{nowy}},f}(W_{f,i}+T_{f,j_{i}}) }$

Zapewnia to dobre przybliżenie nieobserwowanych ocen.

Hybrydowy MF

W ostatnich latach opracowano wiele innych modeli faktoryzacji macierzy, aby wykorzystać stale rosnącą ilość i różnorodność dostępnych danych interakcji i przypadków użycia. Hybrydowe algorytmy faktoryzacji macierzy są zdolne do łączenia jawnych i niejawnych interakcji lub zarówno treści, jak i wspólnych danych

Głębokie uczenie się MF

W ostatnich latach zaproponowano szereg technik neuronowych i głębokiego uczenia się, z których niektóre uogólniają tradycyjne algorytmy faktoryzacji Matrix poprzez nieliniową architekturę neuronową. Podczas gdy głębokie uczenie się było stosowane w wielu różnych scenariuszach: świadome kontekstu, sekwencjonowania, tagowania społecznościowego itp., jego rzeczywista skuteczność jest stosowana w prostym filtrowaniu opartym na współpracy scenariusz został zakwestionowany. Systematyczna analiza publikacji wykorzystujących metody deep learning lub neuronowe do problemu rekomendacji top-k, publikowanych na czołowych konferencjach (SIGIR, KDD, WWW, RecSys, IJCAI), wykazała, że średnio mniej niż 40% artykułów jest powtarzalnych, przy czym zaledwie 14% na niektórych konferencjach. Ogółem w badaniach zidentyfikowano 26 artykułów, z których tylko 12 można było odtworzyć, a wyniki 11 z nich można było przewyższyć znacznie starszymi i prostszymi, odpowiednio dostrojonymi liniami bazowymi. W artykułach zwrócono również uwagę na szereg potencjalnych problemów w dzisiejszej nauce naukowej i wezwano do udoskonalenia praktyk naukowych w tej dziedzinie. Podobne problemy zostały zauważone również w systemach rekomendujących świadomych sekwencji.

Zobacz też