Rzadkie przybliżenie

rzadkich przybliżeń (znana również jako rzadka reprezentacja ) zajmuje się rzadkimi rozwiązaniami układów równań liniowych . Techniki znajdowania tych rozwiązań i wykorzystywania ich w aplikacjach znalazły szerokie zastosowanie w przetwarzaniu obrazów , przetwarzaniu sygnałów , uczeniu maszynowym , obrazowaniu medycznym i nie tylko.

Rzadki rozkład

Bezgłośne obserwacje

Rozważmy $Displaystyle$$=$ równań , gdzie macierzą ${\ displaystyle m \ displaystyle p} x = re$${$ \ alpha i ${\ Displaystyle x \ w \ mathbb {R} ^ {m}, \ alfa \ w \ mathbb {R} ^ {p}}$ . Macierz $się,$$że$ jest to pełna ranga) jest określane jako słownik, a zainteresowania. Podstawowy problem rzadkiej $x = D \ alpha}$ definiuje się jako poszukiwanie najrzadszej możliwej reprezentacji satysfakcjonującej $displaystyle$ . Ze względu na nieokreślony charakter ${\ displaystyle D}$ , ten układ liniowy dopuszcza ogólnie nieskończenie wiele możliwych rozwiązań, a wśród nich szukamy tego, które ma najmniejszą liczbę niezerowych. Ujmując formalnie, rozwiązujemy

${\ Displaystyle \ min _ {\ alfa \ w \ mathbb {R} ^ {p}} \|\ alfa \|_ {0} {\ tekst { podlega }}x=D\alfa ,}$

gdzie ${\ Displaystyle \|\ alfa \|_ {0} = \ # \ {i: \ alfa _ {i} \ neq 0 , \, i = 1, \ ldots, p \}}$$jest$ pseudonormą która zlicza liczbę niezerowych składników ${\ displaystyle \ alpha}$ . Wiadomo, że ten problem jest NP-trudny z redukcją do problemów wyboru podzbioru NP-zupełnego w optymalizacja kombinatoryczna .

Rzadkość $}$$) składników w$ że ​​​​tylko kilka ( niezerowych. Podstawową motywacją do tak rzadkiego $rozkładu jest chęć dostarczenia$ najprostszego wyjaśnienia jako liniowej kombinacji jak najmniejszej liczby kolumn z , $zwanych$ również atomami Jako taki sygnał można postrzegać jako cząsteczkę złożoną z kilku podstawowych elementów $wziętych$${\ Displaystyle D}$ .

Chociaż postawiony powyżej problem jest rzeczywiście NP-trudny, jego rozwiązanie często można znaleźć za pomocą algorytmów aproksymacyjnych. Jedną z takich opcji jest wypukła relaksacja problemu, uzyskana za pomocą $\|\ alpha \|_ {1}}$ , gdzie ${\ Displaystyle \ ell _ {1}}}$ zamiast ${\ Displaystyle \ ell _$$}$$displaystyle$ po prostu sumuje wartości bezwzględne wpisów . Jest to znane jako pogoń za bazą (BP), który można obsłużyć za pomocą dowolnego solwera programowania liniowego . Alternatywną metodą aproksymacji jest technika zachłanna, taka jak pogoń za dopasowaniem (MP), która pojedynczo znajduje położenie niezerowych.

Co zaskakujące, w łagodnych warunkach (przy użyciu ${ \ displaystyle$ (matematyka) , wzajemnej koherencji lub właściwości ograniczonej izometrii ) i poziomu rzadkości w rozwiązaniu, problem rzadkiej reprezentacji może re $}$ okaże się, że mają unikalne rozwiązanie, a BP i MP mają gwarancję, że znajdą je doskonale.

Głośne obserwacje

$zaszumiony$ sygnał jest . Rozluźniając ograniczenie równości i nakładając -normę na termin pasujący do danych, rzadki problem rozkładu staje się ${\ displaystyle \ ell _ {2}}}$

${\ Displaystyle \ min _ {\ alfa \ in \ mathbb {R} ^ {p}} \|\ alfa \|_ {0}{\text{podmiot }}\|xD\alpha \|_{2}^{2}\leq \epsilon ^{2},}$

lub umieścić w postaci Lagrange'a,

${\ Displaystyle \ min _ {\ alfa \ w \ mathbb {R} ^ {p}} \ lambda \|\ alfa \| _{0}+{\frac {1}{2}}\|xD\alpha \|_{2}^{2},}$

gdzie zastępuje ${\$$\ epsilon}$ .

Podobnie jak w przypadku bezszumowego, te dwa problemy są ogólnie NP-trudne, ale można je przybliżyć za pomocą algorytmów pościgu. Dokładniej, zmieniając normę ${0}}$ { \ $\ ell$

${\ Displaystyle \ min _ {\ alfa \ w \ mathbb {R} ^ {p}} \ lambda \|\ alfa \ |_{1}+{\frac {1}{2}}\|xD\alpha \|_{2}^{2},}$

co jest znane jako odszumianie podstawy . Podobnie, pogoń za dopasowaniem może służyć do aproksymacji rozwiązania powyższych problemów, znajdowania lokalizacji zer pojedynczo, aż do osiągnięcia progu błędu. Również tutaj gwarancje teoretyczne sugerują, że BP i MP prowadzą do prawie optymalnych rozwiązań w zależności $liczności$$właściwości$ rozwiązania . Inny interesujący wynik teoretyczny odnosi się do przypadku, w którym jest a. ${\ displaystyle D}$ macierz jednostkowa . Przy $rozwiązania$ założeniu problemy postawione powyżej (z albo $w postaci$ dopuszczają zamkniętej w postaci nieliniowego skurczu

Wariacje

Istnieje kilka odmian podstawowego problemu rzadkiego przybliżenia.

Strukturalna rzadkość : W oryginalnej wersji problemu można wybrać dowolny atom ze słownika. W ustrukturyzowanym (blokowym) modelu rzadkości zamiast pojedynczych atomów wybiera się ich grupy. Grupy te mogą się nakładać i mieć różną wielkość. Celem jest reprezentowanie $.$ , aby było rzadkie przy wymuszaniu tej struktury bloków

Wspólne (wspólne) rzadkie kodowanie : Oryginalna wersja problemu jest zdefiniowana dla pojedynczego sygnału ${\ displaystyle x}$ . We wspólnym (połączonym $z$ modelu kodowania rzadkiego dostępny jest zestaw sygnałów, z których każdy, jak się uważa, pochodzi z (prawie) tego samego zestawu atomów . W tym przypadku zadanie pościgu ma na celu odzyskanie zestawu rzadkich reprezentacji, które najlepiej opisują dane, jednocześnie zmuszając je do współdzielenia tego samego (lub bliskiego) wsparcia.

Inne struktury $:$ szerzej, problem rzadkiego przybliżenia można rzucić, narzucając określoną pożądaną strukturę na wzorze niezerowych lokalizacji . Dwa interesujące przypadki, które zostały dokładnie zbadane, to struktura oparta na drzewie i bardziej ogólnie rozproszone wsparcie Boltzmanna.

Algorytmy

Jak już wspomniano powyżej, istnieją różne algorytmy aproksymacji (określane również jako pościg ), które zostały opracowane w celu rozwiązania problemu rzadkiej reprezentacji:

${\ Displaystyle \ min _ {\ alfa \ w \ mathbb {R} ^ {p}} \|\ alfa \|_ {0} {\ tekst {z zastrzeżeniem}} \|xD \ alfa \|_ {2} ^{2}\równik \epsilon ^{2}.}$

Poniżej wymienimy kilka z tych głównych metod.

• Pogoń za dopasowaniem to zachłanny algorytm iteracyjny służący do przybliżonego rozwiązania powyższego problemu. $Działa poprzez stopniowe znajdowanie lokalizacji$ niezerowych pojedynczo. Podstawową ideą jest znalezienie w każdym kroku kolumny (atomu) $w$ najlepiej skorelowanej z bieżącą resztą (zainicjowaną na $,$ następnie zaktualizowanie tej reszty w celu przyjęcia nowego atomu i jego współczynnik pod uwagę. Dopasowany pościg może wielokrotnie wybrać ten sam atom.
• Dopasowywanie ortogonalne jest bardzo podobne do dopasowywania, z jedną zasadniczą różnicą: w każdym kroku algorytmu wszystkie niezerowe współczynniki są aktualizowane o najmniejsze kwadraty . W konsekwencji reszta jest prostopadła do już wybranych atomów, a zatem atom nie może być wybrany więcej niż raz.
• Etapowe metody zachłanne: ulepszone odmiany powyższych to algorytmy, które działają zachłannie, dodając dwie krytyczne funkcje: (i) możliwość dodawania grup wartości niezerowych na raz (zamiast jednej wartości niezerowej na rundę); oraz (ii) włączenie etapu przycinania w każdej rundzie, w którym kilka atomów jest odrzucanych z podłoża. Reprezentantami tego podejścia są algorytm Subspace-Pursuit oraz CoSaMP.

• Dążenie do podstaw rozwiązuje $.$$, zrelaksowaną$ problemu, zastępując normę Należy zauważyć, że definiuje to tylko nowy cel, pozostawiając otwartą kwestię algorytmu, którego należy użyć w celu uzyskania pożądanego rozwiązania. Powszechnie uważane za takie algorytmy to IRLS , LARS i iteracyjne metody miękkiego skurczu.

• Istnieje kilka innych metod rozwiązywania rzadkich problemów dekompozycji: metoda homotopii, zejście współrzędnych , iteracyjne twarde progi, proksymalne metody pierwszego rzędu , które są powiązane z wyżej wymienionymi iteracyjnymi algorytmami miękkiego skurczu oraz selektor Dantziga.

Aplikacje

Pomysły i algorytmy rzadkich przybliżeń były szeroko stosowane w przetwarzaniu sygnałów , przetwarzaniu obrazów , uczeniu maszynowym , obrazowaniu medycznym , przetwarzaniu macierzowym , eksploracji danych i nie tylko. W większości tych zastosowań nieznany sygnał będący przedmiotem zainteresowania jest modelowany jako rzadka kombinacja kilku atomów z danego słownika i służy to jako uregulowanie problemu . Problemom tym zwykle towarzyszy słownikowy mechanizm uczenia się, który ma na celu dopasowanie ${\ displaystyle D}$ , aby jak najlepiej dopasować model do podanych danych. Wykorzystanie modeli inspirowanych rzadkością doprowadziło do uzyskania najnowocześniejszych wyników w szerokim zakresie zastosowań. Niedawne prace sugerują, że istnieje ścisły związek między modelowaniem rzadkiej reprezentacji a głębokim uczeniem.

Zobacz też

• Skompresowane wykrywanie
• Rzadka nauka słownika
• K-SVD
• Lasso (statystyki)
• Regularyzacja (matematyka) i problemy odwrotne