Skaluj przestrzeń

Przestrzeń skali
Przestrzeń skali
	Aksjomaty przestrzeni skali
	Implementacja przestrzeni skali
Wykrywanie cech
	Wykrywanie
	krawędzi Wykrywanie
	plam
	Wykrywanie narożników Wykrywanie grzbietów
	Wykrywanie punktów procentowych
Wybór skali
Dopasowanie kształtu afinicznego
Segmentacja skali-przestrzeni

skali-przestrzeni jest strukturą dla wieloskalowej reprezentacji sygnału , opracowaną przez społeczności zajmujące się wizją komputerową , przetwarzaniem obrazu i przetwarzaniem sygnałów z uzupełniającymi się motywacjami wynikającymi z fizyki i widzenia biologicznego . Jest to formalna teoria obsługi struktur obrazu w różnych skalach , poprzez reprezentowanie obrazu jako jednoparametrowej rodziny wygładzonych obrazów, reprezentacja skali w przestrzeni , sparametryzowana przez rozmiar wygładzania jądro używane do tłumienia struktur o drobnej skali. Parametr w tej rodzinie jest określany jako parametr skali $,$ z interpretacją, że struktury obrazu o rozmiarze przestrzennym mniejszym niż około zostały w dużej mierze wygładzone w $displaystyle t}$ poziom skali w skali ${\ displaystyle t}$ .

Głównym typem przestrzeni skali jest liniowa (gaussowska) przestrzeń skali , która ma szerokie zastosowanie, a także atrakcyjną właściwość, jaką jest możliwość wyprowadzenia z małego zestawu aksjomatów przestrzeni skali . Odpowiednia struktura skali-przestrzeni obejmuje teorię operatorów pochodnych Gaussa, które mogą być wykorzystane jako podstawa do wyrażenia dużej klasy operacji wizualnych dla systemów komputerowych przetwarzających informacje wizualne. niezmienność skali operacji wizualnych , co jest niezbędne do radzenia sobie z różnicami wielkości, które mogą wystąpić w danych obrazu, ponieważ rzeczywiste obiekty mogą mieć różne rozmiary, a ponadto odległość między obiektem a kamerą może być nieznana i może się różnić w zależności od okoliczności.

Definicja

Pojęcie przestrzeni skali dotyczy sygnałów o dowolnej liczbie zmiennych. Najczęstszy przypadek w literaturze dotyczy obrazów dwuwymiarowych, co zostało tutaj przedstawione. Dla danego obrazu jego liniowa (gaussowska) $x$ jest rodziną sygnałów pochodnych $,y;t)}$ $L ($ zdefiniowany przez splot funkcji $z$ _ _

{\ Displaystyle g (x, y; t) = {\ Frac {1} {2 \ pi t}} e^{-(x^{2}+y^{2})/2t}\,}

takie że

{\ Displaystyle L (\ cdot, \ cdot; t) \ = g (\ cdot, \ cdot; t) *f(\cdot ,\cdot ),}

gdzie średnik w argumencie $który$ $gdy$ że splot jest wykonywany tylko na zmiennych, parametr skali $tylko$ średniku wskazuje definiowany jest poziom skali. Ta definicja działa dla kontinuum skal $\ displaystyle t \ geq$ $t\geq 0$ , ale zazwyczaj brany byłby pod uwagę tylko skończony dyskretny zbiór poziomów w reprezentacji w przestrzeni skali.

Parametr skali $\ displaystyle t = 0}$ wariancją filtra Gaussa i jako granica dla ${\ displaystyle t = 0}$ { staje się $t = {\ displaystyle g$ funkcja impulsu taka, że ${\ Displaystyle L (x, y; 0) = f (x, y)}$ to znaczy reprezentacją w przestrzeni skali $na$ $jest$ obraz . Wraz ze $,$ jest wynikiem wygładzania $w$ coraz większym filtrem, usuwając w ten sposób coraz więcej szczegółów zawartych $.$ Ponieważ odchylenie standardowe filtra wynosi ${\ displaystyle \ sigma = {\ sqrt {t}}}$ $,$ są w dużej mierze usuwane z obrazu przy parametrze skali patrz poniższy rysunek i ilustracje graficzne.

Reprezentacja w przestrzeni skali ${\ Displaystyle L (x, y; t)}$ w skali ${\ displaystyle t = 0}$ , odpowiadająca oryginalnemu obrazowi ${\ displaystyle f}$
${\ Displaystyle L (x, y; t)}$ w skali $1}$ =
${\ Displaystyle L (x, y; t)}$ w skali ${\ displaystyle t = 4$ =
${\ Displaystyle L (x, y; t)}$ w skali ${\ displaystyle t = 16}$
${\ Displaystyle L (x, y; t)}$ w skali ${\ displaystyle t = 64}$
${\ Displaystyle L (x, y; t)}$ w skali ${\ displaystyle t = 256}$

Dlaczego filtr Gaussa?

Stając przed zadaniem wygenerowania reprezentacji wieloskalowej można zadać sobie pytanie: czy do wygenerowania przestrzeni skali można użyć dowolnego filtru g typu dolnoprzepustowego, którego parametr t określa jego szerokość? Odpowiedź brzmi nie, ponieważ niezwykle ważne jest, aby filtr wygładzający nie wprowadzał nowych fałszywych struktur w skalach zgrubnych, które nie odpowiadają uproszczeniom odpowiednich struktur w skalach drobniejszych. W literaturze dotyczącej przestrzeni skali wyrażono wiele różnych sposobów sformułowania tego kryterium w precyzyjnych terminach matematycznych.

Wniosek z kilku różnych aksjomatycznych wyprowadzeń, które zostały przedstawione, jest taki, że przestrzeń skali Gaussa stanowi kanoniczny sposób generowania przestrzeni skali liniowej, oparty na podstawowym wymaganiu, aby nie tworzyć nowych struktur przy przechodzeniu od drobnej skali do jakiejkolwiek mniejszej skali . Warunki, określane jako aksjomaty przestrzeni skali , które zostały użyte do wyprowadzenia wyjątkowości jądra Gaussa, obejmują liniowość , niezmienność przesunięcia , strukturę półgrupową , brak wzmocnienia ekstremów lokalnych , niezmienniczość skali i niezmienniczość rotacji . W pracach krytykowano wyjątkowość argumentów opartych na niezmienniczości skali i zaproponowano alternatywne samopodobne jądra skali-przestrzeni. Jądro Gaussa jest jednak wyjątkowym wyborem zgodnie z aksjomatyką skali-przestrzeni opartą na przyczynowości lub braku wzmocnienia lokalnych ekstremów.

Alternatywna definicja

Równoważnie rodzinę skali w przestrzeni można zdefiniować jako rozwiązanie równania dyfuzji ( na przykład w kategoriach równania ciepła ),

{\ Displaystyle \ częściowe _ {t} L = {\ Frac {1} {2}} \ nabla ^ {2} L,}

z warunkiem początkowym ${\ Displaystyle L (x, y; 0) = f (x, y)}$ . Takie sformułowanie reprezentacji przestrzennej skali L oznacza, że możliwe jest zinterpretowanie wartości intensywności obrazu f jako „rozkładu temperatury” na płaszczyźnie obrazu oraz że proces, który generuje reprezentację przestrzenną skali jako funkcję t odpowiada do dyfuzji ciepła w płaszczyźnie obrazu w czasie t (zakładając przewodność cieplną materiału równą dowolnie wybranej stałej ½). Chociaż to powiązanie może wydawać się powierzchowne dla czytelnika nie zaznajomionego z równaniami różniczkowymi , to rzeczywiście jest tak, że główne sformułowanie w przestrzeni skali dotyczące niewzmacniania ekstremów lokalnych jest wyrażone w postaci warunku znaku na pochodnych cząstkowych w 2 Objętość +1-D generowana przez przestrzeń skali, a więc w ramach równań różniczkowych cząstkowych . Ponadto szczegółowa analiza przypadku dyskretnego pokazuje, że równanie dyfuzji zapewnia jednoczące powiązanie między ciągłymi i dyskretnymi przestrzeniami skali, co również uogólnia do nieliniowych przestrzeni skali, na przykład za pomocą dyfuzji anizotropowej . Stąd można powiedzieć, że podstawowym sposobem generowania przestrzeni skali jest równanie dyfuzji i że jądro Gaussa powstaje jako funkcja Greena tego konkretnego równania różniczkowego cząstkowego.

Motywacje

Motywacja do generowania reprezentacji skali w przestrzeni danego zestawu danych wywodzi się z podstawowej obserwacji, że obiekty świata rzeczywistego składają się z różnych struktur w różnych skalach . Oznacza to, że obiekty świata rzeczywistego, w przeciwieństwie do wyidealizowanych bytów matematycznych, takich jak punkty czy linie , mogą wyglądać na różne sposoby w zależności od skali obserwacji. Na przykład koncepcja „drzewa” jest odpowiednia w skali metrów, podczas gdy koncepcje takie jak liście i cząsteczki są bardziej odpowiednie w mniejszych skalach. Do wizji komputerowej systemu analizującego nieznaną scenę, nie ma sposobu, aby wiedzieć a priori, jakie skale są odpowiednie do opisu interesujących struktur w danych obrazu. Dlatego jedynym rozsądnym podejściem jest rozważenie opisów w wielu skalach, aby móc uchwycić nieznane zmiany skali, które mogą wystąpić. Doprowadzona do granic możliwości, reprezentacja w przestrzeni skali uwzględnia reprezentacje we wszystkich skalach.

Inna motywacja do koncepcji skali-przestrzeni wywodzi się z procesu wykonywania fizycznego pomiaru na rzeczywistych danych. Aby wydobyć jakiekolwiek informacje z procesu pomiarowego, należy zastosować do danych operatory o wielkości nieskończenie małej . W wielu gałęziach informatyki i matematyki stosowanej wielkość operatora pomiaru jest pomijana w teoretycznym modelowaniu problemu. Z drugiej strony teoria przestrzeni skali wyraźnie uwzględnia potrzebę nieskończenie małych rozmiarów operatorów obrazu jako integralnej części każdego pomiaru, jak również każdej innej operacji, która zależy od pomiaru w świecie rzeczywistym.

Istnieje ścisły związek między teorią skali-przestrzeni a wizją biologiczną. Wiele operacji w przestrzeni skali wykazuje wysoki stopień podobieństwa z profilami pól receptywnych zarejestrowanymi z siatkówki ssaków i pierwszych stadiów w korze wzrokowej. Pod tym względem ramy skalowo-przestrzenne można postrzegać jako dobrze uzasadniony teoretycznie paradygmat wczesnego widzenia, który dodatkowo został dokładnie przetestowany za pomocą algorytmów i eksperymentów.

Pochodne Gaussa

W dowolnej skali w przestrzeni skali możemy zastosować lokalne operatory pochodne do reprezentacji w przestrzeni skali:

{\ Displaystyle L_ {x ^ {m} y ^ {n}} (x, y; t) = \ lewo (\ częściowe _ {x ^ {m} y ^ {n}} L \ prawo) (x, y ;T).}

Ze względu na właściwość przemienności między operatorem pochodnym a operatorem wygładzania Gaussa, takie pochodne skali w przestrzeni można równoważnie obliczyć, splatając oryginalny obraz z operatorami pochodnymi Gaussa. Z tego powodu są one często określane jako pochodne Gaussa :

{\ Displaystyle L_ {x ^ {m} y ^ {n}} (\ cdot, \ cdot; t) = \ częściowe _ {x ^ {m} y ^ {n}} g (\ cdot, \ cdot; \ ,t)*f(\cdot ,\cdot ).}

Wyjątkowość operatorów pochodnych Gaussa jako operacji lokalnych wywodzących się z reprezentacji w przestrzeni skali można uzyskać za pomocą podobnych wyprowadzeń aksjomatycznych, które są używane do wyprowadzenia wyjątkowości jądra Gaussa do wygładzania w przestrzeni skali.

Wizualny przód

Te operatory pochodne Gaussa można z kolei łączyć za pomocą operatorów liniowych lub nieliniowych w większą różnorodność różnych typów detektorów cech, które w wielu przypadkach można dobrze modelować za pomocą geometrii różniczkowej . W szczególności niezmienność (lub bardziej odpowiednio kowariancja ) do lokalnych transformacji geometrycznych, takich jak obroty lub lokalne transformacje afiniczne, można uzyskać, biorąc pod uwagę niezmienniki różniczkowe w odpowiedniej klasie transformacji lub alternatywnie, normalizując operatory pochodne Gaussa do lokalnie określonego układu współrzędnych określonego na podstawie np. preferowanej orientacji na obrazie domeny lub przez zastosowanie preferowanej lokalnej transformacji afinicznej do lokalnej łatki obrazu ( więcej informacji znajduje się w artykule na temat adaptacji kształtu afinicznego ).

Kiedy operatory pochodne Gaussa i niezmienniki różniczkowe są używane w ten sposób jako podstawowe detektory cech w wielu skalach, niezatwierdzone pierwsze etapy przetwarzania wizualnego są często określane jako wizualny front-end . Te ogólne ramy zostały zastosowane do wielu różnych problemów w wizji komputerowej, w tym wykrywania cech , klasyfikacji cech , segmentacji obrazu , dopasowywania obrazu , szacowania ruchu , obliczania wskazówek kształtu i rozpoznawania obiektów . Zbiór operatorów pochodnych Gaussa do pewnego rzędu jest często określany jako N-jet i stanowi podstawowy typ cech w ramach przestrzeni skali.

Przykłady detektorów

Zgodnie z ideą wyrażania operacji wizualnych w kategoriach niezmienników różniczkowych obliczonych w wielu skalach za pomocą operatorów pochodnych Gaussa, możemy wyrazić detektor krawędzi ze zbioru punktów, które spełniają wymaganie, że wielkość gradientu

{\ Displaystyle L_ {v} = {\ sqrt {L_ {x} ^ {2} + L_ {y} ^ {2}}}}

należy przyjąć lokalne maksimum w kierunku gradientu

{\ Displaystyle \ nabla L = (L_ {x}, L_ {y}) ^ {T}.}

Opracowując geometrię różniczkową, można wykazać, że ten różnicowy detektor krawędzi można równoważnie wyrazić na podstawie przejść przez zero niezmiennika różniczkowego drugiego rzędu

{\ Displaystyle {\ tylda {L}} _ {v} ^ {2} = L_ {x }^{2}\,L_{xx}+2\,L_{x}\,L_{y}\,L_{xy}+L_{y}^{2}\,L_{yy}=0}

które spełniają następujący warunek znaku na niezmienniku różniczkowym trzeciego rzędu:

{\ Displaystyle {\ tylda {L}} _ {v} ^ {3} = L_ {x} ^ {3} \, L_ {xxx} + 3 \, L_ {x} ^ {2} \, L_ {y }\,L_{xxy}+3\,L_{x}\,L_{y}^{2}\,L_{xyy}+L_{y}^{3}\,L_{yyy}<0.}

Podobnie, wieloskalowe detektory plamek w dowolnej ustalonej skali można uzyskać z lokalnych maksimów i lokalnych minimów albo operatora Laplaca (nazywanego również Laplacianem Gaussa )

{\ Displaystyle \ nabla ^ {2} L = L_ {xx} + L_ {yy} \,}

lub wyznacznik macierzy Hessego

{\ Displaystyle \ nazwa operatora {det} HL (x, y; t) = (L_ {xx} L_ {yy} -L_ {xy} ^ {2}).}

W analogiczny sposób detektory narożne oraz detektory grzbietów i dolin można wyrazić jako lokalne maksima, minima lub przejścia przez zero wieloskalowych niezmienników różniczkowych zdefiniowanych na podstawie pochodnych Gaussa. Wyrażenia algebraiczne dla operatorów wykrywania narożników i grzbietów są jednak nieco bardziej złożone, a czytelnika odsyła się do artykułów na temat wykrywania narożników i wykrywania grzbietów w celu uzyskania dalszych szczegółów.

Operacje skali w przestrzeni były również często używane do wyrażania metod od zgrubnej do dokładnej, w szczególności do zadań takich jak dopasowywanie obrazu i wieloskalowa segmentacja obrazu .

Wybór skali

Przedstawiona do tej pory teoria opisuje dobrze ugruntowaną strukturę reprezentacji struktur obrazu w wielu skalach. W wielu przypadkach konieczne jest jednak również wybranie odpowiednich lokalnie skal do dalszej analizy. Ta potrzeba wyboru skali wynika z dwóch głównych powodów; (i) obiekty świata rzeczywistego mogą mieć różne rozmiary, a rozmiar ten może być nieznany systemowi wizyjnemu, oraz (ii) odległość między obiektem a kamerą może się różnić, a ta informacja o odległości może być również nieznana a priori . Wysoce użyteczną właściwością reprezentacji w przestrzeni skali jest to, że reprezentacje obrazu mogą być niezmienne względem skal, wykonując automatyczny wybór skali lokalnej na podstawie lokalnych maksimów (lub minimów ) na skalach pochodnych znormalizowanych pod względem skali

{\ Displaystyle L _ {\ xi ^ {m} \ eta ^ {n }}(x,y;t)=t^{(m+n)\gamma /2}L_{x^{m}y^{n}}(x,y;t)}

gdzie $cechy$ obrazu To wyrażenie algebraiczne dla operatorów pochodnych Gaussa znormalizowanych w skali wywodzi się z wprowadzenia ${\ displaystyle \ gamma}$ -znormalizowanych pochodnych zgodnie z

{\ Displaystyle \ częściowe _ {\ xi} = t ^ {\ gamma / 2} \ częściowe _ {x} \ quad}

i

{\ Displaystyle \ quad \ częściowe _ {\ eta} = t ^ {\ gamma / 2} \ częściowe _ {y}.}

Teoretycznie można wykazać, że moduł selekcji skali działający zgodnie z tą zasadą będzie spełniał następującą właściwość kowariancji skali : jeśli dla pewnego typu cechy obrazu zakłada się lokalne maksimum na pewnym obrazie w określonej skali ${\ displaystyle t_ { 0}}$ , to przy przeskalowaniu obrazu o współczynnik skali $skalami$ w przeskalowanym obrazie zostanie przekształcone na poziom skali ${\ displaystyle s ^ {2} t_ { 0}}$ .

Skaluj niezmienne wykrywanie cech

Postępując zgodnie z tym podejściem do pochodnych znormalizowanych gamma, można wykazać, że różne typy detektorów cech adaptacyjnych i niezmiennych w skali można wyrazić dla zadań takich jak wykrywanie kropel , wykrywanie narożników , wykrywanie grzbietów , wykrywanie krawędzi i czasoprzestrzenne wykrywanie punktów procentowych (zobacz konkretne artykuły na te tematy, aby uzyskać szczegółowe opisy sposobu formułowania tych detektorów cech niezmiennych w skali). Ponadto, poziomy skali uzyskane z automatycznego wyboru skali można wykorzystać do określenia obszarów zainteresowania dla późniejszej afinicznej adaptacji kształtu w celu uzyskania afinicznych niezmiennych punktów zainteresowania lub do określenia poziomów skali do obliczenia powiązanych deskryptorów obrazu , takich jak lokalnie dostosowane do skali N-dżety .

Niedawne prace wykazały, że w ten sposób można również wykonywać bardziej złożone operacje, takie jak rozpoznawanie obiektów niezmiennych w skali , poprzez obliczanie lokalnych deskryptorów obrazu (N-dżetów lub lokalnych histogramów kierunków gradientu) w dostosowanych do skali punktach procentowych uzyskanych ze skali- ekstrema przestrzenne znormalizowanego operatora Laplace'a (zob. także transformacja cech niezmienniczych skali ) lub wyznacznik Hessego (zob. także SURF ); zobacz także artykuł Scholarpedia na temat transformacji funkcji niezmiennej w skali dla bardziej ogólnego spojrzenia na podejścia do rozpoznawania obiektów oparte na odpowiedziach pola receptywnego w kategoriach operatorów pochodnych Gaussa lub ich przybliżeń.

Powiązane reprezentacje wieloskalowe

Piramida obrazu to dyskretna reprezentacja, w której przestrzeń skali jest próbkowana zarówno w przestrzeni, jak iw skali. W przypadku niezmienności skali współczynniki skali powinny być próbkowane wykładniczo, na przykład jako potęgi całkowite 2 lub $\sqrt 2$ . Przy prawidłowej konstrukcji stosunek częstotliwości próbkowania w przestrzeni i skali jest stały, dzięki czemu odpowiedź impulsowa jest identyczna na wszystkich poziomach piramidy. Istnieją szybkie algorytmy O (N) do obliczania piramidy obrazu niezmiennej w skali, w której obraz lub sygnał jest wielokrotnie wygładzany, a następnie podpróbkowany. Wartości odstępu między skalami między próbkami piramidy można łatwo oszacować za pomocą interpolacji wewnątrz i między skalami, co pozwala na oszacowanie skali i pozycji z dokładnością poniżej rozdzielczości.

W reprezentacji skalowo-przestrzennej istnienie parametru skali ciągłej umożliwia śledzenie przejść przez zero na skalach prowadzących do tzw. struktury głębokiej . W przypadku cech zdefiniowanych jako przejścia przez zero niezmienników różniczkowych , twierdzenie o funkcji uwikłanej bezpośrednio definiuje trajektorie w skalach, a w tych skalach, w których występują bifurkacje , lokalne zachowanie można modelować za pomocą teorii osobliwości .

Rozszerzenia liniowej teorii skali-przestrzeni dotyczą formułowania nieliniowych koncepcji skali-przestrzeni, bardziej ukierunkowanych na określone cele. Te nieliniowe przestrzenie skali często zaczynają się od równoważnego sformułowania dyfuzji koncepcji skali-przestrzeni, która jest następnie rozszerzana w sposób nieliniowy. W ten sposób sformułowano dużą liczbę równań ewolucji, motywowanych różnymi specyficznymi wymaganiami (więcej informacji można znaleźć w wyżej wymienionych odnośnikach do książek). Należy jednak zauważyć, że nie wszystkie z tych nieliniowych przestrzeni skali spełniają podobne „ładne” wymagania teoretyczne, jak koncepcja liniowej przestrzeni skali Gaussa. W związku z tym czasami mogą wystąpić nieoczekiwane artefakty i należy bardzo uważać, aby nie używać terminu „przestrzeń skali” dla dowolnego typu jednoparametrowej rodziny obrazów.

Rozszerzenie pierwszego rzędu izotropowej przestrzeni skali Gaussa zapewnia przestrzeń skali afinicznej (Gaussa) . Jedna z motywacji dla tego rozszerzenia wynika z powszechnej potrzeby obliczania deskryptorów obrazu dla obiektów świata rzeczywistego, które są oglądane pod perspektywicznym modelem kamery. Aby lokalnie obsłużyć takie nieliniowe deformacje, można uzyskać częściową niezmienniczość (lub dokładniej kowariancję ) lokalnych deformacji afinicznych , biorąc pod uwagę afiniczne jądra Gaussa z ich kształtami określonymi przez lokalną strukturę obrazu, patrz artykuł na temat afinicznej adaptacji kształtu dla teorii i algorytmów. Rzeczywiście, tę przestrzeń skali afinicznej można również wyrazić na podstawie nieizotropowego rozszerzenia liniowego (izotropowego) równania dyfuzji, pozostając nadal w klasie liniowych równań różniczkowych cząstkowych .

Istnieje bardziej ogólne rozszerzenie gaussowskiego modelu przestrzeni skali na przestrzenie skali afinicznej i czasoprzestrzennej. Oprócz zmienności w skali, do obsługi której została zaprojektowana pierwotna teoria przestrzeni skali, ta uogólniona teoria przestrzeni skali obejmuje również inne rodzaje zmienności powodowane przez transformacje geometryczne w procesie tworzenia obrazu, w tym zmiany kierunku patrzenia przybliżone przez lokalne transformacje afiniczne i względne ruchy między obiektami na świecie a obserwatorem, aproksymowane lokalnymi transformacjami Galileusza . Ta uogólniona teoria skali-przestrzeni prowadzi do przewidywań dotyczących profili pól receptywnych w dobrej zgodności jakościowej z profilami pól receptywnych mierzonymi przez zapisy komórek w widzeniu biologicznym.

Istnieją silne związki między teorią skali-przestrzeni a teorią falek , chociaż te dwa pojęcia wieloskalowej reprezentacji zostały opracowane z nieco innych przesłanek. Prowadzono również prace nad innymi podejściami wieloskalowymi , takimi jak piramidy i różne inne jądra, które nie wykorzystują ani nie wymagają tych samych wymagań, co prawdziwe opisy przestrzeni skali.

Związki z biologicznym wzrokiem i słuchem

Interesujące są relacje między reprezentacją skali w przestrzeni a biologicznym widzeniem i słyszeniem. Neurofizjologiczne badania widzenia biologicznego wykazały, że w siatkówce i korze wzrokowej ssaków istnieją profile pól receptywnych , które można dobrze modelować za pomocą liniowych operatorów pochodnych Gaussa, w niektórych przypadkach również uzupełnionych nieizotropowym afinicznym modelem skali-przestrzeni, spatio -czasowy model skali-przestrzeni i/lub nieliniowe kombinacje takich operatorów liniowych.

Jeśli chodzi o słuch biologiczny, istnieją profile pól recepcyjnych we wzgórku dolnym i pierwotnej korze słuchowej , które można dobrze modelować za pomocą widmowo-czasowych pól recepcyjnych, które można dobrze modelować za pomocą pochodnych Gaussa na częstotliwościach logarytmicznych i okienkowanych transformat Fouriera w czasie, przy czym funkcje okna to czasowe jądra przestrzeni skali.

Przestrzeń do głębokiego uczenia i skalowania

W obszarze klasycznej wizji komputerowej teoria skali i przestrzeni ugruntowała się jako ramy teoretyczne dla wczesnego widzenia, a pochodne Gaussa stanowią model kanoniczny dla pierwszej warstwy pól receptywnych. Wraz z wprowadzeniem głębokiego uczenia się , pracowano również nad wykorzystaniem pochodnych Gaussa lub jąder Gaussa jako ogólnej podstawy pól receptywnych w głębokich sieciach. Wykorzystując właściwości transformacji pochodnych Gaussa i jąder Gaussa w ramach transformacji skalowania, można w ten sposób uzyskać kowariancję / równoważność skali i niezmienniczość skali głębokiej sieci, aby obsłużyć struktury obrazu w różnych skalach w teoretycznie dobrze uzasadniony sposób. Opracowano również podejścia do uzyskiwania kowariancji / równoważności skali i niezmienności skali za pomocą wyuczonych filtrów połączonych z wieloma kanałami skali. W szczególności, używając pojęć kowariancji/równoważności skali i niezmienności skali, możliwe jest, aby głębokie sieci działały niezawodnie w skalach nieobjętych danymi treningowymi, umożliwiając w ten sposób uogólnienie skali.

Czasowo-przyczynowa przestrzeń skali czasowej

Do przetwarzania wcześniej nagranych sygnałów czasowych lub wideo jądro Gaussa może być również używane do wygładzania i tłumienia drobnych struktur w domenie czasowej, ponieważ dane są wstępnie rejestrowane i dostępne we wszystkich kierunkach. Podczas przetwarzania sygnałów czasowych lub wideo w czasie rzeczywistym jądro Gaussa nie może być jednak używane do wygładzania czasowego, ponieważ miałoby dostęp do danych z przyszłości, które oczywiście nie mogą być dostępne. Do wygładzania czasowego w sytuacjach czasu rzeczywistego można zamiast tego użyć jądra czasowego określanego jako jądro przyczynowo-skutkowe, które ma podobne właściwości w sytuacji przyczynowo-czasowej (nietworzenie nowych struktur w kierunku rosnącej skali i kowariancji skali czasowej ) jak jądro Gaussa jest posłuszne w przypadku nie-przyczynowym. Jądro granicy czasowo-przyczynowej odpowiada splotowi z nieskończoną liczbą obciętych jąder wykładniczych połączonych kaskadowo, ze specjalnie dobranymi stałymi czasowymi w celu uzyskania kowariancji skali czasowej. W przypadku danych dyskretnych jądro to można często dobrze przybliżyć liczbowo za pomocą małego zestawu filtrów rekurencyjnych pierwszego rzędu połączonych kaskadowo, patrz dalsze szczegóły.

Aby zapoznać się z wcześniejszym podejściem do obsługi skal czasowych w sposób przyczynowo-skutkowy, poprzez wykonanie wygładzania Gaussa na logarytmicznie przekształconej osi czasowej, jednak bez żadnej znanej implementacji rekurencyjnej czasowo-rekurencyjnej wydajnej pod względem pamięci, jak ma jądro limitu przyczynowo-skutkowego, zob.

Kwestie implementacji

Przy wdrażaniu wygładzania w przestrzeni skali w praktyce istnieje wiele różnych podejść, które można zastosować w zakresie ciągłego lub dyskretnego wygładzania Gaussa, implementacji w domenie Fouriera, w kategoriach piramid opartych na filtrach dwumianowych, które przybliżają Gaussa lub przy użyciu filtrów rekurencyjnych . Więcej szczegółów na ten temat znajduje się w osobnym artykule na temat implementacji przestrzeni skali .

Zobacz też

Dalsza lektura

Lindeberg, Tony (2008). „Skala-przestrzeń” . W Benjamin Wah (red.). Encyklopedia Informatyki i Inżynierii . Tom. IV. John Wiley i synowie. s. 2495–2504. doi : 10.1002/9780470050118.ecse609 . ISBN 978-0470050118 .
Lindeberg, Tony: Teoria przestrzeni skali: podstawowe narzędzie do analizy struktur w różnych skalach, w J. of Applied Statistics, 21 (2), s. 224–270, 1994. (dłuższy samouczek pdf na temat skali przestrzeni )
Lindeberg, Tony: Scale-space: Framework do obsługi struktur obrazu w wielu skalach, Proc. Szkoła Informatyki CERN, 96(8): 27-38, 1996.
Romeny, Bart ter Haar: Wprowadzenie do teorii skali i przestrzeni: wieloskalowa analiza obrazu geometrycznego, samouczek VBC '96, Hamburg, Niemcy, czwarta międzynarodowa konferencja na temat wizualizacji w komputerach biomedycznych.
Florack, Luc, Romeny, Bart ter Haar, Viergever, Max i Koenderink, Jan: Przestrzeń skali liniowej, Journal of Mathematical Imaging and Vision, tom 4: 325–351, 1994.
Lindeberg, Tony, „Principles for automatic scale selection”, W: B. Jähne (i in., red.), Handbook on Computer Vision and Applications, tom 2, s. 239–274, Academic Press, Boston, USA, 1999. (samouczek dotyczący podejść do automatycznego wyboru skali)
Lindeberg, Tony: „Teoria skali i przestrzeni” W: Encyklopedia matematyki ( Michiel Hazewinkel , red.) Kluwer, 1997.
Kopia zapasowa archiwum internetowego: Wykład na temat skali-przestrzeni na Uniwersytecie Massachusetts (pdf)

Linki zewnętrzne

Powers of ten interaktywny samouczek Java na stronie internetowej Molecular Expressions
Ohzawa, Izumi. „Przestrzeń-czasowe pola receptywne neuronów wzrokowych” . Uniwersytet w Osace. Zarchiwizowane od oryginału w dniu 18 lutego 2006 r.
kodu MATLAB na licencji BSD z podejściem skali-przestrzeni