Niezbędna matryca

W wizji komputerowej $odpowiednie$ macierzą jest macierz , która łączy punkty w $,$ stereo , że kamery spełniają model kamery otworkowej

Funkcjonować

Dokładniej, jeśli $displaystyle \ mathbf {y}}$$y$ jednorodnymi znormalizowanymi współrzędnymi obrazu odpowiednio na obrazie 1 i 2, to \

${\ Displaystyle (\ mathbf {y} ') ^ {\ wierzchołek} \, \ mathbf {E} \, \ mathbf {y} = 0}$

jeśli $na$ odpowiadają temu samemu punktowi $3D$

Powyższa relacja definiująca macierz esencjalną została opublikowana w 1981 roku przez H. Christophera Longueta-Higginsa , wprowadzając tę ​​koncepcję do społeczności zajmującej się wizją komputerową. Książka Richarda Hartleya i Andrew Zissermana donosi, że analogiczna matryca pojawiła się w fotogrametrii na długo przedtem. Artykuł Longueta-Higginsa zawiera algorytm szacowania $współrzędnych$ obrazu, a także algorytm określania względnego położenia i orientacji dwóch kamer, biorąc pod uwagę, że $\mathbf {E} }$${\ displaystyle \$ jest znany. Na koniec pokazuje, w jaki sposób można określić współrzędne 3D punktów obrazu za pomocą podstawowej macierzy.

Używać

macierz można postrzegać $.$ prekursor macierzy podstawowej Obie macierze mogą być używane do ustalania ograniczeń między pasującymi punktami obrazu, ale podstawowa macierz może być używana tylko w odniesieniu do skalibrowanych kamer, ponieważ wewnętrzne parametry kamery (macierze i K {\ displaystyle \ mathbf {K}} $K$ ′ $displaystyle \ mathbf {K} '}$ ) musi być znany, aby osiągnąć normalizację. Jeśli jednak kamery są skalibrowane, podstawowa macierz może być użyteczna do określenia zarówno względnego położenia i orientacji między kamerami, jak i położenia 3D odpowiednich punktów obrazu. Podstawowa macierz jest powiązana z podstawową macierzą za pomocą

${\ Displaystyle \ mathbf {E} = ({\ mathbf {K} '}) ^ {\ wierzchołek} \; \ mathbf {F} \; \ mathbf {K}.}$

Wyprowadzenie i definicja

To wyprowadzenie jest zgodne z artykułem Longueta-Higginsa.

Dwie znormalizowane kamery wyświetlają świat 3D na odpowiednich płaszczyznach obrazu. Niech współrzędne 3D punktu P. będą ${\ Displaystyle (x_ {1}, x_ {2}, x_ {3})}$ i $w stosunku$ kamery. Ponieważ kamery są znormalizowane, odpowiednie współrzędne obrazu są

${\ Displaystyle {\ rozpocząć {pmatrix} y_ {1} \\ y_ {2} \ koniec {pmatrix}} = {\ Frac {1} {x_ {3}}}{\begin{pmacierz}x_{1}\\x_{2}\end{pmacierz}}}$ i ${\ Displaystyle {\ rozpocząć {pmatrix} y'_ {1} \\ y'_ {2} \ koniec {pmatrix}} = {\ Frac {1} {x'_ {3}}} {\ rozpocząć {pmatrix }x'_{1}\\x'_{2}\end{pmatrix}}}$

Jednorodna reprezentacja dwóch współrzędnych obrazu jest następnie dana przez

${\ Displaystyle {\ rozpocząć {pmatrix} y_ {1} \\ y_ {2} \\ 1 \ koniec {pmatrix}} = {\ frac {1}{x_{3}}}{\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}}$ i ${\ Displaystyle {\ rozpocząć {pmatrix} y'_ {1} \\ y'_ {2} \\1 \ koniec {pmatrix}} = { \frac {1}{x'_{3}}}{\begin{pmatrix}x'_{1}\\x'_{2}\\x'_{3}\end{pmatrix}}}$

co również można zapisać bardziej zwięźle jako

${\ Displaystyle \ mathbf {y} = {\ Frac {1} {x_ {3}}} \ {\ tylda {\ mathbf {x}}}}$ i ${\ Displaystyle \ mathbf {y} '= {\ Frac {1} {x'_ {3}}} \, {\ tylda {\ mathbf {x}}}'}$

gdzie ${ \ tylda {\ mathbf$$}}}$ jednorodnymi reprezentacjami współrzędnych obrazu 2D i ${\ Displaystyle$ } i $.$ ale w dwóch różnych układach

Inną konsekwencją znormalizowanych kamer jest to, że ich odpowiednie układy współrzędnych są powiązane za pomocą translacji i obrotu. Oznacza to, że dwa zestawy współrzędnych 3D są powiązane jako

${\ Displaystyle {\ tylda {\ mathbf {x}}} '= \ mathbf {R} \, ({\ tylda {\ mathbf {x}}} - \ mathbf { T} )}$

gdzie jest $.$$jest$ trójwymiarowym $_$ _

Podstawowa macierz jest wtedy definiowana jako:

${\ Displaystyle \ mathbf {E} = \ mathbf {R} \, [\ mathbf {t}] _ {\ razy}}$

gdzie $.$ macierzową reprezentacją iloczynu krzyżowego ${\ Displaystyle \ mathbf$ } } Uwaga: Tutaj przekształcenie ${\ Displaystyle [\ mathbf {R} ^ {T} | \ mathbf {t} ]}$ przekształci punkty w 2.

Dla definicji interesują nas tylko orientacje znormalizowanych współrzędnych obrazu (Zobacz też: $Produkt$ ) . W związku z tym nie potrzebujemy komponentu translacyjnego podczas zastępowania współrzędnych obrazu w podstawowym równaniu. Aby zobaczyć, że ta definicja $.$ ograniczenie dotyczące odpowiednich współrzędnych obrazu, pomnóż $od$ lewej i prawej strony przez współrzędne 3D punktu P dwóch różnych współrzędnych systemy:

${\ Displaystyle {\ tylda {\ mathbf { x} }}'^{T}\,\mathbf {E} \,{\tylda {\mathbf {x}}}\,{\stackrel {(1)}{=}}\,{\tylda {\ mathbf {x} }}^{T}\,\mathbf {R} ^{T}\,\mathbf {R} \,[\mathbf {t} ]_{\razy}\,{\tylda {\mathbf {x} }}\,{\stackrel {(2)}{=}}\,{\tylda {\mathbf {x}}}^{T}\,[\mathbf {t}]_{\razy} \,{\tylda {\mathbf {x}}}\,{\stackrel {(3)}{=}}\,0}$

1. Wstaw powyższe relacje między ${\ Displaystyle {\ tylda {\ mathbf {x}}} '}$ i ${\ Displaystyle {\ tylda {\ mathbf {x}}}}$ a definicją mi $\ displaystyle \mathbf {E}}$ w kategoriach ${\ Displaystyle \ mathbf {R}}$ i ${\ Displaystyle \ mathbf {t}}$ .
2. ${\ Displaystyle \ mathbf {R} ^ {T} \, \ mathbf {R} = \ mathbf {I}},$ ponieważ ${\ Displaystyle \ mathbf {R}}$ jest macierzą rotacji.
3. Własności reprezentacji macierzowej iloczynu krzyżowego .

Na koniec można założyć, że oba i x $displaystyle$${3}} są > 0, w$ razie nie są widoczne w obu aparatach. To daje

${\ Displaystyle 0 = ({\ tylda {\ mathbf {x} }}')^{T}\,\mathbf {E} \,{\tylda {\mathbf {x} }}={\frac {1}{x'_{3}}}({\tylda {\ mathbf {x} }}')^{T}\,\mathbf {E} \,{\frac {1}{x_{3}}}{\tylda {\mathbf {x} }}=(\mathbf { y} ')^{T}\,\mathbf {E} \,\mathbf {y} }$

czyli ograniczenie, które definiuje podstawowa macierz między odpowiednimi punktami obrazu.

Nieruchomości

Nie każda dowolna $.$ dla niektórych kamer stereo Aby zobaczyć tę uwagę, należy zauważyć, że jest ona zdefiniowana jako iloczyn macierzowy jednej macierzy rotacji i jednej macierzy skośno-symetrycznej , obie ${\ Displaystyle 3 \ razy 3}$ . Macierz skośno-symetryczna musi mieć dwie wartości osobliwe , które są równe, i jedną, która jest zerowa. Mnożenie macierzy rotacji nie zmienia wartości osobliwych, co oznacza, że ​​również macierz esencjalna ma dwie wartości osobliwe, które są równe, i jedną, która jest równa zeru. Opisane tutaj właściwości są czasami określane jako wewnętrzne ograniczenia podstawowej macierzy.

Jeśli podstawowa macierz $co$$pomnożona$ przez niezerowy skalar, wynikiem jest ponownie podstawowa macierz, która definiuje dokładnie to samo ograniczenie, . Oznacza to, że można postrzegać jako element przestrzeni rzutowej $,$ to znaczy dwie takie macierze są uważane za równoważne, jeśli jedna jest niezerowym skalarnym pomnożeniem drugiej Jest to odpowiednia pozycja, na przykład, jeśli $.$ szacowana na podstawie danych obrazu Jednak możliwe jest również przyjęcie stanowiska, że ​​jest zdefiniowany jako ${\ displaystyle \ mathbf {E}}$

${\ Displaystyle \ mathbf {E} = [\ mathbf {\ widetilde {t}}] _ {\ razy} \ \ mathbf {R}}$

gdzie ${\ Displaystyle \ mathbf {\ widetilde {t}} = - \ mathbf {R} \ mathbf {t}}$ , a następnie ma dobrze zdefiniowany $= - R t {\ Displaystyle \ mathbf {\ widetilde {t}}}$ "skalowanie". To zależy od aplikacji, która pozycja jest bardziej odpowiednia.

Ograniczenia można również wyrazić jako

${\ Displaystyle \ det \ mathbf {E} = 0}$

I

$\ Displaystyle 2 \ mathbf {E} \ mathbf {E} ^ {T} \ mathbf {E} - \ operatorname {tr} (\ mathbf { E} \mathbf {E} ^{T})\mathbf {E} =0.}$

Tutaj ostatnie równanie jest ograniczeniem macierzowym, które można postrzegać jako 9 ograniczeń, po jednym dla każdego elementu macierzy. Więzy te są często używane do określania podstawowej macierzy na podstawie pięciu odpowiednich par punktów.

Podstawowa matryca ma pięć lub sześć stopni swobody, w zależności od tego, czy jest postrzegana jako element rzutowy. Macierz rotacji $po$$.$ translacji mają trzy stopnie swobody, w sumie sześć Jeśli jednak esencjalna macierz jest traktowana jako element rzutowy, należy odjąć jeden stopień swobody związany z mnożeniem przez skalar, pozostawiając w sumie pięć stopni swobody.

Oszacowanie

Mając zestaw odpowiednich punktów obrazu, można oszacować podstawową macierz, która spełnia definiujące ograniczenie epipolarne dla wszystkich punktów w zestawie. Jeśli jednak punkty obrazu podlegają szumowi, co jest częstym przypadkiem w każdej praktycznej sytuacji, nie jest możliwe znalezienie istotnej macierzy, która dokładnie spełnia wszystkie ograniczenia.

W zależności od tego, jak mierzony jest błąd związany z każdym ograniczeniem, możliwe jest wyznaczenie lub oszacowanie istotnej macierzy, która optymalnie spełnia ograniczenia dla danego zestawu odpowiednich punktów obrazu. Najprostszym podejściem jest utworzenie najmniejszych kwadratów , powszechnie znanego jako algorytm ośmiopunktowy .

Ekstrakcja rotacji i translacji

Biorąc pod uwagę, że podstawowa macierz została określona dla pary kamer stereo - na przykład przy użyciu powyższej metody szacowania - informacje te można wykorzystać do określenia również obrotu i translacji $} displaystyle \mathbf {t} }$$\ displaystyle \ mathbf {R}$ (do skalowania) między układami współrzędnych dwóch kamer. W tych wyprowadzeniach $rzutowy,$ a nie mający dobrze określoną skalę.

Znalezienie jednego rozwiązania

Poniższa metoda określania $i$$SVD$ się wykonaniu , $książka$ Hartleya i Zissermana . Możliwe jest również określenie i $.$ SVD, na przykład zgodnie z artykułem Longueta $-$

Daje SVD z ${\ displaystyle \ mathbf {E}}$

${\ Displaystyle \ mathbf {E} = \ mathbf {U} \, \ mathbf {\ Sigma} \, \ mathbf {V} ^ {T}}$

gdzie $Displaystyle \ mathbf {U}}$ \ $Displaystyle$$są$ macierzami ortogonalnymi U $mathbf {U}}$${\ Displaystyle 3 \ razy 3}$ przekątna macierz z

${\ Displaystyle \ mathbf {\ Sigma} = {\ rozpocząć {pmatrix} s & 0 i 0 \\ 0 i s & 0 \\ 0 i 0 i 0 \ koniec {pmatrix}}}$

Wpisy ukośne są wartościami osobliwymi , które zgodnie z wewnętrznymi ograniczeniami podstawowej macierzy muszą składać się z dwóch identycznych i jednego zera $\ displaystyle \ mathbf {\$$Sigma}}$ wartość. Definiować

${\ Displaystyle \ mathbf {W} = {\ rozpocząć {pmatrix} 0 i -1 i 0 \\ 1 i 0 i 0 \\ 0 i 0 i 1 \ koniec {pmatrix}}}$ z ${\ Displaystyle \ mathbf {W} ^ {- 1} = \ mathbf {W} ^ {T} = {\ rozpocząć {pmatrix} 0 i 1 i 0 \\ - 1 i 0 i 0 \\ 0 i 0 i 1 \ koniec {pmatrix}}}$

i zrób następujący ansatz

${\ Displaystyle [\ mathbf {t}] _ {\ razy} = \ mathbf {U} \, \ mathbf {W} \, \ mathbf {\ Sigma} \, \ mathbf {U} ^ {T}}$

${\ Displaystyle \ mathbf {R} = \ mathbf {U} \, \ mathbf {W} ^ {- 1} \, \ mathbf {V} ^ {T}}$

Ponieważ może nie spełniać całkowicie ograniczeń w przypadku danych ze świata rzeczywistego (np. Obrazy z kamery) $alternatywa$

${\ Displaystyle [\ mathbf {t}] _ {\ razy} = \ mathbf {U} \, \ mathbf {Z} \, \ mathbf {U} ^ {T}}$ z ${\ Displaystyle \ mathbf {Z} = {\ rozpocząć {pmatrix} 0 i 1 i 0 \\ -1 i 0 i 0 \\ 0 i 0 i 0 \ koniec {pmatrix}}}$

może pomóc.

Dowód

Po pierwsze, te wyrażenia dla i ${t}] _ {\ razy}}$$mathbf$ spełniają równanie definiujące podstawową macierz R {\ displaystyle \ mathbf {R}

${\ Displaystyle [\ mathbf {t}] _ {\ razy} \ \ mathbf {R} = \ mathbf { U} \,\mathbf {W} \,\mathbf {\Sigma} \,\mathbf {U} ^{T}\mathbf {U} \,\mathbf {W} ^{-1}\,\mathbf { V} ^{T}\,=\mathbf {U} \,\mathbf {\Sigma} \,\mathbf {V} ^{T}=\mathbf {E}}$

Po drugie, należy pokazać, że to $jest$ reprezentacją iloczynu krzyżowego dla pewnego $t}}$ . Od

$_$

jest tak, że $mathbf {W} \ ,\mathbf {\Sigma} )^{T}=-\mathbf {W} \,\mathbf {\Sigma}}$ skośno-symetryczny, tj. $-$ . Dotyczy to również naszego , ponieważ ${\ displaystyle [\ mathbf {t}] _ {\ razy}}$

${\ Displaystyle ([\ mathbf {t}] _ {\ razy}) ^ {T} =\mathbf {U} \,(\mathbf {W} \,\mathbf {\Sigma} )^{T}\,\mathbf {U} ^{T}=-\mathbf {U} \,\mathbf { W} \,\mathbf {\Sigma} \,\mathbf {U} ^{T}=-[\mathbf {t} ]_{\razy}}$

Zgodnie z ogólnymi właściwościami reprezentacji macierzowej iloczynu krzyżowego $wynika$ zatem, że musi być operatorem iloczynu krzyżowego dokładnie jednego wektora $\ mathbf {t}] _ {\ razy}}$$styl wyświetlania \mathbf {t} }$ .

Po trzecie, należy również wykazać, że powyższe wyrażenie dla $jest$ rotacji. Jest to iloczyn trzech macierzy, z których wszystkie są ortogonalne, co oznacza , że ​​również jest ortogonalna lub $mathbf {R}} \pm 1}$$)$ . Aby być właściwą macierzą rotacji, musi również spełniać ${\ Displaystyle \ det (\ mathbf {R}) = 1}$ . Ponieważ w tym przypadku $jest postrzegany jako element rzutowy, można to osiągnąć przez$ znaku, $jeśli$ konieczne.

Znalezienie wszystkich rozwiązań

Jak dotąd ustalono jedno możliwe rozwiązanie dla i ${\ displaystyle \ mathbf {$$}}, biorąc pod uwagę, że$ R {\ displaystyle \ mathbf { $}}$ Nie jest to jednak jedyne możliwe rozwiązanie i może nawet nie być rozwiązaniem prawidłowym z praktycznego punktu widzenia. $niezdefiniowane$ pierwsze, ponieważ skalowanie $niezdefiniowane$ , skalowanie jest również . Od tego czasu $musi$ w przestrzeni zerowej

${\ Displaystyle \ mathbf {E} \, \ mathbf {t} = \ mathbf {R} \, [\ mathbf {t}] _ {\ razy} \, \ mathbf { t} =\mathbf {0} }$

Jednak dla późniejszej analizy rozwiązań dokładne skalowanie $jest$ tak ważne, jak jego „znak”, tj. W jakim kierunku wskazuje. Niech będzie wektorem znormalizowanym w przestrzeni zerowej $\ mathbf {t}}} }$${\ displaystyle {\ hat {$ . Jest więc tak, że zarówno ${\ Displaystyle {\ kapelusz {\ mathbf {t}}}},$ jak i ${\ Displaystyle - {\ kapelusz {\ mathbf {t}}}}$ są poprawnymi wektorami translacji względnymi ${\ Displaystyle \ mathbf {E}}$ . Możliwa $W$ również zmiana w i ${\ displaystyle \ mathbf {t}}$$.$ W ${\ Displaystyle \ mathbf$ powyżej. Dla wektora translacji powoduje to jedynie zmianę znaku, co zostało już opisane jako możliwość. Z drugiej strony w przypadku rotacji spowoduje to inną transformację, przynajmniej w ogólnym przypadku.

Podsumowując, biorąc pod uwagę, $że$ istnieją dwa przeciwne kierunki, które są możliwe dla $,$ które są zgodne z tą podstawową matrycą. W sumie daje to cztery klasy rozwiązań dla obrotu i translacji między dwoma układami współrzędnych kamery. Ponadto istnieje również nieznane skalowanie $dla$ kierunku tłumaczenia

Okazuje się jednak, że tylko jedna z czterech klas rozwiązań może być zrealizowana w praktyce. Biorąc pod uwagę parę odpowiednich współrzędnych obrazu, trzy rozwiązania zawsze utworzą punkt 3D, który znajduje się za co najmniej jedną z dwóch kamer i dlatego nie można go zobaczyć. Tylko jedna z czterech klas będzie konsekwentnie tworzyć punkty 3D, które znajdują się przed obiema kamerami. To musi być zatem prawidłowe rozwiązanie. Nadal jednak ma nieokreślone dodatnie skalowanie związane ze składową translacji.

$że$ określenie i $,$ ​​spełniają $ograniczenia$ podstawowej macierzy . Jeśli tak nie jest, co na przykład zwykle ma miejsce, jeśli oszacowano na podstawie rzeczywistych (i zaszumionych) danych obrazu, należy założyć, że w przybliżeniu spełnia on wewnętrzne $.$ . Wektor $jest następnie wybierany jako$$.$ wektor liczby pojedynczej wartości osobliwej

Punkty 3D z odpowiednich punktów obrazu

Główny artykuł: Triangulacja (wizja komputerowa)

$obrazu$ obliczania, $displaystyle$ współrzędne i ${\ Displaystyle (y'_ {1}, y'_ {2})}$ , jeśli znana jest podstawowa macierz i określono odpowiednie transformacje rotacji i translacji.

Zobacz też

• Dostosowanie pakietu
• Geometria epipolarna
• Matryca fundamentalna
• Kalibracja kamery geometrycznej
• Triangulacja (widzenie komputerowe)
• Trójogniskowy tensor

Skrzynki narzędziowe

• Niezbędne szacowanie macierzy w MATLAB (Manolis Lourakis).

Linki zewnętrzne

• An Investigation of the Essential Matrix autorstwa RI Hartley

•    David Nister (czerwiec 2004). „Wydajne rozwiązanie pięciopunktowego problemu ułożenia względnego”. Transakcje IEEE dotyczące analizy wzorców i inteligencji maszynowej . 26 (6): 756–777. doi : 10.1109/TPAMI.2004.17 . PMID 18579936 . S2CID 886598 .
•   H. Stewénius i C. Engels i D. Nister (czerwiec 2006). „Najnowsze osiągnięcia w bezpośredniej orientacji względnej”. ISPRS Dziennik fotogrametrii i teledetekcji . 60 (4): 284–294. Bibcode : 2006JPRS...60..284S . CiteSeerX 10.1.1.61.9329 . doi : 10.1016/j.isprsjprs.2006.03.005 .
•   H. Christopher Longuet-Higgins (wrzesień 1981). „Algorytm komputerowy do rekonstrukcji sceny z dwóch projekcji”. Natura . 293 (5828): 133–135. Bibcode : 1981Natur.293..133L . doi : 10.1038/293133a0 . S2CID 4327732 .
•   Richarda Hartleya i Andrew Zissermana (2003). Geometria wielu widoków w wizji komputerowej . Wydawnictwo Uniwersytetu Cambridge. ISBN 978-0-521-54051-3 .
•   Yi Ma; Stefano Soatto ; Jana Košecká ; S. Shankar Sastry (2004). Zaproszenie do trójwymiarowej wizji . Skoczek. ISBN 978-0-387-00893-6 .
•   Gang Xu i Zhengyou Zhang (1996). Geometria epipolarna w rozpoznawaniu stereo, ruchu i obiektów . Wydawnictwa Naukowe Kluwer. ISBN 978-0-7923-4199-4 .
•   Förstner, Wolfgang i Wrobel, Bernhard P. (2016). Fotogrametryczne widzenie komputerowe: statystyka, geometria, orientacja i rekonstrukcja (wyd. 1). Firma wydawnicza Springer, zarejestrowana. ISBN 978-3319115498 . {{ cite book }} : CS1 maint: wiele nazwisk: lista autorów ( link )