Resekcja kamery

Resekcja kamery to proces szacowania parametrów modelu kamery otworkowej zbliżonej do kamery, która wykonała dane zdjęcie lub film; określa, który przychodzący promień światła jest powiązany z każdym pikselem na wynikowym obrazie. Zasadniczo proces określa pozę kamery otworkowej.

Zwykle parametry kamery są reprezentowane w macierzy projekcji 3 × 4 zwanej macierzą kamery . Parametry zewnętrzne określają pozycję kamery (położenie i orientację), podczas gdy parametry wewnętrzne określają format obrazu kamery (ogniskowa, rozmiar piksela i pochodzenie obrazu).

Ten proces jest często nazywany kalibracją kamery geometrycznej lub po prostu kalibracją kamery , chociaż termin ten może również odnosić się do kalibracji kamery fotometrycznej lub ograniczać się tylko do oszacowania parametrów wewnętrznych. Orientacja zewnętrzna i orientacja wewnętrzna odnoszą się do określenia odpowiednio tylko parametrów zewnętrznych i wewnętrznych.

Klasyczna kalibracja kamery wymaga specjalnych obiektów w scenie, co nie jest wymagane w przypadku autokalibracji kamery . Resekcja kamery jest często stosowana w zastosowaniach widzenia stereo , gdzie macierze projekcji kamery dwóch kamer są wykorzystywane do obliczania współrzędnych świata 3D punktu widzianego przez obie kamery.

Sformułowanie

Macierz projekcji kamery pochodzi z wewnętrznych i zewnętrznych parametrów kamery i często jest reprezentowana przez serię transformacji; np. macierz wewnętrznych parametrów kamery, macierz rotacji 3 × 3 i wektor translacji. Macierz projekcji kamery może służyć do kojarzenia punktów w przestrzeni obrazu kamery z lokalizacjami w przestrzeni świata 3D.

Jednorodne współrzędne

W tym kontekście używamy ${\ Displaystyle [u \ v \ 1] ^ {T}}$ do przedstawienia położenia punktu 2D we współrzędnych pikseli i ${\ displaystyle [x_{w}\ y_{w}\ z_{w}\ 1]^{T}}$ służy do reprezentowania pozycji punktu 3D we współrzędnych światowych . W obu przypadkach są one reprezentowane we współrzędnych jednorodnych (tj. mają dodatkowy ostatni składnik, którym na początku jest umownie 1), co jest najczęściej spotykanym zapisem w robotyce i przekształceniach brył sztywnych .

Występ

Odnosząc się do modelu kamery otworkowej , $świata$ kamery jest używana do oznaczenia odwzorowania rzutowego ze współrzędnych na współrzędne pikseli .

${\ Displaystyle z_ {c} {\ rozpocząć {bmatrix} u \\ v \\1\end{bmatrix}}=K\,{\begin{bmatrix}R&T\end{bmatrix}}{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\ 1\end{bmatrix}}=M{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\1\end{bmatrix}}}$

gdzie ${\ Displaystyle M = K \, {\ rozpocząć {bmatrix} R&T \ koniec {bmatrix}}}$ . ${\ displaystyle u, v} zgodnie z$$R$ to współrzędne x i y piksela w aparacie, jest wewnętrzną macierzą, jak opisano poniżej, i $\ Displaystyle R \, T}$ utwórz macierz zewnętrzną, jak opisano poniżej. ${\ Displaystyle x_ {w}, y_ {w}, z_ {w}}$ to współrzędne źródła promienia światła, który pada na czujnik aparatu we współrzędnych światowych względem początku świat. Dzieląc iloczyn macierzowy przez $współrzędną$ z kamery względem początku świata, można znaleźć teoretyczną wartość współrzędnych

Parametry wewnętrzne

${\ Displaystyle K = {\ zaczynać {bmatrix} \ alfa _ {x} i \ gamma & u_ {0} i 0 \\ 0 i \ alfa _ {y} i v_ {0} &0\\0&0&1&0\end{bmacierz}}}$

K $\ displaystyle K}$ zawiera 5 wewnętrznych parametrów określonego modelu aparatu. Parametry te obejmują ogniskową , format przetwornika obrazu i główny punkt aparatu . α ${\ Displaystyle \ alpha _ {x} = f \ cdot m_ {x}}$ i $} reprezentują ogniskową$${\ Displaystyle \ alpha _ {y} = f \ cdot m_$$\ displaystyle m_ {x}}$ w pikselach, gdzie i są odwrotnościami szerokości i wysokości piksela na płaszczyźnie projekcji, a $f$${\ displaystyle f}$ to ogniskowa pod względem odległości. ${\ Displaystyle \ gamma}$ reprezentuje współczynnik skosu między osią x i osią y i często wynosi 0. ${\ displaystyle u_ {0}}$ i ${\ displaystyle v_ {0}}$ reprezentują główny punkt, który byłby znajdować się idealnie na środku obrazu.

Nieliniowe parametry wewnętrzne, takie jak zniekształcenie obiektywu, są również ważne, chociaż nie można ich uwzględnić w liniowym modelu kamery opisanym przez wewnętrzną macierz parametrów. Wiele nowoczesnych algorytmów kalibracji kamer szacuje te wewnętrzne parametry również w postaci nieliniowych technik optymalizacji. Odbywa się to w formie optymalizacji parametrów kamery i zniekształceń w postaci tak zwanej ogólnie regulacji wiązek .

Parametry zewnętrzne

${\ Displaystyle {} {\ rozpocząć {bmatrix} R_ {3 \ razy 3} i T_ {3 \ razy 1} \\ 0_ {1 \ razy 3 }&1\end{bmacierz}}_{4\razy 4}}$

${\ displaystyle R, T}$ to parametry zewnętrzne , które oznaczają transformacje układu współrzędnych ze współrzędnych świata 3D do współrzędnych kamery 3D. Równoważnie parametry zewnętrzne określają położenie środka kamery i kierunek kamery we współrzędnych światowych. ${\ displaystyle T}$ to pozycja początku światowego układu współrzędnych wyrażona we współrzędnych układu współrzędnych wyśrodkowanego na kamerze. ${\ displaystyle T}$ jest często błędnie uważane za położenie kamery. Położenie kamery $}$$}$$_$$)$ (ponieważ jest macierzą rotacji .

Kalibracja kamery jest często stosowana jako wczesny etap widzenia komputerowego .

Kiedy używana jest kamera , światło z otoczenia jest skupiane na płaszczyźnie obrazu i przechwytywane. Proces ten zmniejsza rozmiar danych rejestrowanych przez kamerę z trzech do dwóch (światło ze sceny 3D jest zapisywane na obrazie 2D). Każdy piksel na płaszczyźnie obrazu odpowiada zatem promieniowi światła z oryginalnej sceny.

Algorytmy

Istnieje wiele różnych podejść do obliczania parametrów wewnętrznych i zewnętrznych dla określonej konfiguracji kamery. Najczęstsze z nich to:

1. bezpośredniej transformacji liniowej (DLT).
2. Metoda Zhanga
3. Metoda Tsai
4. Metoda Selby'ego (dla aparatów rentgenowskich)

Metoda Zhanga

Model Zhanga to metoda kalibracji kamery, która wykorzystuje tradycyjne techniki kalibracji (znane punkty kalibracji) oraz techniki autokalibracji (zgodność między punktami kalibracji, gdy znajdują się one w różnych pozycjach). Aby przeprowadzić pełną kalibrację metodą Zhanga, wymagane są co najmniej trzy różne obrazy celu kalibracyjnego/miernika, albo przez przesunięcie miernika, albo przez samą kamerę. Jeśli niektóre parametry wewnętrzne są podane jako dane (ortogonalność obrazu lub współrzędne środka optycznego), liczbę wymaganych obrazów można zmniejszyć do dwóch.

metodą DLT określa się przybliżenie oszacowanej macierzy projekcji między celem kalibracji $obrazu$ płaszczyzną . Następnie stosując techniki autokalibracji uzyskano obraz absolutnej matrycy stożkowej [Link]. Głównym wkładem metody Zhanga jest to, jak wyodrębnić ograniczone wewnętrzne liczby parametrów kalibracji i $i$$displaystyle$$K}$ T $\ displaystyle T}$ z $}$ ułożenie celu kalibracji.

Pochodzenie

$pi$ że mamy homografię , która odwzorowuje punkty na „płaszczyźnie sondy” na punkty $}$$}$${$ na obrazie.

Okrągłe punkty ${\ Displaystyle I, J = {\ rozpocząć {bmatrix} 1 & \ pm j & 0 \ koniec {bmatrix}} ^ {\ operatorname {T}}} leżą zarówno na naszej$ sondzie płaszczyzna ${\ Displaystyle \ pi}$ i na absolutnym stożku ${\ Displaystyle \ Omega _ {\ infty}}$ . Leżenie na ${\ Displaystyle \ Omega _ {\ infty}}$ oczywiście oznacza, że ​​​​są one również rzutowane na obraz stożka absolutnego (IAC) ${\ Displaystyle \ omega}$ , a więc ${\ displaystyle x_ {1} ^ {T} \ omega x_ {1} = 0}$ i ${\ Displaystyle x_ {2} ^ {T} \ omega x_ {2} = 0}$ . Okrągłe punkty rzutują jako

${\ Displaystyle {\ rozpocząć {wyrównane} x_ {1} & = {\ textbf {H}} I = {\ rozpocząć {bmatrix} h_ {1} & h_ {2} & h_ {3} \ koniec {bmatrix}}} \begin{bmatrix}1\\j\\0\end{bmatrix}}=h_{1}+jh_{2}\\x_{2}&={\textbf {H}}J={\begin{bmatrix }h_{1}&h_{2}&h_{3}\end{bmatrix}}{\begin{bmatrix}1\\-j\\0\end{bmatrix}}=h_{1}-jh_{2}\ koniec {wyrównany}}}$ .

$\ displaystyle x_ {2}}$ możemy zignorować, nasze nowe wyrażenie w następujący sposób: ${$

${\ Displaystyle {\ rozpocząć {wyrównane} x_ {1} ^ {T} \ omega x_ {1} i = \ lewo (h_ {1} + jh_ {2} \right)^{T}\omega \left(h_{1}+jh_{2}\right)\\&=\left(h_{1}^{T}+jh_{2}^{T}\right )\omega \left(h_{1}+jh_{2}\right)\\&=h_{1}^{T}\omega h_{1}+j\left(h_{2}^{T}\ omega h_{2}\right)\\&=0\end{wyrównane}}}$

Algorytm Tsai

Jest to algorytm 2-etapowy, obliczający pozę (orientacja 3D oraz translacja osi x i y) w pierwszym etapie. W drugim etapie oblicza ogniskową, współczynniki dystorsji i translację osi Z.

Metoda Selby'ego (dla aparatów rentgenowskich)

Metoda kalibracji kamer firmy Selby dotyczy automatycznej kalibracji systemów kamer rentgenowskich. Systemy kamer rentgenowskich, składające się z lampy generującej promieniowanie rentgenowskie i detektora półprzewodnikowego, można modelować jako systemy kamer otworkowych, zawierające 9 wewnętrznych i zewnętrznych parametrów kamery. Rejestracja oparta na intensywności oparta na dowolnym zdjęciu rentgenowskim i modelu referencyjnym (jako zbiór danych tomograficznych) może być następnie wykorzystana do określenia względnych parametrów kamery bez potrzeby stosowania specjalnego korpusu kalibracyjnego lub jakichkolwiek danych rzeczywistych.

Zobacz też

• Szacowanie pozycji 3D
• Rozszerzona Rzeczywistość
• Rozszerzona wirtualność
• Algorytm ośmiopunktowy
• Rzeczywistość mieszana
• Model kamery otworkowej
• Perspektywa-n-punkt
• Wymierny współczynnik wielomianu

Linki zewnętrzne

• Kalibracja aparatu Zhanga i oprogramowanie kalibracyjne Tsai na licencji LGPL
• Metoda kalibracji aparatu Zhanga z oprogramowaniem
• C++ Camera Calibration Toolbox z kodem źródłowym
• Zestaw narzędzi do kalibracji kamery dla Matlaba
• Zestaw narzędzi do kalibracji kamer DLR CalDe i DLR CalLab
• Kalibracja aparatu — wykład o rozszerzonej rzeczywistości na TU Muenchen, Niemcy
• Kalibracja aparatu (za pomocą ARToolKit )
• Czteroetapowa procedura kalibracji aparatu z niejawną korekcją obrazu
• mrcal: zestaw narzędzi do kalibracji o wysokiej wierności z dokładną propagacją niepewności