Przechwytywanie wolumetryczne
Przechwytywanie wolumetryczne lub wideo wolumetryczne to technika, która przechwytuje trójwymiarową przestrzeń, taką jak lokalizacja lub wydajność. Ten rodzaj wolumografii pozyskuje dane, które można przeglądać na płaskich ekranach, a także za pomocą wyświetlaczy 3D i gogli VR . Istnieje wiele formatów przeznaczonych dla konsumentów, a wymagane przechwytywania ruchu opierają się na grafice komputerowej , fotogrametrii i innych metodach obliczeniowych. Widz na ogół doświadcza wyniku w czasie rzeczywistym silnika i ma bezpośredni wkład w eksplorację generowanego wolumenu.
Historia
Nagrywanie talentu bez ograniczeń płaskiego ekranu było od dawna przedstawiane w science-fiction . Hologramy i realistyczne wizualizacje 3D od lat odgrywają ważną rolę w Gwiezdnych wojnach , Łowcy androidów i wielu innych produkcjach science-fiction. Dzięki rosnącemu postępowi w dziedzinie grafiki komputerowej, optyki i przetwarzania danych ta fikcja powoli przekształciła się w rzeczywistość. Wideo wolumetryczne to logiczny następny krok po filmach stereoskopowych i filmach 360°, ponieważ łączy wizualną jakość fotografii z immersją i interaktywność przestrzennych treści i może okazać się najważniejszym osiągnięciem w rejestrowaniu ludzkich działań od czasu powstania współczesnego kina. Pierwszy raport rynku wolumetrycznego wideo ukazał się w maju 2018 r., a pierwsza internetowa publikacja poświęcona wideo wolumetrycznemu została wydana w listopadzie 2019 r. – „ Volumetryczne wiadomości wideo ”.
Grafika komputerowa i VFX
Tworzenie modeli 3D z wideo, fotografii i innych sposobów mierzenia świata zawsze było ważnym tematem w grafice komputerowej . Ostatecznym celem jest naśladowanie rzeczywistości w najdrobniejszych szczegółach, dając twórcom moc budowania światów na tym fundamencie, aby pasowały do ich wizji. Tradycyjnie artyści tworzą te światy za pomocą technik modelowania i renderowania rozwijanych przez dziesięciolecia od narodzin grafiki komputerowej. Efekty wizualne w filmach i grach wideo utorowały drogę postępowi w fotogrametrii , urządzenia skanujące i zaplecze obliczeniowe do obsługi danych otrzymanych z tych nowych intensywnych metod. Ogólnie rzecz biorąc, te postępy są wynikiem tworzenia bardziej zaawansowanych wizualizacji dla rozrywki i mediów, ale nie były celem samej dziedziny.
LIDAR
LIDAR opisuje metodę pomiarową, która wykorzystuje gęsto upakowane punkty próbkowane laserowo do skanowania obiektów statycznych do chmury punktów. Wymaga to fizycznych skanerów i generuje ogromne ilości danych. W 2007 roku zespół Radiohead wykorzystał ją szeroko do stworzenia teledysku do „House of Cards”, rejestrując występy w chmurze punktów twarzy piosenkarza i wybranych środowisk w jednym z pierwszych zastosowań tej technologii do przechwytywania wolumetrycznego. Reżyser James Frost współpracował z artystą medialnym Aaronem Koblinem aby przechwycić chmury punktów 3D użyte w tym klipie muzycznym, i chociaż ostatecznym wynikiem tej pracy była nadal wyrenderowana płaska reprezentacja danych, uchwycenie i sposób myślenia autorów już wyprzedził swoje czasy. Chmury punktów , będące odrębnymi próbkami trójwymiarowej przestrzeni z pozycją i kolorem, tworzą bardzo wierną reprezentację świata rzeczywistego z ogromną ilością danych. Jednak przeglądanie tych danych w czasie rzeczywistym nie było jeszcze możliwe.
Światło strukturalne
W 2010 roku Microsoft wprowadził na rynek Kinect , produkt konsumencki, który wykorzystywał światło strukturalne w widmie podczerwieni do generowania siatki 3D ze swojej kamery. Chociaż intencją było ułatwienie i wprowadzanie innowacji w wprowadzaniu danych przez użytkowników i rozgrywce, zostało ono bardzo szybko zaadaptowane jako ogólne urządzenie do przechwytywania danych 3D w społeczności przechwytywania wolumetrycznego. Projektując znany wzór na przestrzeń i przechwytując zniekształcenie przez obiekty w scenie, przechwycony wynik można następnie obliczyć na różnych wyjściach. Artyści i hobbyści zaczęli tworzyć narzędzia i projekty wokół przystępnych cenowo urządzeń, wywołując rosnące zainteresowanie przechwytywaniem wolumetrycznym jako kreatywnym medium.
Badacze z firmy Microsoft skonstruowali następnie cały etap przechwytywania przy użyciu wielu kamer, urządzeń Kinect i algorytmów, które wygenerowały pełne przechwytywanie wolumetryczne na podstawie połączonych informacji optycznych i informacji o głębokości. To jest teraz Microsoft Mixed Reality Capture Studio , używane dzisiaj zarówno w ramach ich działu badawczego, jak i w niektórych wybranych doświadczeniach komercyjnych, takich jak Blade Runner 2049 Doświadczenie VR. Obecnie działają trzy studia: Redmond, WA; San Francisco, Kalifornia; i Londyn, Anglia. Chociaż jest to bardzo interesująca konfiguracja dla rynku high-end, przystępna cena pojedynczego urządzenia Kinect skłoniła bardziej eksperymentalnych artystów i niezależnych reżyserów do aktywizacji w dziedzinie przechwytywania wolumetrycznego. Dwa wyniki tego działania to Depthkit i EF EVE™ . EF EVE™ obsługuje nieograniczoną liczbę czujników Azure Kinect na jednym komputerze, zapewniając pełne przechwytywanie objętościowe i łatwą konfigurację. Posiada również automatyczną kalibrację czujników i funkcjonalność VFX. Depthkit to pakiet oprogramowania, który umożliwia przechwytywanie danych geometrii za pomocą jednego czujnika światła strukturalnego, w tym Azure Kinect, a także wysokiej jakości szczegółów kolorów z dołączonej kamery-świadka.
Fotogrametria
Fotogrametria opisuje proces pomiaru danych na podstawie fotograficznego odniesienia. Chociaż fotografia jest tak stara jak sama fotografia, dopiero dzięki wieloletnim postępom w badaniach przechwytywania wolumetrycznego możliwe stało się uchwycenie coraz większej liczby szczegółów geometrii i tekstury z dużej liczby obrazów wejściowych. Wynik jest zwykle dzielony na dwa złożone źródła, geometrię statyczną i przechwytywanie pełnej wydajności. W przypadku geometrii statycznej zestawy przechwytywane z dużą liczbą nakładających się obrazów cyfrowych są następnie wyrównywane względem siebie przy użyciu podobnych cech na obrazach i wykorzystywane jako podstawa do triangulacji i oszacowanie głębokości. Informacje te są interpretowane jako geometria 3D , co daje niemal idealną replikę zestawu. Jednak przechwytywanie pełnej wydajności wykorzystuje szereg kamer wideo do przechwytywania informacji w czasie rzeczywistym. Te zsynchronizowane kamery są następnie wykorzystywane klatka po klatce do generowania zestawu punktów lub geometrii, które można odtwarzać z dużą szybkością, co skutkuje przechwytywaniem pełnej wydajności wolumetrycznej, którą można połączyć z dowolnym środowiskiem. W 2008 roku firma 4DViews zainstalowała pierwszy wolumetryczny system przechwytywania wideo w studiu DigiCast w Tokio (JP). Później w 2015 roku, 8i wnieśli swój wkład w tę dziedzinę, a ostatnio Intel, Microsoft i Samsung przyłączyli się, tworząc własne etapy przechwytywania do rejestrowania wydajności i fotogrametrii.
Wirtualna rzeczywistość
Gdy wideo wolumetryczne rozwinęło się w komercyjne podejście do rejestrowania środowiska i wydajności, możliwość poruszania się po wynikach z sześcioma stopniami swobody i prawdziwa stereoskopia wymagały nowego typu urządzenia wyświetlającego. Wraz z pojawieniem się konsumenckiej rzeczywistości wirtualnej w 2016 roku za pośrednictwem urządzeń takich jak Oculus Rift i HTC Vive nagle stało się to możliwe. Oglądanie stereoskopowe oraz możliwość obracania i poruszania głową, a także poruszania się na małej przestrzeni, pozwala zanurzyć się w środowiskach daleko wykraczających poza to, co było możliwe w przeszłości. Fotograficzny charakter ujęć w połączeniu z tym zanurzeniem i wynikającą z tego interaktywnością jest o krok bliżej do bycia świętym Graalem prawdziwej wirtualnej rzeczywistości. Wraz ze wzrostem zawartości wideo 360° popyt na 6-DOF rośnie, a VR w szczególności napędza aplikacje dla tej technologii, powoli łącząc kino, gry i sztukę z dziedziną badań przechwytywania wolumetrycznego.
Lekkie pola
Pola świetlne opisują w danym punkcie próbki światło padające ze wszystkich kierunków. Jest to następnie wykorzystywane w przetwarzaniu końcowym do generowania efektów, takich jak głębia ostrości , a także umożliwia użytkownikowi lekkie poruszanie głową. Od 2006 roku Lytro tworzy skierowane do konsumentów kamery umożliwiające rejestrację pól świetlnych. Pola można uchwycić w aparacie na lewą stronę lub na zewnątrz z renderowania geometrii 3D, reprezentujących ogromną ilość informacji gotowych do manipulacji. Obecnie szybkości przesyłania danych są nadal dużym problemem, a technika ta ma duży potencjał na przyszłość, ponieważ pobiera próbki światła i wyświetla wynik na różne sposoby.
Innym produktem ubocznym tej techniki jest dość dokładna mapa głębi sceny. Oznacza to, że każdy piksel ma informację o swojej odległości od kamery. Facebook wykorzystuje ten pomysł w swojej rodzinie kamer Surround360 do rejestrowania materiału wideo 360°, który jest łączony za pomocą map odległości. Wyodrębnienie tych surowych danych jest możliwe i umożliwia przechwytywanie dowolnego etapu w wysokiej rozdzielczości. Szybkość transmisji danych w połączeniu z wiernością map głębi stanowią ogromne wąskie gardła, które wkrótce zostaną pokonane dzięki bardziej zaawansowanym technikom szacowania głębokości, kompresji, a także parametrycznym polom świetlnym.
Przepływy pracy
Obecnie dostępne są różne przepływy pracy do generowania wideo wolumetrycznego. Nie wykluczają się one wzajemnie i są skutecznie stosowane w kombinacjach. Oto kilka przykładów pokazujących kilka z nich:
Oparte na siatce
Takie podejście generuje bardziej tradycyjną siatkę trójkątów 3D , podobną do geometrii używanej w grach komputerowych i efektach wizualnych. Ilość danych jest zwykle mniejsza, ale kwantyzacja rzeczywistych danych do danych o niższej rozdzielczości ogranicza rozdzielczość i wierność wizualną. Zazwyczaj dokonuje się kompromisów między gęstością siatki a końcową wydajnością.
Fotogrametria jest zwykle używana jako podstawa dla siatek statycznych, a następnie jest uzupełniana o rejestrację talentów za pomocą tej samej podstawowej technologii, co wideogrametria . Do stworzenia ostatecznego zestawu trójkątów wymagane jest intensywne czyszczenie. Aby wyjść poza świat fizyczny, można zastosować techniki CG w celu dalszego ulepszenia przechwyconych danych, zatrudniając artystów do budowania na siatce statycznej iw razie potrzeby. Odtwarzanie jest zwykle obsługiwane przez silnik czasu rzeczywistego i przypomina implementację tradycyjnego potoku gry, umożliwiając interaktywne zmiany oświetlenia oraz kreatywne i nadające się do archiwizacji sposoby łączenia statycznych i animowanych siatek.
Oparte na punktach
Ostatnio centrum uwagi przesunęło się w kierunku punktowego przechwytywania wolumetrycznego. Uzyskane dane są reprezentowane jako punkty lub cząstki w przestrzeni 3D, niosące ze sobą atrybuty, takie jak kolor i rozmiar punktu. Pozwala to na większą gęstość informacji i zawartość w wyższej rozdzielczości. Wymagane szybkości transmisji danych są duże, a obecny sprzęt graficzny nie jest zoptymalizowany do renderowania tego, jest zoptymalizowany do potoku renderowania opartego na siatce.
Główną zaletą punktów jest możliwość uzyskania wyższej rozdzielczości przestrzennej. Punkty mogą być rozproszone na siatkach trójkątów z wcześniej obliczonym oświetleniem lub użyte bezpośrednio ze skanera LIDAR. Wydajność talentów jest rejestrowana w taki sam sposób, jak w przypadku podejścia opartego na siatce, ale w czasie produkcji można wykorzystać więcej czasu i mocy obliczeniowej w celu dalszej poprawy danych. Podczas odtwarzania można wykorzystać „poziom szczegółowości” do zarządzania obciążeniem obliczeniowym urządzenia odtwarzającego, zwiększając lub zmniejszając liczbę wielokątów. Interaktywne zmiany oświetlenia są trudniejsze do zrealizowania, ponieważ większość danych jest wstępnie upieczona. Oznacza to, że chociaż informacje o oświetleniu przechowywane w punktach są bardzo dokładne i wierne, brakuje im możliwości łatwej zmiany w dowolnej sytuacji. Kolejną zaletą przechwytywania punktów jest to, że grafika komputerowa może być renderowana z bardzo wysoką jakością, a także przechowywana jako punkty, otwierając drzwi do idealnego połączenia rzeczywistych i wyimaginowanych elementów.
Po przechwyceniu i wygenerowaniu danych, edycja i kompozycja odbywa się w silniku czasu rzeczywistego, łącząc zarejestrowane działania w celu opowiedzenia zamierzonej historii. Produkt końcowy można następnie oglądać jako płaskie renderowanie przechwyconych danych lub interaktywnie w goglach VR .
Podczas gdy jednym z celów punktowego podejścia do przechwytywania wolumetrycznego jest przesyłanie strumieniowe danych punktowych z chmury do użytkownika w domu, umożliwiając tworzenie i rozpowszechnianie realistycznych wirtualnych światów na żądanie – drugim celem, który niedawno rozważano, byłoby rzeczywiste- strumień danych czasu wydarzeń na żywo. Wymaga to bardzo dużej przepustowości, ponieważ informacje o pikselach obejmują dane dotyczące głębi (tj. stają się wokselami)
Obietnice
Mając na uwadze ogólne zrozumienie technologii, w tym rozdziale opisano postępy na horyzoncie dla rozrywki i innych branż, a także potencjał, jaki ta technologia ma do zmiany krajobrazu medialnego.
Prawdziwe zanurzenie
W miarę jak wolumetryczne wideo ewoluuje w globalne przechwytywanie, a sprzęt wyświetlający ewoluuje, by do niego pasować, wkroczymy w erę prawdziwego zanurzenia, w którym niuanse uchwyconego środowiska w połączeniu z niuansami uchwyconych występów przekażą emocje w zupełnie nowym medium, zacierając granice między rzeczywistymi i wirtualnych światów. To przełomowe osiągnięcie w świecie sztuczek sensorycznych zapoczątkuje ewolucję sposobu, w jaki konsumujemy media, podczas gdy technologie dla innych zmysłów, takich jak węch, węch i propriocepcja są wciąż w fazie badań i rozwoju, pewnego dnia w nie tak odległej przyszłości udamy się w przekonujący sposób do nowych miejsc, zarówno rzeczywistych, jak i wyobrażonych. Branże w turystyce i dziennikarstwie odnajdą nowe życie w możliwości bezpiecznego transportu widza lub gościa do miejsca, podczas gdy inne, takie jak wizualizacja architektoniczna i inżynieria lądowa, znajdą sposoby budowania całych struktur i miast oraz eksploracji ich bez potrzeby pojedyncze uderzenie młotkiem.
Pełne przechwytywanie i ponowne wykorzystanie
Po utworzeniu i zapisaniu przechwytywania można go ponownie wykorzystać, a nawet zmienić przeznaczenie do znudzenia w okolicznościach wykraczających poza początkowo przewidywany zakres. Stworzenie wirtualnego planu umożliwia kamerzystom i operatorom filmowym tworzenie historii i planowanie ujęć bez pomocy ekipy filmowej, a nawet obecność na planie fizycznym, a odpowiednia wizualizacja może pomóc aktorowi lub performerowi zaciemnić scenę lub akcję z komfortem że ich praktyka nie odbywa się kosztem reszty produkcji. Stare zestawy można uchwycić cyfrowo, zanim zostaną zburzone, co pozwoli im trwać wiecznie jako miejsce do ponownego odwiedzania i odkrywania w celu rozrywki i inspiracji, a wiele zestawów można przerobić w taki sposób, aby zacieśnić pętle iteracji scenografii, dźwięku projektowanie, kolorowanie i wiele innych aspektów produkcji.
Tradycyjne zestawy umiejętności
Jednym z obszarów niepokoju związanym z rosnącą dziedziną przechwytywania wolumetrycznego jest kurczenie się zapotrzebowania na tradycyjne zestawy umiejętności, takie jak modelowanie, oświetlenie, animacja itp. Jednak podczas gdy w przyszłości stos technologii przechwytywania wolumetrycznego zorientowanych na produkcję będzie się rósł i rósł, podobnie będzie zapotrzebowanie na tradycyjne zestawy umiejętności. [ potrzebne źródło ]
Przechwytywanie wolumetryczne doskonale sprawdza się przy przechwytywaniu danych statycznych lub wstępnie wyrenderowanych animowanych materiałów filmowych. Nie może jednak tworzyć wyimaginowanego środowiska ani natywnie pozwalać na jakikolwiek poziom interaktywności. To tam najbardziej poszukiwani będą wykwalifikowani artyści i programiści, tworzący bezproblemowe interaktywne wydarzenia i zasoby w celu uzupełnienia istniejących danych geometrii lub wykorzystujący istniejące dane jako podstawę do budowania, podobnie jak malarz cyfrowy może malować podstawowe Renderowania 3D. Na rzemieślniku będzie spoczywać obowiązek upewnienia się, że nadąża za narzędziami i przepływami pracy, które najlepiej odpowiadają jego umiejętnościom, ale rozważny odkryje, że linia produkcyjna przyszłości będzie wiązać się z wieloma możliwościami usprawnienia tworzenia pracochłonnych i umożliwiających do inwestycji w większe kreatywne wyzwania.
Co najważniejsze, umiejętności, które obecnie są na wpół przestarzałe dzięki postępowi w grafice komputerowej i renderowaniu offline, ponownie staną się istotne, ponieważ wierność rzeczy, takich jak prawdziwe, ręcznie wykonane zestawy, wysokiej jakości dopasowane kostiumy renderowane jako przechwytywanie dużej ilości zdjęć, prawie zawsze będzie o wiele bardziej wciągające niż cokolwiek całkowicie CG. Łącząc te realistyczne przechwytywanie scenografii z wolumetrycznymi przechwytywaniami dodatkowych elementów grafiki komputerowej, będziemy w stanie połączyć rzeczywistość z naszą wyobraźnią w sposób, który wcześniej byliśmy w stanie zrobić tylko na płaskim ekranie, tworząc nowe pola w obszarach takich jak Compositing i VFX.
Wyzwania
Proces pozyskiwania i tworzenia danych wolumetrycznych jest pełen wyzwań i nierozwiązanych problemów. Jest to kolejny krok w kinematografii i wiąże się z problemami, które z czasem zostaną usunięte.
Język wizualny
Ponieważ każde medium tworzy swój własny język wizualny, zasady i kreatywne podejścia, wideo wolumetryczne jest wciąż w powijakach. Można to porównać do dodania dźwięku do ruchomych obrazów. Należało stworzyć i przetestować nowe filozofie projektowania. Obecnie język filmu, sztuka reżyserowania, jest zahartowana w boju od ponad 100 lat. W całkowicie sześciu stopniach swobody, interaktywnym i nieliniowym świecie wiele tradycyjnych podejść nie może funkcjonować. Im więcej doświadczeń jest tworzonych i analizowanych, tym szybciej społeczność może dojść do wniosku na temat tego języka doświadczeń.
Zakłócenie rurociągu
Obecne potoki i produkcje wideo i filmowe nie są gotowe, aby po prostu przejść na wolumetryczność. Każdy krok w procesie tworzenia filmu musi zostać przemyślany i wymyślony na nowo. Przechwytywanie na planie, kierowanie talentami na planie, edycja, fotografia, opowiadanie historii i wiele innych dziedzin, które muszą poświęcić czas na dostosowanie się do wolumetrycznych przepływów pracy. Obecnie każda produkcja wykorzystuje różnorodne technologie, a także wypróbowuje zasady zaangażowania.
Szybkości transmisji danych
Aby przechowywać i odtwarzać przechwycone dane, ogromne zestawy muszą być przesyłane strumieniowo do konsumenta. Obecnie najskuteczniejszym sposobem jest tworzenie aplikacji na zamówienie, które są dostarczane. Nie ma jeszcze standardu, który generowałby wideo wolumetryczne i umożliwiałby oglądanie go w domu. Kompresja tych danych zaczyna być dostępna w Moving Picture Experts Group w poszukiwaniu rozsądnego sposobu przesyłania strumieniowego danych. To sprawiłoby, że prawdziwie interaktywne i wciągające projekty byłyby dostępne do dystrybucji i bardziej efektywnej pracy nad nimi i muszą zostać rozwiązane, zanim medium stanie się głównym nurtem.
Przyszłe zastosowania
Oprócz zastosowania w rozrywce, kilka innych branż jest żywotnie zainteresowanych przechwytywaniem scen z opisanymi powyżej szczegółami. Wydarzenia sportowe odniosłyby duże korzyści ze szczegółowej powtórki stanu gry. To już się dzieje w futbolu amerykańskim i baseballu, a także w brytyjskiej piłce nożnej. Te powtórki 360° pozwolą widzom w przyszłości analizować mecz z wielu perspektyw.
Dokumentowanie przestrzeni wydarzeń historycznych, uchwyconych na żywo lub odtworzonych, przyniesie ogromne korzyści sektorowi edukacyjnemu. Wirtualne wykłady przedstawiające wielkie wydarzenia historyczne z elementem immersyjnym pomogą przyszłym pokoleniom wyobrazić sobie przestrzenie i wspólnie uczyć się o wydarzeniach. Można to wyabstrahować i wykorzystać do wizualizacji scenariuszy w skali mikro na poziomie komórkowym, a także epickich wydarzeń, które zmieniły przebieg eksperymentu na ludziach. Główną zaletą wirtualnych wycieczek terenowych jest demokratyzacja wysokiej klasy scenariuszy edukacyjnych. Możliwość wzięcia udziału w zwiedzaniu muzeum bez konieczności fizycznej obecności w nim umożliwia szerszemu gronu odbiorców, a także umożliwia instytucjom pokazanie całego inwentarza, a nie aktualnie eksponowanego podrozdziału.
Nieruchomości i turystyka mogą dokładnie wyświetlać miejsca docelowe i sprawić, że branża detaliczna będzie bardziej dostosowana do indywidualnych potrzeb. Przechwytywanie produktów zostało już wykonane w przypadku butów, aw sklepach można użyć magicznych luster, aby to zwizualizować. Centra handlowe zaczęły to wykorzystywać, aby ponownie je zaludnić, przyciągając klientów za pomocą pasaży VR, a także wirtualnie prezentując towary.
Lista wniesionych doświadczeń
- House of Cards, Radiohead, Teledysk
- Carne Y Arena, Alejandro G. Inarritu, wystawa sztuki LACMA
- Blade Runner 2049: Memory Lab, VR Experience (nakręcony w Microsoft Mixed Reality Capture Studio, Redmond, WA)
- William Patrick Corgan: Aeronaut, VR Experience i teledysk (nakręcony w Microsoft Mixed Reality Capture Studio, Redmond, WA)
- Awake: Episode One , Start VR & Animal Logic, Interactive Cinematic VR (nagrane w Microsoft Mixed Reality Capture Studio, Redmond, WA)
| Pola |
|
||||||||
|---|---|---|---|---|---|---|---|---|---|
