Przeglądanie wideo

Przeglądanie wideo , znane również jako eksploracyjne wyszukiwanie wideo , to interaktywny proces przeglądania treści wideo w celu zaspokojenia pewnych potrzeb informacyjnych lub interaktywnego sprawdzenia, czy treść wideo jest odpowiednia. Chociaż pierwotnie proponowano, aby pomóc użytkownikom w ocenie pojedynczego filmu za pomocą wizualnych miniatur, nowoczesne narzędzia do przeglądania wideo umożliwiają użytkownikom szybkie znajdowanie pożądanych informacji w archiwum wideo poprzez iteracyjną interakcję człowiek-komputer poprzez wyszukiwanie eksploracyjne zbliżać się. Wiele z tych narzędzi zakłada inteligentnego użytkownika, który chce funkcji interaktywnej kontroli treści wideo, a także funkcji automatycznego filtrowania treści. W tym celu zwykle udostępnianych jest kilka funkcji interakcji wideo, takich jak zaawansowana nawigacja w wideo lub wyszukiwanie za pomocą zapytania opartego na treści . Narzędzia do przeglądania wideo często opierają się na analizie treści wideo niższego poziomu , takiej jak wykrywanie przejść między ujęciami , wyodrębnianie klatek kluczowych, wykrywanie koncepcji semantycznych i tworzenie ustrukturyzowanego przeglądu zawartości pliku wideo lub archiwum wideo. Ponadto zwykle zapewniają zaawansowane funkcje nawigacyjne, takie jak zaawansowane osie czasu, paski wyszukiwania wizualnego lub lista wybranych miniatur, a także środki do wyszukiwania treści. Przykładami zapytań o treść jest filtrowanie ujęć według koncepcji wizualnych (np. tylko ujęcia przedstawiające samochody), określonych cech (np. filtrowanie kolorów lub ruchu), szkiców dostarczonych przez użytkownika (np. oparte na wyszukiwaniu podobieństw.

Historia

Przeglądanie wideo zostało pierwotnie zaproponowane przez irańskiego inżyniera Farshida Armana, tajwańskiego informatyka Ardinga Hsu i informatyka Ming-Yee Chiu podczas pracy w firmie Siemens i zostało zaprezentowane na międzynarodowej konferencji ACM w sierpniu 1993 r. Opisali algorytm wykrywania strzałów dla skompresowane wideo , które zostało pierwotnie zakodowane przy użyciu standardów kodowania wideo z dyskretną transformacją kosinusową (DCT), takich jak JPEG , MPEG i H.26x . Podstawową ideą było to, że ponieważ współczynniki DCT są matematycznie powiązane z dziedziną przestrzenną i reprezentują zawartość każdej klatki, można ich użyć do wykrycia różnic między klatkami wideo. W algorytmie podzbiór bloków w ramce i podzbiór współczynników DCT dla każdego bloku są używane jako wektor ruchu reprezentacja dla ramki. Działając na skompresowanych reprezentacjach DCT, algorytm znacznie zmniejsza wymagania obliczeniowe dla dekompresji i umożliwia efektywne przeglądanie wideo. Algorytm reprezentuje oddzielne ujęcia sekwencji wideo za pomocą klatki r, miniatury ujęcia otoczonej obszarem śledzenia ruchu. Odmiana tej koncepcji została później przyjęta w QBIC , w których każda ramka r jest wyraźną stopą z ujęcia, które reprezentuje.

Notatnik wideo

Nowoczesne rozwiązania do przeglądania wideo obejmują Video Notebook, startup Menlo Park założony w 2021 roku przez Mike'a Lanzę, który wykorzystuje widzenie komputerowe do wyodrębniania slajdów oraz optyczne rozpoznawanie znaków i rozpoznawanie mowy w celu ułatwienia wyszukiwania wideo. Oprogramowanie może być używane zarówno po stronie klienta (za pomocą rozszerzenia przeglądarki ), gdzie slajdy i tekst są wyodrębniane podczas oglądania wideo (np. na platformie wideo, takiej jak YouTube lub Udemy ) ) lub po stronie serwera. Przetworzone filmy, które można oglądać w aplikacji internetowej Video Notebook , zawierają interfejs użytkownika do przeglądania wideo z wyodrębnionymi slajdami ze znacznikami czasu, pasek wyszukiwania do przeszukiwania wideo (lub kolekcji filmów) oraz rozdziały tekstowe. Klientami Video Notebook są organizacje takie jak Ernst & Young .

Pojedynek w przeglądarce wideo

Video Browser Showdown (VBS) to coroczny konkurs oceniający na żywo eksploracyjne narzędzia do wyszukiwania wideo, w którym międzynarodowi badacze używają narzędzi do przeglądania wideo, aby jak najszybciej rozwiązywać zadania wyszukiwania wideo ad-hoc na umiarkowanie dużym zbiorze danych. Głównym celem VBS, który rozpoczął się w 2012 roku na Międzynarodowej Konferencji na temat Modelowania Multimediów (MMM), jest zwiększenie wydajności narzędzi do przeglądania wideo. Od 2016 roku VBS współpracuje również z firmą TRECVID. Celem VBS jest ocena narzędzi do przeglądania wideo pod kątem wydajności zadań wyszukiwania znanych elementów (KIS) z dobrze zdefiniowanym zestawem danych w bezpośrednim porównaniu z innymi narzędziami.

^ ^ab ^Arman , Farshid; Depommier, Remi; Hsu, Arding; Chiu, Ming-Yee (październik 1994). „Przeglądanie sekwencji wideo w oparciu o treść” . Materiały z drugiej międzynarodowej konferencji ACM na temat multimediów . Stowarzyszenie Maszyn Komputerowych : 97–103. doi : 10.1145/192593.192630 . ISBN 0897916867 . S2CID 1360834 .
^ Wspieranie wyszukiwania eksploracyjnego biblioteki wideo: kiedy storyboardy to za mało. MG Christel. 2008.
^ Eksplorator wideo - narzędzie do nawigacji i wyszukiwania w obrębie jednego filmu wideo oparte na szybkiej analizie treści. K. Schoeffmann, M. Taschwer i L. Boeszoermenyi. 2010.
^ Narzędzia interakcji wideo: przegląd ostatnich prac. K. Schoeffmann, MA Hudelist i J. Huber. 2015.
^ Interfejsy do mobilnego przeglądania wideo w oparciu o oś czasu. W. Hürsta i K. Meiera. 2008.
Bibliografia _ Hsu, Arding; Chiu, Ming-Yee (sierpień 1993). „Przetwarzanie obrazu na skompresowanych danych dla dużych baz danych wideo” . Materiały z Pierwszej Międzynarodowej Konferencji Multimedialnej ACM . Stowarzyszenie Maszyn Komputerowych : 267–272. doi : 10.1145/166266.166297 . ISBN 0897915968 . S2CID 10392157 .
^ Skodras, Athanassios (2009-01-01). „Ukrywanie danych w czasie rzeczywistym poprzez wykorzystanie makrobloków IPCM w strumieniach H. 264/AVC” . Dziennik przetwarzania obrazu w czasie rzeczywistym .
^ Zhang, HongJiang (1998). „Przeglądanie i pobieranie wideo na podstawie treści” . W Furht, Borko (red.). Podręcznik systemów i aplikacji internetowych i multimedialnych . CRC Naciśnij . s. 83–108 (89) . ISBN 9780849318580 .
Bibliografia _ Hearst, Marti A.; Lawrence, A. Rowe (1998). „The Video Workbench: interfejs bezpośredniej manipulacji do edycji multimediów cyfrowych przez amatorskich kamerzystów” (PDF) : 1-19 (14). S2CID 18212394 . Zarchiwizowane od oryginału (PDF) w dniu 2019-02-26 . Źródło 18 października 2019 r . {{ cite journal }} : Cite journal wymaga |journal= ( pomoc )
^ „Notatnik wideo - notatki na wszystkich platformach wideo” . chrome.google.com . Źródło 2022-06-03 .
^ „Zrzuty ekranu wideo i notatki - YouTube i nie tylko” . www.videonotebook.com . Źródło 2022-06-03 .
^ „Filmy, które można przeglądać i przeszukiwać — notatnik wideo” . www.videonotebook.com . Źródło 2022-06-03 .
^ Pojedynek w przeglądarce wideo
^ TRECVID , inicjatywa akademickich testów porównawczych NIST
^ Schöffmann, Klaus; Bailer, Werner (24.07.2012). „Pojedynek przeglądarki wideo” . ACM SIGMultimedia Records . 4 (2): 1–2. doi : 10.1145/2350204.2350205 . S2CID 46224263 .

[Arman1994-1] Arman , Farshid; Depommier, Remi; Hsu, Arding; Chiu, Ming-Yee (październik 1994). „Przeglądanie sekwencji wideo w oparciu o treść” . Materiały z drugiej międzynarodowej konferencji ACM na temat multimediów . Stowarzyszenie Maszyn Komputerowych : 97–103. doi : 10.1145/192593.192630 . ISBN 0897916867 . S2CID 1360834 .

[2] Wspieranie wyszukiwania eksploracyjnego biblioteki wideo: kiedy storyboardy to za mało. MG Christel. 2008.

[3] Eksplorator wideo - narzędzie do nawigacji i wyszukiwania w obrębie jednego filmu wideo oparte na szybkiej analizie treści. K. Schoeffmann, M. Taschwer i L. Boeszoermenyi. 2010.

[4] Narzędzia interakcji wideo: przegląd ostatnich prac. K. Schoeffmann, MA Hudelist i J. Huber. 2015.

[5] Interfejsy do mobilnego przeglądania wideo w oparciu o oś czasu. W. Hürsta i K. Meiera. 2008.

[6] Bibliografia _ Hsu, Arding; Chiu, Ming-Yee (sierpień 1993). „Przetwarzanie obrazu na skompresowanych danych dla dużych baz danych wideo” . Materiały z Pierwszej Międzynarodowej Konferencji Multimedialnej ACM . Stowarzyszenie Maszyn Komputerowych : 267–272. doi : 10.1145/166266.166297 . ISBN 0897915968 . S2CID 10392157 .

[7] Skodras, Athanassios (2009-01-01). „Ukrywanie danych w czasie rzeczywistym poprzez wykorzystanie makrobloków IPCM w strumieniach H. 264/AVC” . Dziennik przetwarzania obrazu w czasie rzeczywistym .

[8] Zhang, HongJiang (1998). „Przeglądanie i pobieranie wideo na podstawie treści” . W Furht, Borko (red.). Podręcznik systemów i aplikacji internetowych i multimedialnych . CRC Naciśnij . s. 83–108 (89) . ISBN 9780849318580 .

[9] Bibliografia _ Hearst, Marti A.; Lawrence, A. Rowe (1998). „The Video Workbench: interfejs bezpośredniej manipulacji do edycji multimediów cyfrowych przez amatorskich kamerzystów” (PDF) : 1-19 (14). S2CID 18212394 . Zarchiwizowane od oryginału (PDF) w dniu 2019-02-26 . Źródło 18 października 2019 r . {{ cite journal }} : Cite journal wymaga |journal= ( pomoc )

[10] „Notatnik wideo - notatki na wszystkich platformach wideo” . chrome.google.com . Źródło 2022-06-03 .

[11] „Zrzuty ekranu wideo i notatki - YouTube i nie tylko” . www.videonotebook.com . Źródło 2022-06-03 .

[12] „Filmy, które można przeglądać i przeszukiwać — notatnik wideo” . www.videonotebook.com . Źródło 2022-06-03 .

[13] Pojedynek w przeglądarce wideo

[TRECVID-14] TRECVID , inicjatywa akademickich testów porównawczych NIST

[15] Schöffmann, Klaus; Bailer, Werner (24.07.2012). „Pojedynek przeglądarki wideo” . ACM SIGMultimedia Records . 4 (2): 1–2. doi : 10.1145/2350204.2350205 . S2CID 46224263 .