przyspieszyć
Procesory obrazu / wideo firmy Nikon Expeed (często nazywane EXPEED ) to procesory multimedialne do aparatów cyfrowych firmy Nikon . Wykonują wiele zadań: filtrowanie Bayera , demozaikowanie , korekcja czujnika obrazu / odejmowanie ciemnych klatek , redukcja szumów obrazu , wyostrzanie obrazu , skalowanie obrazu , korekcja gamma , ulepszanie obrazu/aktywna funkcja D-Lighting, konwersja przestrzeni barw, podpróbkowanie chrominancji , liczba klatek na sekundę konwersja, korekcja zniekształceń obiektywu / aberracji chromatycznej , kompresja obrazu / kodowanie JPEG , kompresja wideo , sterowanie interfejsem wyświetlacza / wideo, cyfrowa edycja obrazu , wykrywanie twarzy , przetwarzanie / kompresja / kodowanie dźwięku oraz komputerowe przechowywanie / transmisja danych .
Wieloprocesorowy system firmy Expeed na jednym chipie integruje procesor obrazu w wielordzeniowej architekturze procesora, przy czym każdy pojedynczy rdzeń procesora jest w stanie wykonywać wiele instrukcji/operacji równolegle . Dodano interfejsy pamięci i wyświetlaczy oraz inne moduły, a cyfrowy procesor sygnałowy (DSP) zwiększa liczbę jednoczesnych obliczeń. Wbudowany 32-bitowy mikrokontroler inicjuje i kontroluje działanie i przesyłanie danych wszystkich procesorów, modułów i interfejsów i może być postrzegany jako główna jednostka sterująca aparatu.
W każdej generacji firma Nikon stosuje różne wersje swoich profesjonalnych i konsumenckich lustrzanek cyfrowych / MILC , podczas gdy jej aparaty kompaktowe wykorzystują zupełnie inną architekturę. Różni się to na przykład od Canona DIGIC : jego profesjonalne lustrzanki cyfrowe podwajają procesory z serii konsumenckich lustrzanek cyfrowych. Expeed to układ scalony specyficzny dla aplikacji (ASIC) zbudowany przez Socionext specjalnie dla projektów firmy Nikon zgodnie ze specyfikacjami firmy Nikon .
Technologia
Nikon Expeed jest oparty na procesorach przetwarzania obrazu Socionext Milbeaut z wielordzeniową architekturą FR-V o rozdzielczości 16 bitów na piksel , wykorzystującą wysoce równoległą architekturę potokową , która umożliwia efektywne wykorzystanie sprzętu , zwiększenie przepustowości i zmniejszenie zużycia energii. Każdy rdzeń używa ośmiokierunkowego 256-bitowego bardzo długiego słowa instrukcji (VLIW, MIMD ) i jest zorganizowany w czteroczęściową superskalarną architekturę potokową ( Integer (ALU) -, Floating-point - i dwie media-procesor-jednostki) dając szczytowa wydajność do 28 instrukcji na cykl zegara i rdzeń. Dzięki zastosowaniu czterokierunkowej pojedynczej instrukcji, wielu procesorów wektorowych danych (SIMD) , dane są przetwarzane z maksymalnie 112 operacjami na danych na cykl i rdzeń.
Wbudowany 32-bitowy rdzeń mikrokontrolera Fujitsu FR RISC służy do inicjowania i sterowania wszystkimi procesorami, modułami i interfejsami. Wersje Expeed oznaczone jako EI-14x oraz Expeed 2 i 3 dodatkowo zawierają silnik kodeka wideo HD (oparty na FR-V) i 16-bitowy procesor DSP z oddzielną 4-blokową pamięcią RAM Harvarda na chipie, której można użyć na przykład do dodatkowego obrazu - i przetwarzanie dźwięku . Expeed 3 (FR) (EI-158/175) jest oparty na ulepszonym Expeed 2 EI-154 ze znacznie zwiększoną szybkością przetwarzania.
Nowa architektura w Expeed 3 (ARM) oferuje znacznie większą szybkość procesora obrazu (nawet z dwoma potokami w EI-160), kodera wideo H.264 i jest kontrolowana przez dwurdzeniowy mikrokontroler o architekturze ARM, który zastępuje Fujitsu FR.
Interfejs czujnika obrazu
Przetworniki obrazu CMOS / CCD są połączone z dodatkowymi zewnętrznymi układami scalonymi , sterownikami firmy Nikon, z wyjątkiem Nikon D3100 . Odbywa się to za pomocą mieszanego analogowo - cyfrowego , który steruje czujnikiem cyfrowo, ale odbiera sygnały analogowe za pomocą równoległych 14- bitowych przetworników analogowo-cyfrowych (A/D) . Warianty Expeed EI-142 i EI-158 wykorzystują układy ASIC firmy Nikon do podłączenia wszystkich pełnoklatkowych (FX) cyfrowych lustrzanek jednoobiektywowych oraz dodatkowo Nikon D300 / D300s z 12 jednoczesnymi, równoległymi kanałami odczytu sygnału analogowego. Głównie dzięki większemu czasowi ustalania pozwala na lepszą dokładność konwersji w porównaniu z czterema kanałami w poprzednich Nikonach D2X /D2Xs, Nikonie D200 czy Canonie EOS 5D Mark II . Odczyt sześciokanałowy jest obsługiwany przez EI-149 i EI-154 używane w modelach D90, D5000, D7000 i D5100.
D3100 wykorzystuje interfejs czujnika Analog Devices ze zintegrowanymi przetwornikami analogowo-cyfrowymi. Rezultatem jest zakres dynamiczny tylko na poziomie konkurentów, takich jak (droższy) Canon EOS 600D ; niższy niż w przypadku innych lustrzanek cyfrowych firmy Nikon z tym samym wariantem Expeed 2.
Przetworniki A/D Expeed EI-15x i EI-17x umożliwiają zwiększenie częstotliwości taktowania odczytu przetwornika obrazu z poprawioną dokładnością przetwornika A/D, zwłaszcza przy próbkowaniu 14-bitowym. Przetworniki A/D firmy Expeed stosowane w EI-149 lub we wszystkich EI-142 wymagają znacznie obniżonych częstotliwości taktowania (1,8 kl./s w Nikonie D3X) w celu uzyskania większej dokładności, ograniczając na przykład zakres dynamiczny D3 przy niskich czułościach ISO.
Expeed 3 (ARM) , zastosowany po raz pierwszy w serii Nikon 1 , łączy strumień danych z 24 kanałami cyfrowymi (magistrala) za pomocą przetworników A/D zintegrowanych z układem przetwornika obrazu.
Procesor wideo
Pierwszy wariant, EI-14x, pierwotnie zawierał koder wideo zdolny do przetwarzania rozdzielczości VGA z szybkością 30 klatek na sekundę i kodowaniem MPEG-4 . Procesor wideo oparty na oprogramowaniu, zrealizowany z procesorami FR-V, umożliwił przeprogramowanie: dzięki zastosowaniu kodowania Motion JPEG z szybkością klatek 24p firma Nikon osiągnęła rozdzielczość wideo HD 720p . Zaletą jest łatwa ekstrakcja obrazu JPEG , brak artefaktów kompensacji ruchu i niska moc obliczeniowa umożliwiająca wyższą rozdzielczość, a wadą jest większy rozmiar pliku, prawie osiągający limit 2 GB (dla pełnej kompatybilności) w ciągu 5 minut. Nikon D90 był pierwszą lustrzanką cyfrową z możliwością nagrywania wideo.
Expeed 2 (wariant EI-154) znacznie rozszerzył możliwości dzięki koderowi wideo 1080p H.264 / MPEG-4 AVC HD. Oferuje również zwiększoną częstotliwość taktowania odczytu sygnału analogowego przetwornika obrazu, zmniejszając efekt „rolling shutter” .
W porównaniu do konkurentów firmy Canon ( kompresja DIGIC , „IPP” – odpowiednik MPEG-2 : analizowano tylko jedną poprzednią klatkę) Expeed 2 oferuje kompresję wideo opartą również na złożonych klatkach B ( dwukierunkowe różnicowanie między klatkami i przewidywanie ruchu ), co ma tę zaletę, że zapewnia wyższą jakość (mniejsze rozmycie ruchu w oparciu o lepszą kompensację ruchu ) nawet przy znacznie wyższym współczynniku kompresji . Ta kompresja wymaga znacznie większej mocy obliczeniowej. W 2012 roku Canon 5D Mark III wprowadził podobną kompresję o nazwie „IPB”. Wprowadzono również „All-I”, który wykorzystuje prostsze ramki I (zakodowane obrazy) bez przetwarzania jakichkolwiek różnic między nimi, ale przy użyciu niskiej kompresji (wysoka szybkość transmisji danych) i zachowuje się również w innych zastosowaniach, takich jak ekstrakcja obrazu, dość podobna do Motion JPEG używany wcześniej przez firmę Nikon.
Expeed 3 (FR) (warianty EI-158 i EI-175) nie oferuje znaczących zmian, ale wprowadził pierwsze lustrzanki oferujące nieskompresowane wyjście wideo (8bit 4:2:2) przez HDMI : Nikon D4 , Nikon D800 / D800E , Nikon D600 , Nikon D7100 i Nikon D5200 . Expeed 3 (ARM) wprowadził szybkie wideo ( slow-motion ) w ulepszonym silniku wideo H.264 HD.
Warianty
Socionext określa każdą generację Milbeauta z różną liczbą procesorów. Firma Nikon nie podaje żadnych szczegółów, ale używa różnych wyznaczonych procesorów w swoich liniach profesjonalnych i konsumenckich. Chociaż Milbeaut ( Expeed ) jest używany w różnych konstrukcjach firmy Nikon i przez innych producentów, oprogramowanie/ firmware określa wiele jego funkcji i szczegółów, a liczba procesorów lub dołączonych modułów może się różnić w tym układzie ASIC .
przyspieszyć
Po raz pierwszy zastosowany w aparatach Nikon D3 i Nikon D300 w 2007 r., Expeed był później używany w aparatach Nikon D3X , Nikon D700 i Nikon D300s , oznaczonych jako EI-142, oraz w wariancie linii konsumenckiej ze zmniejszoną liczbą rdzeni procesora w aparatach Nikon D90 i Nikon D5000 , oznaczony EI-149. Opiera się na procesorze obrazowania Socionext Milbeaut z koderem wideo 720p Motion JPEG, rdzeniem DSP i FR-80 (wersje EI-14x). Wykorzystuje technologię procesu 90 nanometrów .
Wariant EI-137 w Nikonie D60 i Nikonie D3000 – występujący dodatkowo w Nikonie D40 , Nikonie D40x i Nikonie D80 – bazuje na starszym Milbeaut M-3 w technologii 180 nanometrów (podobnie jak wszystkie poprzednie Expeed/Milbeaut od 2001 roku), zawiera rdzeń FR-71 z tylko 12-bitowym, dwukanałowym odczytem czujnika obrazu, bez DSP, wolniejszą pamięć i ograniczony zestaw funkcji.
przyspieszyć 2
Koder wideo 1080p H.264/MPEG-4 HD, ulepszone wykrywanie twarzy , redukcja szumów obrazu i korekcja zniekształceń obrazu to główne ulepszone funkcje w porównaniu z EI-14x Expeeds . Stosowany w Nikon D7000 , Nikon D3100 i Nikon D5100 oraz Nikon oznaczony EI-154. Chociaż częstotliwość zegara odczytu przetwornika obrazu wzrosła o współczynnik 1,75, poprawiona została dokładność przetwornika A/C, zwłaszcza przy użyciu 14-bitowego. Zwiększona została wydajność procesora obrazu, co pozwala na wykonywanie zdjęć seryjnych z większą liczbą klatek na sekundę, nawet po włączeniu redukcji szumów przy wysokiej czułości ISO lub aktywnej funkcji D-Lighting. Expeed EI-15x są sterowane przez zintegrowany rdzeń FR-80/FR-81 . Zużycie energii jest również zmniejszone dzięki procesowi Socionext 65 nm.
Expeed 2 (przemianowany na Expeed 1)
Procesor Nikon D3s – choć nazwany Expeed 2 – wykorzystuje prawie ten sam procesor EI-142, co poprzedni D3/D3X, obsługujący na przykład tylko wideo 720p Motion JPEG. Oferuje ten sam interfejs przetwornika obrazu z identyczną szybkością i dokładnością przetwornika A/D, ograniczając zakres dynamiczny D3 do 200, a zwłaszcza o 100 ISO niższy niż D7000/D5100.
Przyspiesz C2
Wariant stosowany w niektórych aparatach kompaktowych Coolpix . Tańsze aparaty kompaktowe firmy Nikon wykorzystują procesory obrazu/wideo Sanyo lub Zoran Coach; oba z zupełnie inną technologią i innym firmware w porównaniu do Expeeda .
przyspieszyć 3
Przyspiesz 3 (Francja)
W porównaniu do poprzedniego Expeed 1 (EI-142), oferuje te same ulepszenia, co Expeed 2 EI-154 z procesem Socionext 65 nm, w tym zwiększoną dokładność przetwornika A/D i częstotliwość taktowania odczytu sygnału analogowego czujnika obrazu, zmniejszając ruch migawki. Moc obliczeniowa jest znacznie zwiększona. Oznaczony EI-158, ten wariant jest używany przez Nikon D4 i Nikon D800 . EI-158 był pierwszym Expeedem , który oferował nieskompresowane wyjście wideo (8bit 4:2:2) przez HDMI.
Nikon D600 (rozbiórka), Nikon D3200 i Nikon D5200 (rozbiórka) używają Expeed 3 (EI-175, inaczej oznaczony ML-1131 na D5200), który według firmy Nikon jest taki sam, jak używany w seriach D4 i D800 . Jego architektura jest zbliżona do Expeed 2 EI-154 z pewnymi ulepszeniami, takimi jak pamięć DDR3 i zwiększoną mocą obliczeniową. D5200 wykorzystuje pakiet na opakowaniu z 4 Gbit DDR3 SDRAM na górze.
Przyspiesz 3 (ramię)
W serii Nikon 1 we wrześniu 2011 roku firma Nikon wprowadziła nową, znacznie zmienioną architekturę – główna jednostka sterująca wykorzystuje mikrokontroler ARM , który wymaga nowego oprogramowania układowego w porównaniu z zupełnie innym mikrokontrolerem Fujitsu FR używanym we wszystkich poprzednich procesorach Milbeaut i Expeed . Jest to również pierwszy Expeed wykorzystujący odczyt z cyfrowej matrycy – nie jest potrzebny interfejs analogowej matrycy. W aparatach Nikon 1 wprowadzonych we wrześniu 2011 r. wykorzystuje 1 GB szybkiej pamięci RAM DDR2 w 2 układach 4 Gbit. Nikon oznaczony EI-160, wyprodukowany w Socionext 65 nm.
Główne udoskonalenia to szybkie, dwurdzeniowe procesory przetwarzania obrazu z rekordem świata (firma Nikon) 600 megapikseli na sekundę, ulepszony silnik wideo H.264 HD i sterowanie za pomocą dwurdzeniowego mikrokontrolera ARM. Jego wysoka prędkość pozwala na osiągnięcie największej na świecie szybkości (firma Nikon) wynoszącej 60 klatek na sekundę (10 kl./s z pełnym autofokusem ).
Przyspiesz 3A
Expeed 3A , następca modelu Expeed 3 EI-160 używanego w serii Nikon 1, został po raz pierwszy wprowadzony w aparacie Nikon 1 V2 i charakteryzuje się zwiększoną szybkością przetwarzania obrazu, wynoszącą do 850 megapikseli na sekundę. Umożliwia to prędkość 60 klatek na sekundę (15 kl./s z pełnym autofokusem ) nawet przy użyciu nowej 14- megapikselowej matrycy. Został opracowany wyłącznie dla aparatów Nikon 1.
przyspieszyć 4
Expeed 4 wykorzystuje procesor z centralnym kontrolerem ARM i jest używany w Nikon D810 , Nikon D750 , Nikon D5300 , Nikon D5500 , Nikon D5600 , Nikon D3300 , Nikon D3400 , Nikon D3500 i Nikon D7200 . Oferuje przechwytywanie wideo Full HD (1080p) przy 50/60 kl./s z ulepszonym autofokusem z wykrywaniem kontrastu i autofokusem z podglądem na żywo . Zawiera wszystkie funkcje Expeed 3 (FR) i starszych wersji Expeed, a ponadto zużywa mniej energii.
Procesor aparatu Nikon D4S jest identyczny z procesorem Nikon D4, oznaczonym jako EI-158, wykorzystując swoją moc obliczeniową z ulepszonym oprogramowaniem umożliwiającym nagrywanie wideo 1080p przy 50/60 kl./s, robienie zdjęć z szybkością 11 kl./s z ulepszonym autofokusem, nową redukcję szumów dzięki algorytmowi zmiennej zawartości obrazu (dostosowujące się do kontekstu) i inne ulepszenia.
Przyspiesz 4A
Wersja 4A jest używana w aparatach Nikon 1 V3 , Nikon 1 J4 i Nikon 1 S2 .
przyspieszyć 5
na targach CES 2016 (Las Vegas, 5 stycznia 2016 r.) silnik procesora EXPEED 5 w swoich nowych aparatach DX i FX Nikon D500 i Nikon D5, a także w aparatach Nikon D7500 i D850 .
Przyspiesz 5A
Procesor przetwarzania obrazu EXPEED 5A po raz pierwszy pojawił się w aparacie Nikon 1 J5 , którego premiera miała miejsce 2 kwietnia 2015 r. W aparacie Nikon 1 J5 jest on zdolny do rozdzielczości 4K Ultra HD (3840*2160) przy 15 kl./s, Full-HD (1920 *1080) przy 60 fps, HD (1280*720) przy 120 fps, 800 x 296 przy 400 fps i 400 x 144 przy 1200 fps. Może obsłużyć zdjęcia seryjne 20 MP przy 20 kl./s z autofokusem w każdej klatce, a nawet 60 kl./s z autofokusem ustawionym na pierwszej klatce, ale pamiętaj, że rozmiar bufora jest jeszcze nieznany i prawdopodobnie bardzo mały.
przyspieszyć 6
Firma Nikon ogłosiła silnik procesora Expeed 6 23 sierpnia 2018 r. Pojawia się on w aparatach Nikon Z 7 , Nikon Z 6 , Nikon Z 50 , Nikon Z 5 , Nikon D780 i Nikon D6 . Nikon Z 6II i Nikon Z 7II mają po dwa procesory Expeed 6.
przyspieszyć 7
Firma Nikon ogłosiła silnik procesora Expeed 7 28 października 2021 r. Pojawia się on w bezlusterkowym aparacie Nikon Z 9 . Ta najnowsza wersja integruje intoPIX TicoRAW , oferując wysokowydajne nagrywanie RAW do 8K i 60 klatek na sekundę, zachowując wszystkie zalety formatu RAW, zapewniając jednocześnie bardzo niskie przetwarzanie energii i bardzo dużą prędkość transferu.
Pre-Expeed
Nieoficjalne lustrzanki cyfrowe Expeed
Wariant procesora Expeed EI-137 można znaleźć w aparatach Nikon D40, Nikon D40x i Nikon D80 - tak jak oficjalnie w późniejszych Nikon D60 i Nikon D3000.
Wczesne lustrzanki cyfrowe
lustrzanki cyfrowe nie zawierają procesorów o nazwie Expeed (np. procesor Nikon D70 /D70s: EI-118), co nie oznacza, że procesory te korzystają z innej architektury. Lub Nikon D200 (EI-126) wykorzystuje to samo, ale znacznie rozszerzone oprogramowanie układowe, co D80 (nieoficjalny „Expeed”).
Dodatkowe (współ)procesory
Jako procesor wejścia/wyjścia (I/O) firma Nikon wykorzystuje zewnętrzne 32-bitowe mikrokontrolery do podłączania dodatkowych czujników i wyświetlaczy : wizjer , wyświetlacz górny , lampa błyskowa ( lampa błyskowa )/ gorąca stopka , silniki migawki / przysłony , czujniki pomiaru / autofokusa i obiektyw / uchwyt baterii / kontrola baterii . Używane warianty to Fujitsu FR w serii Expeed EI-14x, który zmienił się na architekturę MIPS w seriach Expeed EI-15x i EI-17x. Seria profesjonalna wykorzystuje dwa lub więcej kontrolerów Hitachi / Renesas H8SX . Dawne lustrzanki cyfrowe wykorzystywały mikrokontrolery H8S .
Oparty na architekturze ARM moduł Expeed w aparatach z serii Nikon 1 z podwójnym rdzeniem ARM nie wymaga dodatkowych procesorów we/wy. Seria Nikon 1 zawiera również procesor graficzny Epson .
Alternatywne oprogramowanie układowe
Podobnie jak w przypadku zmodyfikowanych przez CHDK lub Magic Lantern aparatów cyfrowych Canon opartych na procesorach DIGIC , grupa programistów o nazwie „Nikon Hacker” opracowuje niestandardowe oprogramowanie układowe , poczyniając ostatnie postępy, w tym emulator FR dla niektórych lustrzanek cyfrowych. Wykazano, że firma Nikon korzysta ze zintegrowanego środowiska programistycznego Softune wraz z jądrem czasu rzeczywistego µITRON . Obecnie dostępne jest zmodyfikowane oprogramowanie układowe, usuwające głównie ograniczenia czasowe dotyczące wideo i nieskompresowanych plików NEF, ale nie ma dostępnego stabilnego alternatywnego oprogramowania układowego, ponieważ projekt jest wciąż we wczesnej fazie.
Aktualizacje oprogramowania układowego dostarczane przez firmę Nikon zwykle obejmują oprogramowanie sprzętowe A dla procesora we/wy i oprogramowanie układowe B do sterowania urządzeniami Expeed za pomocą zintegrowanych mikrokontrolerów FR (inne w przypadku procesorów Expeed 3 opartych na architekturze ARM ).
Zadania projektowe
Oprócz ogólnej analizy sprzętu i oprogramowania aparatów D7000, D5100 i D3100 oraz nowszych, projekt koncentruje się na:
- Usuwanie 5-minutowych ograniczeń czasu wideo: Dostępna jest zmodyfikowana wersja oprogramowania układowego
- Wysokiej jakości wideo 1080p z szybkością do 64 Mb/s
- Nieskompresowane wideo (czyste wyjście HDMI) dla D5100 i innych
- Nieskompresowane pliki NEF
- Modyfikacje mobilnego adaptera bezprzewodowego WU-1a, aby można go było używać z innymi aparatami
- Analiza i deszyfrowanie komunikacji baterii firmy Nikon
- Analiza bezprzewodowego nadajnika WT-3 i jego komunikacji
- Usuwanie blokady baterii innych firm, którą firma Nikon wprowadziła w niektórych najnowszych wersjach oprogramowania układowego
- Rozwój emulatora Nikon
Dziennik zmian pokazuje oprogramowanie układowe również dla nowszych wariantów, takich jak D800, D610, D5200 i D3200.
DIAG surowy hack
Nie było to włamanie do oprogramowania układowego, ale metoda (Photopc – digital camera control) wywołująca już zaimplementowany tryb diagnostyczny w niektórych starych aparatach Nikon Coolpix z procesorami Fujitsu Sparclite . Korzystając z tego trybu, mogli pisać surowe obrazy .