Prawo Huanga
Prawo Huanga to obserwacja w informatyce i inżynierii, że postęp w jednostkach przetwarzania grafiki (GPU) rośnie w tempie znacznie szybszym niż w przypadku tradycyjnych jednostek centralnych (CPU). Obserwacja jest sprzeczna z prawem Moore'a , które przewidywało, że liczba tranzystorów w gęstym układzie scalonym (IC) podwaja się co około dwa lata. Prawo Huanga mówi, że wydajność procesorów graficznych będzie podwajać się co dwa lata. Hipoteza jest przedmiotem pytań o jej zasadność.
Historia
Obserwacji dokonał Jensen Huang , dyrektor generalny firmy Nvidia , podczas konferencji GPU Technology Conference (GTC) 2018, która odbyła się w San Jose w Kalifornii . Zauważył, że procesory graficzne Nvidii były „25 razy szybsze niż pięć lat temu”, podczas gdy prawo Moore'a oczekiwałoby tylko dziesięciokrotnego wzrostu. W miarę jak komponenty mikroczipów stawały się coraz mniejsze, rozwój chipów stawał się coraz trudniejszy do osiągnięcia prędkości wynikającej z prawa Moore'a.
W 2006 r. GPU Nvidii miało 4-krotną przewagę wydajności nad innymi procesorami. W 2018 roku procesor graficzny Nvidii był 20 razy szybszy niż porównywalny węzeł procesora: procesory graficzne były 1,7 razy szybsze każdego roku. Prawo Mooresa przewidywałoby podwojenie co dwa lata, jednak wydajność GPU Nvidii była ponad trzykrotnie większa co dwa lata, zgodnie z prawem Huanga.
Prawo Huanga twierdzi, że synergia między sprzętem , oprogramowaniem i sztuczną inteligencją umożliwia nowe „prawo”. Huang powiedział: „Innowacja nie dotyczy tylko żetonów”, powiedział, „Chodzi o cały stos”. Powiedział, że szczególnie ważne dla nowego paradygmatu są procesory graficzne . Eliminacja wąskich gardeł może przyspieszyć ten proces i stworzyć przewagę w dotarciu do celu. „Nvidia to kucyk jednej sztuczki” — powiedział Huang. Według Huanga: „Przyspieszone przetwarzanie danych jest wyzwalające… Powiedzmy, że masz samolot, który musi dostarczyć paczkę. Dostarczenie jej zajmuje 12 godzin. Zamiast przyspieszać samolot, skoncentruj się na tym, jak szybciej dostarczyć paczkę , spójrz na druk 3D w miejscu docelowym”. Celem „… jest szybsze osiągnięcie celu”.
Huang powiedział, że w przypadku zadań związanych ze sztuczną inteligencją AlexNet potrzebował sześciu dni na dwóch procesorach Nvidia GTX 580, aby ukończyć proces uczenia, ale tylko 18 minut na nowoczesnym serwerze AI DGX-2, co dało współczynnik przyspieszenia równy 500. W porównaniu z prawem Moore'a , która koncentruje się wyłącznie na tranzystorach procesora, prawo Huanga opisuje połączenie postępów w architekturze, połączeniach, technologii pamięci i algorytmach.
Bharath Ramsundar napisał, że głębokie uczenie się jest łączone z „[i] ulepszeniami w niestandardowej architekturze”. Na przykład systemy uczenia maszynowego zostały wdrożone w blockchain , gdzie Bitmain zaatakował „wiele kryptowalut , projektując niestandardowe górnicze ASIC ( układy scalone specyficzne dla aplikacji )”, które uważano za niewykonalne. „Wielkim osiągnięciem Nvidii jest jednak udowodnienie, że te ulepszenia architektur nie są tylko pojedynczymi zwycięstwami dla określonych aplikacji, ale być może mają szerokie zastosowanie w całej informatyce”. Zasugerowali, że szerokie wykorzystanie GPU i stos GPU ( por., stos procesora) może zapewnić „dramatyczny wzrost w architekturze głębokiego uczenia się”. „Magia” obietnicy prawa Huanga polega na tym, że w miarę zwiększania się popularności rodzącego się oprogramowania opartego na głębokim uczeniu, ulepszenia wynikające ze skalowania GPU i, bardziej ogólnie, z ulepszeń architektury „konkretnie poprawią„ wydajność i zachowanie nowoczesnych stosów oprogramowania ”.
Pojawiła się krytyka. Dziennikarz Joel Hruska piszący w ExtremeTech w 2020 roku powiedział, że „nie ma czegoś takiego jak prawo Huanga”, nazywając to „iluzją”, która opiera się na zyskach, które są możliwe dzięki prawu Moore'a; i że jest zbyt wcześnie, aby stwierdzić, że prawo istnieje.
