mózgi
 | |
| Typ | Prywatny |
|---|---|
| Przemysł | |
| Założony | 2015 |
| Założyciele |
|
| Siedziba |
, USA
|
Kluczowi ludzie |
Andrew Feldman (dyrektor generalny) |
| Produkty | Silnik waflowy |
| Strona internetowa | |
Cerebras Systems to amerykańska firma zajmująca się sztuczną inteligencją z biurami w Sunnyvale , San Diego , Toronto , Tokio i Bangalore . Cerebras buduje systemy komputerowe dla złożonych do głębokiego uczenia sztucznej inteligencji .
Historia
Firma Cerebras została założona w 2015 roku przez Andrew Feldmana, Gary'ego Lauterbacha, Michaela Jamesa, Seana Lie i Jean-Philippe'a Frickera. Tych pięciu założycieli pracowało razem w firmie SeaMicro , która została założona w 2007 roku przez Feldmana i Lauterbacha, a później została sprzedana firmie AMD w 2012 roku za 334 miliony dolarów.
W maju 2016 r. firma Cerebras zabezpieczyła 27 mln USD w ramach finansowania serii A prowadzonego przez Benchmark , Foundation Capital i Eclipse Ventures.
W grudniu 2016 r. finansowanie serii B było prowadzone przez Coatue Management , a następnie w styczniu 2017 r. finansowanie serii C kierowane przez VY Capital.
W listopadzie 2018 roku Cerebras zamknął rundę serii D kwotą 88 milionów dolarów, co czyni firmę jednorożcem . Inwestorami w tej rundzie byli Altimeter , VY Capital, Coatue, Foundation Capital, Benchmark i Eclipse.
19 sierpnia 2019 r. Cerebras ogłosił swój silnik waflowy (GPW).
W listopadzie 2019 roku Cerebras zamknął rundę serii E kwotą ponad 270 milionów dolarów, co daje wycenę na 2,4 miliarda dolarów.
W 2020 roku firma ogłosiła otwarcie biura w Japonii i współpracę z Tokyo Electron Devices .
W kwietniu 2021 roku firma Cerebras ogłosiła CS-2 oparty na firmowym silniku Wafer Scale Engine Two (WSE-2), który ma 850 000 rdzeni. W sierpniu 2021 roku firma ogłosiła swoją technologię na skalę mózgu, która może obsługiwać sieć neuronową z ponad 120 bilionami połączeń.
W listopadzie 2021 roku Cerebras ogłosił, że zebrał dodatkowe 250 milionów dolarów w ramach finansowania serii F, wyceniając firmę na ponad 4 miliardy dolarów. Runda finansowania serii F była prowadzona przez Alpha Wave Ventures i Abu Dhabi Growth Fund (ADG). Do tej pory firma zebrała 720 milionów dolarów finansowania.
W sierpniu 2022 roku firma Cerebras została uhonorowana przez Muzeum Historii Komputerów w Mountain View w Kalifornii . Muzeum powiększyło swoją stałą kolekcję i odsłoniło nową ekspozycję z WSE-2 – największym dotychczas wyprodukowanym układem komputerowym – oznaczającym „epokowe” osiągnięcie w historii wytwarzania tranzystorów jako zintegrowanej części.
W sierpniu 2022 roku Cerebras ogłosił otwarcie nowego biura w Bangalore w Indiach.
Technologia
Cerebras Wafer Scale Engine (WSE) to pojedynczy procesor z obwodem scalonym w skali płytki , który obejmuje moc obliczeniową , pamięć i strukturę połączeń . Planowanie wykorzystuje architekturę przepływu danych .
WSE-1 zasila Cerebras CS-1, komputer AI pierwszej generacji firmy. Jest to 19-calowe urządzenie do montażu w szafie typu rack, przeznaczone do szkolenia sztucznej inteligencji i obciążeń wnioskowania w centrum danych. CS-1 zawiera jeden podstawowy procesor WSE z 400 000 rdzeni przetwarzających oraz dwanaście 100 Gigabit Ethernet do wprowadzania/wyprowadzania danych . WSE-1 ma 1,2 biliona tranzystorów, 400 000 rdzeni obliczeniowych i 18 gigabajtów pamięci.
W kwietniu 2021 roku firma Cerebras ogłosiła system CS-2 AI oparty na silniku Wafer Scale Engine (WSE-2) drugiej generacji, wyprodukowanym w procesie 7 nm przez Taiwan Semiconductor Manufacturing Company ( TSMC ). Ma 26 cali wysokości i mieści się w jednej trzeciej standardowej szafy serwerowej. WSE-2 ma 850 000 rdzeni i 2,6 biliona tranzystorów. WSE-2 rozszerzył statyczną pamięć o dostępie swobodnym (SRAM) na chipie do 40 gigabajtów, przepustowość pamięci do 20 petabajtów na sekundę i całkowitą przepustowość struktury do 220 petabitów na sekundę.
W sierpniu 2021 roku firma ogłosiła system, który łączy wiele układów scalonych (potocznie nazywanych chipami ) w sieć neuronową z wieloma połączeniami. Pozwala jednemu systemowi obsługiwać modele AI z ponad 120 bilionami parametrów .
W czerwcu 2022 r. firma Cerebras ustanowiła rekord największych modeli AI, jakie kiedykolwiek trenowano na jednym urządzeniu. Cerebras powiedział, że po raz pierwszy jeden system CS-2 z jedną płytką Cerebras może trenować modele z nawet 20 miliardami parametrów. System Cerebras CS-2 może trenować wielomiliardowe przetwarzania języka naturalnego (NLP), w tym modele GPT-3XL o 1,3 miliarda, GPT-J 6B, GPT-3 13B i GPT-NeoX 20B przy zmniejszonej złożoności oprogramowania i infrastrukturze.
W sierpniu 2022 roku firma Cerebras ogłosiła, że jej klienci mogą teraz trenować modele sztucznej inteligencji języka naturalnego w stylu Transformer z 20-krotnie dłuższymi sekwencjami niż jest to możliwe przy użyciu tradycyjnego sprzętu komputerowego, co ma doprowadzić do przełomu w przetwarzaniu języka naturalnego (NLP), zwłaszcza w farmacji i życiu nauki.
We wrześniu 2022 roku firma Cerebras ogłosiła, że może połączyć swoje układy scalone, aby stworzyć największy w historii klaster obliczeniowy do przetwarzania AI. Klaster w skali płytki może połączyć do 192 systemów CS-2 AI w klaster, podczas gdy klaster 16 systemów CS-2 AI może stworzyć system obliczeniowy z 13,6 milionami rdzeni do przetwarzania języka naturalnego. Kluczem do nowego klastra Cerebras Wafer-Scale Cluster jest wyłączne wykorzystanie równoległości danych do trenowania, co jest preferowanym podejściem we wszystkich pracach związanych ze sztuczną inteligencją.
W listopadzie 2022 roku firma Cerebras zaprezentowała swój najnowszy superkomputer, Andromeda, który łączy 16 chipów WSE-2 w jeden klaster z 13,5 milionami rdzeni zoptymalizowanych pod kątem sztucznej inteligencji, zapewniając do 1 exa FLOPS mocy obliczeniowej AI lub co najmniej jeden kwintylion ( 10 18 ) operacji na sekundę. Cały system zużywa 500 kilowatów, czyli znacznie mniej energii niż porównywalne superkomputery z akceleracją GPU.
W listopadzie 2022 r. firma Cerebras ogłosiła współpracę z Cirrascale Cloud Services w celu zapewnienia zryczałtowanego czasu obliczeniowego „płatność za model” dla swojego studia modeli AI Cerebras . Ceny wahają się od 2500 USD za szkolenie „modelu GPT-3 o 1,3 miliarda parametrów w 10 godzin” do 2,5 miliona USD za szkolenie „wersji o 70 miliardach parametrów w 85 dni”. Mówi się, że usługa zmniejsza koszty — w porównaniu z podobnymi usługami w chmurze na rynku — o połowę, przy jednoczesnym zwiększeniu prędkości nawet ośmiokrotnie szybciej.
Wdrożenia
Klienci podobno używają technologii Cerebras w sektorach farmaceutycznym, nauk przyrodniczych i energetycznym.
W 2020 roku firma GlaxoSmithKline (GSK) zaczęła używać systemu sztucznej inteligencji Cerebras CS-1 w swoim londyńskim centrum sztucznej inteligencji do tworzenia modeli sieci neuronowych w celu przyspieszenia badań genetycznych i genomicznych oraz skrócenia czasu potrzebnego na odkrywanie leków . Zespół badawczy GSK był w stanie zwiększyć złożoność generowanych modeli koderów, jednocześnie skracając czas szkolenia. Inni klienci z branży farmaceutycznej to AstraZeneca , której udało się skrócić czas szkolenia z dwóch tygodni na klastrze procesorów graficznych do dwóch dni przy użyciu systemu Cerebras CS-1. GSK i Cerebras niedawno wspólnie opublikowały badania w grudniu 2021 r. dotyczące epigenomicznych modeli językowych.
Argonne National Laboratory używa CS-1 od 2020 roku w badaniach nad COVID-19 i nowotworami w oparciu o największą na świecie bazę danych dotyczących leczenia raka. Szereg modeli uruchomionych na CS-1 w celu przewidywania odpowiedzi na leki przeciwnowotworowe na guzy osiągnęło setki razy przyspieszenie na CS-1 w porównaniu z liniami bazowymi GPU.
Cerebras i National Energy Technology Laboratory (NETL) zademonstrowały rekordową wydajność systemu Cerebras CS-1 przy obciążeniu obliczeniowym naukowym w listopadzie 2020 r. CS-1 był 200 razy szybszy niż superkomputer Joule'a w kluczowym obciążeniu płynem obliczeniowym Dynamika.
Lawrence Livermore National Lab włączył CS-1 zarówno w sklasyfikowanych, jak i niesklasyfikowanych obszarach do symulacji fizycznych. Pittsburgh Supercomputing Center (PSC) włączyło również CS-1 do swojego superkomputera Neocortex do obsługi podwójnych obciążeń HPC i AI. EPCC , centrum superkomputerowe Uniwersytetu w Edynburgu, również wdrożyło system CS-1 do badań opartych na sztucznej inteligencji.
W sierpniu 2021 roku firma Cerebras ogłosiła partnerstwo z Peptilogics w zakresie rozwoju sztucznej inteligencji do terapii peptydowych .
W marcu 2022 roku Cerebras ogłosił, że firma wdrożyła swój system CS-2 w obiektach TotalEnergies w Houston , swojego pierwszego publicznie ujawnionego klienta z sektora energetycznego. Cerebras ogłosił również, że wdrożył system CS-2 w nference , startupie, który wykorzystuje przetwarzanie języka naturalnego do analizy ogromnych ilości danych biomedycznych. CS-2 będzie używany do trenowania modeli transformatorów zaprojektowanych do przetwarzania informacji ze stosów nieustrukturyzowanych danych medycznych w celu zapewnienia lekarzom świeżego wglądu oraz poprawy powrotu do zdrowia i leczenia pacjentów.
W maju 2022 roku firma Cerebras ogłosiła, że National Center for Supercomputing Applications (NCSA) wdrożyło system Cerebras CS-2 w swoim superkomputerze HOLL-I. Poinformowali również, że Leibniz Supercomputing Center (LRZ) w Niemczech planuje wdrożenie nowego superkomputera z systemem CS-2 wraz z serwerem HPE Superdome Flex. Nowy system superkomputerowy ma zostać dostarczony do LRZ tego lata. Będzie to pierwsze wdrożenie systemu CS-2 w Europie.
W październiku 2022 roku ogłoszono, że amerykańska Narodowa Administracja Bezpieczeństwa Jądrowego będzie sponsorować badanie mające na celu zbadanie wykorzystania CS-2 firmy Cerebras w obliczeniach dotyczących zarządzania zapasami jądrowymi. Wieloletnia umowa będzie realizowana przez Sandia National Laboratories , Lawrence Livermore National Lab i Los Alamos National Laboratory .
W listopadzie 2022 r. firma Cerebras i National Energy Technology Laboratory (NETL) odnotowały rekordową wydajność w zakresie obliczeń naukowych związanych z tworzeniem i rozwiązywaniem równań pola. Firma Cerebras wykazała, że jej system CS-2 był aż 470 razy szybszy niż superkomputer Joule firmy NETL w modelowaniu równań pola.
Laureat Nagrody Specjalnej Gordona Bella 2022 za badania nad COVID-19 oparte na HPC, która honoruje wybitne osiągnięcia badawcze w zrozumieniu pandemii COVID-19 poprzez wykorzystanie obliczeń o wysokiej wydajności, wykorzystał system CS-2 firmy Cerebras do przeprowadzenia tej nagrody -zwycięskie badania mające na celu przekształcenie dużych modeli językowych w celu analizy wariantów COVID-19. Artykuł został opracowany przez 34-osobowy zespół z Argonne National Laboratory, California Institute of Technology, Harvard University, Northern Illinois University, Technical University of Munich, University of Chicago, University of Illinois Chicago, Nvidia i Cerebras. ANL zauważył, że przy użyciu klastra CS-2 Wafer-Scale Engine zespół był w stanie osiągnąć konwergencję podczas szkolenia na pełnych genomach SARS-CoV-2 w mniej niż jeden dzień.
Zobacz też
- Integracja w skali opłatka
- Opakowanie na poziomie opłatka
- Produkcja urządzeń półprzewodnikowych
- Liczba tranzystorów
- Procesor głębokiego uczenia
Linki zewnętrzne
- Firmy z siedzibą w Kalifornii
- Firmy z siedzibą w Dolinie Krzemowej
- Firmy z siedzibą w Sunnyvale w Kalifornii
- Firmy komputerowe w Stanach Zjednoczonych
- Firmy elektroniczne założone w 2016 roku
- Firmy elektroniczne w Stanach Zjednoczonych
- Fables firmy półprzewodnikowe
- Firmy półprzewodnikowe w Stanach Zjednoczonych