GraphLab
| Deweloperzy | Carnegie Mellon University |
|---|---|
| Wersja stabilna | v2.2 / 1 lipca 2013
|
| Napisane w | C++ |
| System operacyjny | Linuks , macOS |
| Typ | Platforma uczenia maszynowego |
| Licencja | Prawnie zastrzeżony |
| Strona internetowa |
Turi to oparta na grafach , wysokowydajna struktura obliczeń rozproszonych napisana w języku C++ . Projekt GraphLab został zapoczątkowany przez prof. Carlosa Guestrina z Carnegie Mellon University w 2009 roku. Jest to projekt open source wykorzystujący licencję Apache . Chociaż GraphLab został pierwotnie opracowany do uczenia maszynowego , odniósł wielki sukces w szerokim zakresie innych zadań związanych z eksploracją danych; przewyższa inne abstrakcje o rzędy wielkości.
Motywacja
Wraz ze wzrostem ilości gromadzonych danych i mocy obliczeniowej (multicore, GPU, klastry, chmury) współczesne zbiory danych nie mieszczą się już w jednym węźle obliczeniowym. Wymagane są wydajne rozproszone algorytmy równoległe do obsługi danych na dużą skalę. Framework GraphLab to abstrakcja programowania równoległego przeznaczona dla rzadkich iteracyjnych algorytmów grafowych. GraphLab zapewnia interfejs programowania wysokiego poziomu, umożliwiający szybkie wdrażanie rozproszonych algorytmów uczenia maszynowego. Główne względy projektowe stojące za projektem GraphLab to:
- Rzadkie dane z lokalnymi zależnościami
- Algorytmy iteracyjne
- Potencjalnie asynchroniczne wykonanie
Główne cechy GraphLab to:
- Ujednolicony, wielordzeniowy i rozproszony interfejs API: jednokrotny zapis działa wydajnie zarówno w systemach z pamięcią współdzieloną, jak i rozproszoną
- Dostrojony pod kątem wydajności: zoptymalizowany silnik wykonawczy C++ wykorzystuje rozbudowane wielowątkowe i asynchroniczne operacje we/wy
- Skalowalność: GraphLab inteligentnie umieszcza dane i obliczenia przy użyciu zaawansowanych nowych algorytmów
- Integracja HDFS
- Potężne zestawy narzędzi do uczenia maszynowego
Zestawy narzędzi GraphLab
Oprócz GraphLab kilka zaimplementowanych bibliotek algorytmów:
- Modelowanie tematyczne — zawiera aplikacje, takie jak LDA , które mogą być używane do grupowania dokumentów i wyodrębniania reprezentacji tematycznych.
- Analiza wykresów — zawiera aplikacje, takie jak PageRank i liczenie trójkątów, które można zastosować do ogólnych wykresów w celu oszacowania struktury społeczności .
- Clustering - zawiera standardowe narzędzia do grupowania danych, takie jak Kmeans
- Filtrowanie oparte na współpracy — zawiera zbiór aplikacji służących do przewidywania zainteresowań użytkowników i rozkładania na czynniki dużych macierzy .
- Modele graficzne - zawiera narzędzia do tworzenia łącznych predykcji o zbiorach powiązanych zmiennych losowych.
- Wizja komputerowa - zawiera zbiór narzędzi do wnioskowania o obrazach.
Nagradzane oprogramowanie
Rozwiązanie oparte na kolaboracyjnej bibliotece filtrującej Graphlab zajęło 5. miejsce w ACM Yahoo! Wyzwanie KDD CUP , ścieżka 1, spośród ponad 1000 uczestników. Zespół LeBuShiShu użył mieszanki 12 różnych algorytmów i wdrożył 10 000 godzin procesora na superkomputerze BlackLight . Większość wykorzystywanych algorytmów i technik jest teraz częścią GraphLab Collaborative FIltering Toolkit .
Turi
Turi (dawniej Dato, a wcześniej GraphLab Inc.) to firma założona przez prof. Carlosa Guestrina z University of Washington w maju 2013 roku w celu dalszego wspierania rozwoju projektu open source GraphLab. Dato Inc. pozyskała 6,75 mln USD serii A od Madrona Venture Group i New Enterprise Associates (NEA). Zebrali serię B o wartości 18,5 miliona dolarów od Vulcan Capital i Opus Capital, z udziałem Madrony i NEA. 5 sierpnia 2016 r. Firma Turi została przejęta przez Apple Inc. za 200 000 000 USD.
- ^ Joseph Gonzalez, Yucheng Low, Haijie Gu, Danny Bickson, Carlos Guestrin (2012). „PowerGraph: rozproszone obliczenia równoległe wykresów na wykresach naturalnych”. Postępowanie w zakresie projektowania i wdrażania systemów operacyjnych (OSDI).
- ^ Yucheng Low, Joseph Gonzalez, Aapo Kyrola, Danny Bickson, Carlos Guestrin i Joseph M. Hellerstein (2012). „Rozproszone GraphLab: ramy uczenia maszynowego i eksploracji danych w chmurze”. Postępowanie z bardzo dużych baz danych (PVLDB).
- ^ Y. Low, J. Gonzalez, A. Kyrola, D. Bickson, C. Guestrin i J. Hellerstein. GraphLab: nowe ramy dla równoległego uczenia maszynowego. W 26th Conference on Uncertainty in Artificial Intelligence (UAI), Catalina Island, USA, 2010
- ^ „GraphLab: rozproszony interfejs API grafów równoległych: modelowanie tematów” . Zarchiwizowane od oryginału w dniu 2013-06-04 . Źródło 2013-05-14 .
- ^ "GraphLab: rozproszony interfejs API grafów równoległych: analiza wykresów" . Zarchiwizowane od oryginału w dniu 18.02.2013 . Źródło 2013-05-14 .
- ^ „Biblioteka klastrowania GraphLab” . Zarchiwizowane od oryginału w dniu 2016-12-21 . Źródło 2016-12-01 .
- ^ „GraphLab: wspólna biblioteka filtrująca przy użyciu metod faktoryzacji macierzy” . Zarchiwizowane od oryginału w dniu 2016-12-20 . Źródło 2016-12-01 .
- ^ „GraphLab: rozproszony interfejs API grafów równoległych: modele graficzne” . Zarchiwizowane od oryginału w dniu 2013-05-12 . Źródło 2013-05-14 .
- ^ „GraphLab: rozproszony interfejs API grafów równoległych: wizja komputerowa” . Zarchiwizowane od oryginału w dniu 2013-01-23 . Źródło 2013-05-14 .
- ^ Yao Wu, Qiang Yan, Danny Bickson, Yucheng Low, Qing Yang. Wydajne wielordzeniowe filtrowanie oparte na współpracy. W warsztatach ACM KDD CUP 2011.
- ^ Gage, Deborah (2015-01-08). „GraphLab, teraz Dato, zbiera 18,5 miliona dolarów na aplikacje do uczenia maszynowego” . Blogi WSJ . Źródło 2018-04-11 .
- Bibliografia _ „Apple przejmuje Machine Learning i AI Startup Turi” . Źródło 2016-08-06 .
- ^ „Wyłącznie: Apple przejmuje Turi jako główne wyjście dla uczenia maszynowego i uruchamiania sztucznej inteligencji z siedzibą w Seattle” . 2016-08-05 . Źródło 2016-08-06 .