Standardowa Korporacja ds. Oceny Wydajności
Tworzenie | 1988 |
---|---|
Typ | Korporacja non-profit |
Siedziba | Gainesville , Wirginia |
Członkostwo |
Sprzedawcy sprzętu i oprogramowania, uniwersytety, ośrodki badawcze |
Personel |
5 |
Strona internetowa |
Standard Performance Evaluation Corporation (SPEC) to amerykańska korporacja non-profit , której celem jest „produkcja, ustanowienie, utrzymywanie i wspieranie znormalizowanego zestawu” testów wydajności dla komputerów.
Firma SPEC została założona w 1988 roku. Testy porównawcze SPEC są szeroko stosowane do oceny wydajności systemów komputerowych; wyniki testów są publikowane na stronie internetowej SPEC.
SPEC przekształcił się w organizację patronacką obejmującą cztery różne grupy; Graphics and Workstation Performance Group (GWPG), High Performance Group (HPG), Open Systems Group (OSG) i najnowszy Research Group (RG).
Struktura
- Grupa Systemów Otwartych (OSG)
- Grupa o wysokiej wydajności (HPG)
- Grupa wydajności grafiki i stacji roboczych (GWPG)
- Grupa Badawcza SPEC (RG)
Członkostwo
Członkostwo w SPEC jest otwarte dla każdej zainteresowanej firmy lub podmiotu, który chce zobowiązać się do przestrzegania standardów SPEC. To pozwala:
- Udział w tworzeniu benchmarków
- Udział w przeglądzie wyników
- Bezpłatne oprogramowanie oparte na udziale w grupie
Lista członków jest dostępna na stronie członkostwa SPEC; [1] .
Poziomy członkostwa
- Członkostwo podtrzymujące wymaga opłacania składek i zazwyczaj obejmuje firmy produkujące sprzęt lub oprogramowanie.
- SPEC „Associates” płacą obniżoną opłatę jako organizacje non-profit; zazwyczaj obejmuje środowiska akademickie i organizacje badawcze.
Zestawy porównawcze SPEC
Benchmarki mają na celu przetestowanie sytuacji „z życia wziętych”. Istnieje kilka testów porównawczych testujących scenariusze Java, od prostych obliczeń (SPECjbb) do pełnego systemu z Java EE, bazą danych, dyskiem i siecią (SPECjEnterprise).
Zestawy procesorów SPEC testują wydajność procesora , mierząc czas działania kilku programów, takich jak kompilator GCC , program do chemii gamess i program pogodowy WRF . Różne zadania mają jednakową wagę; nie podejmuje się żadnych prób ważenia ich na podstawie ich postrzeganej ważności. Ogólny wynik jest oparty na średniej geometrycznej.
Chmura
Mierzenie i porównywanie zasobów aprowizacyjnych, obliczeniowych, pamięci masowej i sieciowych platform chmurowych IaaS .
- SPEC Cloud IaaS 2018
- SPEC Cloud IaaS 2016
procesor
Obecnie obsługiwane | Przeszli na emeryturę |
---|---|
|
|
Mierzenie i porównywanie połączonej wydajności procesora, pamięci i kompilatora.
- SPEC CPU2006 zawiera dwa pakiety:
- CINT2006 (" SPECint ") - testowanie arytmetyki liczb całkowitych , z programami takimi jak kompilatory, interpretery, edytory tekstu, programy szachowe itp.
- CFP2006 („ SPECfp ”) - testowanie wydajności zmiennoprzecinkowej , z symulacjami fizycznymi, grafiką 3D, przetwarzaniem obrazu, chemią obliczeniową itp.
- Pakiet SPEC CPU 2017 zawiera cztery pakiety.
- Zestawy SPECspeed 2017 Integer i SPECspeed 2017 Floating Point służą do porównywania czasu, w jakim komputer wykonuje pojedyncze zadania.
- Zestawy SPECrate 2017 Integer i SPECrate 2017 Floating Point mierzą przepustowość lub pracę na jednostkę czasu.
Podręczny
Wydajność grafiki i stacji roboczej
Pomiar wydajności systemu grafiki 3D OpenGL , testowany z różnymi zadaniami renderowania z kilku popularnych rzeczywistych aplikacji intensywnie korzystających z 3D w danym systemie.
Pakiet wzorcowy | Aktualne wydanie | Stare wydania | |
---|---|---|---|
SPECviewperf | SPECviewerf 2020 |
|
|
SPECwpc | SPECwpc v2.1 | ||
SPECapc SM | |||
SPECapc SM dla 3ds Max™ | SPECapc SM dla 3ds Max™ 2015 |
|
|
SPECapc SM dla Mayi | SPECapc SM dla Maya 2017 |
|
|
SPECapc SM dla PTC Creo | SPECapc SM dla PTC Creo 3.0 |
|
|
SPECapc SM dla Siemensa NX | SPECapc SM dla Siemens NX 9.0 i 10.0 |
|
|
SPECapc SM dla SolidWorks | SPECapc SM dla SolidWorks 2017 |
|
SPECwpc
Obliczenia o wysokiej wydajności, OpenMP, MPI, OpenACC, OpenCL
Benchmarkowe apartamenty | Obecnie obsługiwane | Przeszli na emeryturę |
---|---|---|
HPC | (nic) |
|
OMP |
|
|
MPI |
|
(nic) |
PRZYSPIESZ |
|
(nic) |
OMP
SPEC OMP ( OpenMP ) jest pierwszym testem do oceny wydajności opartym na aplikacjach OpenMP, do pomiaru wydajności systemów SMP (Shared memory Multi-Processor, czyli UMA ).
Klient/serwer Java
Pakiet wzorcowy | Obecnie obsługiwane | Przeszli na emeryturę | |
---|---|---|---|
Najnowszy | Zostanie emerytem | ||
jAppServer | (nic) | (nic) |
|
JBB |
|
(nic) |
|
jPrzedsiębiorczość |
|
(nic) | (nic) |
JMS |
|
(nic) | (nic) |
JVM |
|
(nic) |
|
JBB
ocenia wydajność Java po stronie serwera, emulując trójwarstwowy system klient/serwer (z naciskiem na warstwę środkową).
j Przedsiębiorstwo
Wielopoziomowy test porównawczy do pomiaru wydajności serwerów aplikacji opartych na technologii Java 2 Enterprise Edition (J2EE).
Serwery pocztowe
Obecnie obsługiwane | Przeszli na emeryturę |
---|---|
(nic) |
|
Składowanie
Obecnie obsługiwane | Przeszli na emeryturę |
---|---|
|
|
SPEC SFS służy do pomiaru przepustowości i czasu odpowiedzi serwera plików, obsługując zarówno dostęp do protokołu NFS , jak i SMB .
Moc
Obecnie obsługiwane | Przeszli na emeryturę |
---|---|
|
(nic) |
Wirtualizacja
Obecnie obsługiwane | Przeszli na emeryturę |
---|---|
|
|
Serwery WWW
Obecnie obsługiwane | Przeszli na emeryturę |
---|---|
(nic) |
|
Narzędzia SPEC
- Narzędzie oceny wydajności serwera (SERT). Przeznaczony do pomiaru wydajności serwerów, początkowo w ramach drugiej generacji programu ENERGY STAR dla serwerów komputerowych Agencji Ochrony Środowiska Stanów Zjednoczonych (EPA).
- Narzędzie SPEC Chauffeur WDK. Zaprojektowany, aby uprościć opracowywanie obciążeń do pomiaru zarówno efektywności energetycznej, jak i wydajności.
- PTDaemon. Oprogramowanie SPEC PTDaemon służy do sterowania analizatorami mocy w benchmarkach zawierających komponent pomiaru mocy.
Program wyszukiwania wzorców
- SPEC CPUv6, Program wyszukiwania procesorów ma na celu zachęcenie osób spoza SPEC do pomocy w lokalizowaniu aplikacji, które mogłyby być używane w kolejnym zestawie testów porównawczych intensywnie korzystających z procesora, obecnie oznaczonym jako SPEC CPUv6. Przestarzałe teraz.
Wycofane testy porównawcze (brak następcy)
- SPECYFIKACJA SDM91
- SPECsip_infrastructure2011 — test porównawczy jest nadal dostępny do zakupu, ale nie są przyjmowane żadne dodatkowe zgłoszenia wyników, a wsparcie nie jest już oferowane.
Wycofane testy porównawcze (już nieudokumentowane)
- SPECapcSM dla Lightwave 3D 9.6, oprogramowanie do oceny wydajności dla systemów z oprogramowaniem NewTek LightWave 3D v9.6.
- SPEK 2001
- SPECYFIKACJA CPU89
Ruchliwość
Testy porównawcze SPEC są napisane w przenośnym języku programowania (zwykle C , C#, Java lub Fortran ), a zainteresowane strony mogą skompilować kod przy użyciu dowolnego kompilatora preferowanego dla swojej platformy, ale nie mogą go zmieniać. Wiadomo, że producenci optymalizują swoje kompilatory, aby poprawić wydajność różnych testów porównawczych SPEC. SPEC ma zasady, które próbują ograniczyć takie optymalizacje.
Koncesjonowanie
Aby skorzystać z benchmarku, należy zakupić licencję od SPEC; koszty różnią się w zależności od testu i typowo wahają się od kilkuset do kilku tysięcy dolarów. Ten model płacenia za licencję może wydawać się naruszać GPL, ponieważ testy porównawcze obejmują oprogramowanie takie jak GCC który jest objęty licencją GPL. Jednak licencja GPL nie wymaga, aby oprogramowanie było rozpowszechniane bezpłatnie, a jedynie zezwolenie odbiorcom na redystrybucję otrzymanego oprogramowania objętego licencją GPL; umowa licencyjna SPEC wyraźnie wyłącza elementy objęte „licencjami wymagającymi bezpłatnej dystrybucji”, a same pliki są umieszczane w oddzielnej części całego pakietu oprogramowania.
- Kant, Kryszna (1992). Wprowadzenie do oceny wydajności systemu komputerowego . Nowy Jork: McGraw-Hill Inc., s. 16–17 . ISBN 0-07-033586-9 .