Standardowa Korporacja ds. Oceny Wydajności

Standardowa Korporacja ds. Oceny Wydajności
Tworzenie 1988
Typ Korporacja non-profit
Siedziba Gainesville , Wirginia
Członkostwo
Sprzedawcy sprzętu i oprogramowania, uniwersytety, ośrodki badawcze
Personel
5
Strona internetowa www .spec .org

Standard Performance Evaluation Corporation (SPEC) to amerykańska korporacja non-profit , której celem jest „produkcja, ustanowienie, utrzymywanie i wspieranie znormalizowanego zestawu” testów wydajności dla komputerów.

Firma SPEC została założona w 1988 roku. Testy porównawcze SPEC są szeroko stosowane do oceny wydajności systemów komputerowych; wyniki testów są publikowane na stronie internetowej SPEC.

SPEC przekształcił się w organizację patronacką obejmującą cztery różne grupy; Graphics and Workstation Performance Group (GWPG), High Performance Group (HPG), Open Systems Group (OSG) i najnowszy Research Group (RG).

Struktura

  • Grupa Systemów Otwartych (OSG)
  • Grupa o wysokiej wydajności (HPG)
  • Grupa wydajności grafiki i stacji roboczych (GWPG)
  • Grupa Badawcza SPEC (RG)

Członkostwo

Członkostwo w SPEC jest otwarte dla każdej zainteresowanej firmy lub podmiotu, który chce zobowiązać się do przestrzegania standardów SPEC. To pozwala:

  • Udział w tworzeniu benchmarków
  • Udział w przeglądzie wyników
  • Bezpłatne oprogramowanie oparte na udziale w grupie

Lista członków jest dostępna na stronie członkostwa SPEC; [1] .

Poziomy członkostwa

  • Członkostwo podtrzymujące wymaga opłacania składek i zazwyczaj obejmuje firmy produkujące sprzęt lub oprogramowanie.
  • SPEC „Associates” płacą obniżoną opłatę jako organizacje non-profit; zazwyczaj obejmuje środowiska akademickie i organizacje badawcze.

Zestawy porównawcze SPEC

Benchmarki mają na celu przetestowanie sytuacji „z życia wziętych”. Istnieje kilka testów porównawczych testujących scenariusze Java, od prostych obliczeń (SPECjbb) do pełnego systemu z Java EE, bazą danych, dyskiem i siecią (SPECjEnterprise).

Zestawy procesorów SPEC testują wydajność procesora , mierząc czas działania kilku programów, takich jak kompilator GCC , program do chemii gamess i program pogodowy WRF . Różne zadania mają jednakową wagę; nie podejmuje się żadnych prób ważenia ich na podstawie ich postrzeganej ważności. Ogólny wynik jest oparty na średniej geometrycznej.

Chmura

Mierzenie i porównywanie zasobów aprowizacyjnych, obliczeniowych, pamięci masowej i sieciowych platform chmurowych IaaS .

  • SPEC Cloud IaaS 2018
  • SPEC Cloud IaaS 2016

procesor

Obecnie obsługiwane Przeszli na emeryturę
  • SPEC CPU2017
  • SPECYFIKACJA CPU2006
  • SPECYFIKACJA CPU2000
  • SPECYFIKACJA CPU95
  • SPECYFIKACJA CPU92

Mierzenie i porównywanie połączonej wydajności procesora, pamięci i kompilatora.

Podręczny

Wydajność grafiki i stacji roboczej

Pomiar wydajności systemu grafiki 3D OpenGL , testowany z różnymi zadaniami renderowania z kilku popularnych rzeczywistych aplikacji intensywnie korzystających z 3D w danym systemie.

Pakiet wzorcowy Aktualne wydanie Stare wydania
SPECviewperf SPECviewerf 2020
  • SPECviewerf 13
  • SPECviewerf 12
  • SPECviewerf 11
SPECwpc SPECwpc v2.1
SPECapc SM
SPECapc SM dla 3ds Max™ SPECapc SM dla 3ds Max™ 2015
  • SPECapc dla 3ds Max™ 2011
SPECapc SM dla Mayi SPECapc SM dla Maya 2017
  • SPECapc SM dla Maya 2012
SPECapc SM dla PTC Creo SPECapc SM dla PTC Creo 3.0
  • SPECapc SM dla PTC Creo 2.0
SPECapc SM dla Siemensa NX SPECapc SM dla Siemens NX 9.0 i 10.0
  • SPECapc SM dla Siemens NX 8.5
SPECapc SM dla SolidWorks SPECapc SM dla SolidWorks 2017
  • SPECapc SM dla SolidWorks 2013

SPECwpc

Obliczenia o wysokiej wydajności, OpenMP, MPI, OpenACC, OpenCL

Benchmarkowe apartamenty Obecnie obsługiwane Przeszli na emeryturę
HPC (nic)
  • SPEC HPC2002
  • SPECYFIKACJA HPC96
OMP
  • SPECYFIKACJA OMP2012
  • SPEC OMP2001 V3.2
MPI
  • SPEC MPI2007
(nic)
PRZYSPIESZ
  • SPEC ACCEL
(nic)
OMP

SPEC OMP ( OpenMP ) jest pierwszym testem do oceny wydajności opartym na aplikacjach OpenMP, do pomiaru wydajności systemów SMP (Shared memory Multi-Processor, czyli UMA ).

Klient/serwer Java

Pakiet wzorcowy Obecnie obsługiwane Przeszli na emeryturę
Najnowszy Zostanie emerytem
jAppServer (nic) (nic)
  • SPECjAppServer2004
  • SPECjAppServer2002
  • SPECjAppServer2001
JBB
  • SPECjbb2015
(nic)
  • SPECjbb2013
  • SPECjbb2005
  • SPECjbb2000
jPrzedsiębiorczość
  • Profil internetowy SPECjEnterprise 2018
  • SPECjEnterprise 2010
(nic) (nic)
JMS
  • SPECjms2007
(nic) (nic)
JVM
  • SPECjvm2008
(nic)
  • SPECjvm98

JBB

ocenia wydajność Java po stronie serwera, emulując trójwarstwowy system klient/serwer (z naciskiem na warstwę środkową).

j Przedsiębiorstwo

Wielopoziomowy test porównawczy do pomiaru wydajności serwerów aplikacji opartych na technologii Java 2 Enterprise Edition (J2EE).

Serwery pocztowe

Obecnie obsługiwane Przeszli na emeryturę
(nic)
  • SPECmail2009
  • SPECmail2008
  • SPECmail2001

Składowanie

Obecnie obsługiwane Przeszli na emeryturę
  • SPEC SFS 2014
  • SPECsfs2008
  • SPEC SFS97_R1 (3.0)
  • SPECYFIKACJA SFS97 (2.0)
  • SPECYFIKACJA SFS93 (LADDIS)

SPEC SFS służy do pomiaru przepustowości i czasu odpowiedzi serwera plików, obsługując zarówno dostęp do protokołu NFS , jak i SMB .

Moc

Obecnie obsługiwane Przeszli na emeryturę
  • SPECpower_ssj 2008
(nic)

Wirtualizacja

Obecnie obsługiwane Przeszli na emeryturę
  • SPEC virt_sc2010

Serwery WWW

Obecnie obsługiwane Przeszli na emeryturę
(nic)
  • SPECweb2009
  • SPECweb2005
  • SPECweb96
  • SPECweb99
  • SPECweb99_SSL

Narzędzia SPEC

  • Narzędzie oceny wydajności serwera (SERT). Przeznaczony do pomiaru wydajności serwerów, początkowo w ramach drugiej generacji programu ENERGY STAR dla serwerów komputerowych Agencji Ochrony Środowiska Stanów Zjednoczonych (EPA).
  • Narzędzie SPEC Chauffeur WDK. Zaprojektowany, aby uprościć opracowywanie obciążeń do pomiaru zarówno efektywności energetycznej, jak i wydajności.
  • PTDaemon. Oprogramowanie SPEC PTDaemon służy do sterowania analizatorami mocy w benchmarkach zawierających komponent pomiaru mocy.

Program wyszukiwania wzorców

  • SPEC CPUv6, Program wyszukiwania procesorów ma na celu zachęcenie osób spoza SPEC do pomocy w lokalizowaniu aplikacji, które mogłyby być używane w kolejnym zestawie testów porównawczych intensywnie korzystających z procesora, obecnie oznaczonym jako SPEC CPUv6. Przestarzałe teraz.

Wycofane testy porównawcze (brak następcy)

  • SPECYFIKACJA SDM91
  • SPECsip_infrastructure2011 — test porównawczy jest nadal dostępny do zakupu, ale nie są przyjmowane żadne dodatkowe zgłoszenia wyników, a wsparcie nie jest już oferowane.

Wycofane testy porównawcze (już nieudokumentowane)

  • SPECapcSM dla Lightwave 3D 9.6, oprogramowanie do oceny wydajności dla systemów z oprogramowaniem NewTek LightWave 3D v9.6.
  • SPEK 2001
  • SPECYFIKACJA CPU89

Ruchliwość

Testy porównawcze SPEC są napisane w przenośnym języku programowania (zwykle C , C#, Java lub Fortran ), a zainteresowane strony mogą skompilować kod przy użyciu dowolnego kompilatora preferowanego dla swojej platformy, ale nie mogą go zmieniać. Wiadomo, że producenci optymalizują swoje kompilatory, aby poprawić wydajność różnych testów porównawczych SPEC. SPEC ma zasady, które próbują ograniczyć takie optymalizacje.

Koncesjonowanie

Aby skorzystać z benchmarku, należy zakupić licencję od SPEC; koszty różnią się w zależności od testu i typowo wahają się od kilkuset do kilku tysięcy dolarów. Ten model płacenia za licencję może wydawać się naruszać GPL, ponieważ testy porównawcze obejmują oprogramowanie takie jak GCC który jest objęty licencją GPL. Jednak licencja GPL nie wymaga, aby oprogramowanie było rozpowszechniane bezpłatnie, a jedynie zezwolenie odbiorcom na redystrybucję otrzymanego oprogramowania objętego licencją GPL; umowa licencyjna SPEC wyraźnie wyłącza elementy objęte „licencjami wymagającymi bezpłatnej dystrybucji”, a same pliki są umieszczane w oddzielnej części całego pakietu oprogramowania.

Linki zewnętrzne