Główny plan testów i oceny

Główny plan testów i oceny ( TEMP ) to krytyczny aspekt zarządzania projektami obejmującymi złożone systemy, które muszą spełniać wymagania specyfikacji. TEMP służy do obsługi zdarzeń programowych zwanych decyzjami dotyczącymi kamieni milowych, które oddzielają poszczególne fazy projektu. W przypadku systemów wojskowych poziom finansowania określa kategorię nabycia i organizację odpowiedzialną za decyzję dotyczącą kamienia milowego.

Macierz identyfikowalności jest zwykle używana do łączenia pozycji w TEMP z pozycjami w specyfikacjach .

Definicja

Główny plan testów i oceny dokumentuje ogólną strukturę i cele testów i oceny dla programu. Obejmuje działania w cyklu życia programu i określa kryteria oceny testerów.

Główny plan testów i oceny składa się z poszczególnych testów. Każdy test zawiera następujące elementy.

Scenariusz testowy
Gromadzenie danych
Ocena wydajności

Scenariusz testowy

Scenariusz testowy określa warunki testowe. Jest to zwykle związane z określonym profilem misji. W przypadku systemów wojskowych byłby to scenariusz bojowy i może obejmować test i ocenę ognia na żywo (LFT&E). W przypadku systemów komercyjnych wiązałoby się to ze szczególnym rodzajem sytuacji związanej z użyciem opracowywanego elementu.

$w$ niskich temperaturach może wymagać oceny działania w temperaturach poniżej przy użyciu komory środowiskowej Ocena współpracy z interfejsem pojazdu może wymagać oceny kompatybilności z testem wibracyjnym . Ocena sklepu internetowego wymagałaby, aby system przeprowadził użytkownika przez proces zakupu produktu, podczas gdy system jest obciążony innym ruchem.

Scenariusz testowy identyfikuje następujące elementy.

Elementy wymagane do testów
Instrukcje dotyczące ustawiania przedmiotów, które będą używane podczas testu
Ogólny opis obsługi testowanego systemu
Konkretne działania i wydarzenia, które będą miały miejsce podczas testu

Zbieranie danych

Zbieranie danych identyfikuje informacje, które muszą być zebrane podczas testu. Obejmuje to wstępną konfigurację przed rozpoczęciem testu. Może to obejmować przygotowanie do któregokolwiek z poniższych.

Ustawienia dla testowanego systemu
Oddzielne oprzyrządowanie
Pisemne notatki z bezpośredniej obserwacji
Kolekcja próbek

Systemy zawierające komputer zwykle wymagają możliwości wyodrębniania i rejestrowania określonych rodzajów danych z systemu podczas jego normalnej pracy.

Elektroniczne zbieranie danych można uruchamiać i zatrzymywać jako jedną z czynności opisanych w scenariuszu testowym.

Gdy dostęp do danych jest ograniczony, więc przesyłanie danych między organizacjami może wymagać planu gromadzenia danych . Może się to zdarzyć w przypadku tajnych systemów wojskowych .

Dane są analizowane po zakończeniu testów. Ta analiza nazywana jest oceną wydajności.

Ocena wydajności

Miary skuteczności to specyficzne mierniki, które służą do mierzenia wyników w ogólnej misji i realizacji wyznaczonych zadań.

Mogą one mieć elastyczne limity wydajności związane z wynikiem określonego zdarzenia. Na przykład pierwszy pocisk wystrzelony z działa wycelowanego za pomocą radaru nie miałby wpływu na określone miejsce, ale położenie można zmierzyć za pomocą radaru, więc system powinien być w stanie wystrzelić pocisk w określonym promieniu po kilku strzałach zwolniony. Liczba rund wymaganych do wylądowania w limicie to MOE. Promień byłby miarą wydajności (MOP).

Miary wydajności to określone metryki, które mają limit wyniku pozytywnego lub negatywnego, który musi być spełniony. Są one zazwyczaj identyfikowane za pomocą słów „musi” lub „musi” w specyfikacji.

Jednym z rodzajów MOP jest odległość, jaką pojazd z określonym ładunkiem musi przebyć z określoną prędkością, zanim skończy mu się paliwo.

Innym rodzajem MOP jest odległość, z jakiej radar może wykryć reflektor o powierzchni 1 metra kwadratowego.

Miary przydatności oceniają zdolność do uzyskania wsparcia w zamierzonym środowisku operacyjnym.

Jako przykład może to być ocena średniego czasu między awariami (MTBF), który jest oceniany podczas innych testów. System z nadmiernymi awariami może spełniać wszystkie inne wymagania i nie nadawać się do użytku. Pistolet, który zacina się, gdy jest brudny, nie nadaje się do użytku wojskowego.

Wymagania te są związane z właściwościami.

Niezawodność
Dostępność
Łatwość konserwacji
Wsparcie
Użyteczność

Zamiar

Wyniki oceny TEMP są wykorzystywane do wielu celów.

Odrzucenie: decyzja o zakończeniu finansowania
Przeprojektowanie: modyfikacja i ponowne przetestowanie decyzji o finansowaniu
Produkcja o pełnej stawce: akceptacja decyzji o finansowaniu
Planowanie misji

Planowanie misji obejmuje tłumaczenie MOE, MOP i MOS na następujące.

Wymagana zdolność operacyjna (ROC)
Przewidywane środowisko operacyjne (POE)
Testy diagnostyczne za pomocą wbudowanego testu (BIT) lub planowanej konserwacji

ROC i POE to określone oczekiwania oceniane przez TEMP, które są wykorzystywane do określenia, w jaki sposób rozmieścić zasoby, aby spełnić określone wymagania misji. Testy diagnostyczne zapewniają spełnienie tych oczekiwań przez cały czas trwania misji.

Inne zastosowania

Termin „główny plan testów i oceny” jako odrębny ogólny przewodnik po funkcjach testowania i oceny w opracowaniu był również używany przez australijski Departament Obrony. Inni używają tego terminu lub podobnych terminów, takich jak „Master Test and Evaluation Plan”.

Zobacz też

Przewodnik po pozyskiwaniu obronności (DAG), sekcja 9 Testy i ocena

Linki zewnętrzne