Ocena prawdopodobieństwa bezwzględnego

Bezwzględna ocena prawdopodobieństwa to technika stosowana w dziedzinie oceny niezawodności człowieka (HRA) w celu oceny prawdopodobieństwa błędu ludzkiego występujące w trakcie wykonywania określonego zadania. Na podstawie takich analiz można następnie podjąć środki w celu zmniejszenia prawdopodobieństwa wystąpienia błędów w systemie, a tym samym doprowadzić do poprawy ogólnego poziomu bezpieczeństwa. Istnieją trzy główne powody przeprowadzania HRA; identyfikacja błędów, kwantyfikacja błędów i redukcja błędów. Ponieważ istnieje wiele technik wykorzystywanych do takich celów, można je podzielić na jedną z dwóch klasyfikacji; techniki pierwszej generacji i techniki drugiej generacji. Techniki pierwszej generacji działają w oparciu o prostą dychotomię „pasuje/nie pasuje” w dopasowywaniu sytuacji błędu w kontekście powiązanej identyfikacji i kwantyfikacji błędów, a techniki drugiej generacji są bardziej oparte na teorii w ocenie i kwantyfikacji błędów . „Techniki HRA zostały wykorzystane w wielu gałęziach przemysłu, w tym medyczny , inżynieryjny , jądrowy, transportowy i biznesowy; każda technika ma różne zastosowania w różnych dyscyplinach.

Ocena prawdopodobieństwa bezwzględnego, znana również jako bezpośrednie oszacowanie numeryczne , opiera się na kwantyfikacji prawdopodobieństwa błędu ludzkiego (HEP). Opiera się na założeniu, że ludzie nie mogą sobie przypomnieć lub nie są w stanie oszacować z całą pewnością prawdopodobieństwa wystąpienia danego zdarzenia. Ocena eksperta jest zwykle pożądana do wykorzystania w technice, gdy jest mało danych lub nie ma ich wcale, na podstawie których można obliczyć HEP, lub gdy dane są nieodpowiednie lub trudne do zrozumienia. Teoretycznie wiedza jakościowa zbudowana dzięki doświadczeniu ekspertów może zostać przełożona na dane ilościowe takich jak HEP.

Od ekspertów wymagany jest dobry poziom zarówno doświadczenia merytorycznego (tj. ekspert musi posiadać odpowiedni poziom wiedzy z dziedziny problemowej), jak i normatywnego (tj. ekspert musi mieć możliwość, być może przy pomocy facylitatora , przełożyć tę wiedzę jawnie na prawdopodobieństwa). Jeżeli eksperci posiadają wymaganą wiedzę merytoryczną, ale brakuje im wiedzy o charakterze normatywnym, eksperci mogą zostać przeszkoleni lub otrzymać pomoc w zapewnieniu, że wiedza i doświadczenie, które mają zostać uchwycone, zostaną przełożone na odpowiednie prawdopodobieństwa, tj. wyroki biegłych.

Tło

prawdopodobieństwa bezwzględnego jest podejściem opartym na ocenie eksperckiej, które polega na wykorzystaniu przekonań ekspertów (np. pracowników pierwszej linii, inżynierów procesowych itp.) do oszacowania HEP. Istnieją dwie podstawowe formy tej techniki; Metody grupowe i metody pojedynczego eksperta, tj. można to zrobić jako ćwiczenie grupowe lub indywidualne. Metody grupowe są zwykle bardziej popularne i powszechnie stosowane, ponieważ są bardziej niezawodne i mniej podatne na stronniczość . Co więcej, w kontekście użytkowania rzadko zdarza się, aby pojedyncza osoba posiadała wszystkie wymagane informacje i wiedzę fachową, aby móc jedynie dokładnie oszacować wiarygodność danego człowieka. W podejściu grupowym wynik agregacji indywidualnej wiedzy i opinii jest bardziej wiarygodny.

Metodologie

Istnieją 4 główne grupy metod, za pomocą których można przeprowadzić ocenę prawdopodobieństwa bezwzględnego.

Zagregowana metoda indywidualna

Korzystając z tej metody, eksperci dokonują swoich szacunków indywidualnie, bez faktycznego spotkania lub omówienia zadania. Szacunki są następnie agregowane poprzez średnią geometryczną szacunków poszczególnych ekspertów dla każdego zadania. Główną wadą tej metody jest to, że nie ma wspólnej wiedzy eksperckiej w ramach grupy; jednak zaletą tego jest to, że ze względu na indywidualność procesu unika się wszelkich konfliktów, takich jak dominujące osobowości lub sprzeczne osobowości, a zatem wyniki są wolne od jakichkolwiek uprzedzeń.

Metoda Delphi

Metoda Delphi , opracowana przez Dalkeya, jest bardzo podobna do Agregowanej Metody Indywidualnej, ponieważ eksperci dokonują wstępnych szacunków w izolacji. Jednak po tym etapie ekspertom przedstawia się wynik, do którego doszli wszyscy pozostali uczestnicy, a następnie mogą ponownie rozważyć wstępne szacunki. Ponowne oszacowania są następnie agregowane przy użyciu średniej geometrycznej . Pozwala to na dzielenie się pewnymi informacjami , przy jednoczesnym uniknięciu większości uprzedzeń kierowanych przez grupę; jednak nadal pozostaje problem braku dyskusji.

Technika grupy nominalnej (NGT)

Ta technika wykorzystuje metodę Delphi i wprowadza ograniczoną dyskusję/konsultacje między ekspertami. W ten sposób dzielenie się informacjami jest lepsze, a dominacja grupy jest łagodzona dzięki temu, że eksperci osobno dochodzą do własnych wniosków przed zagregowaniem wyników HEP.

Metoda grupy konsensusu

Jest to podejście najbardziej skoncentrowane na grupie i wymaga, aby grupa osiągnęła konsensus w sprawie szacunków HEP w drodze dyskusji i wzajemnego porozumienia. Ta metoda maksymalizuje dzielenie się wiedzą i wymiany pomysłów, a także promuje równe szanse udziału w dyskusji. Koordynacja może jednak okazać się logistycznie niezręczna, ponieważ wymaga, aby wszyscy eksperci znajdowali się razem w tym samym miejscu, aby dyskusja mogła się odbyć. Ze względu na ten techniczny charakter, osobowości i inne mechanizmy uprzedzeń, takie jak nadmierna pewność siebie, niedawna dostępność i zakotwiczenie, mogą stać się czynnikiem, zwiększając w ten sposób możliwość wypaczenia wyników. Jeśli zaistnieje okoliczność, w której następuje impas lub załamanie dynamiki grupy , wówczas konieczny staje się powrót do jednej z pozostałych grupowych metod oceny prawdopodobieństwa bezwzględnego.

Procedura

1. Wybierz ekspertów merytorycznych

Wybrani eksperci muszą posiadać dobrą praktyczną wiedzę na temat zadań, które mają zostać ocenione. Właściwa liczba ekspertów zależy od tego, co wydaje się najbardziej praktyczne, przy uwzględnieniu wszelkich ograniczeń, takich jak dostępność przestrzenna i finansowa. Jednak im większa grupa, tym większe prawdopodobieństwo wystąpienia problemów.

2. Przygotuj zestawienie zadań

Instrukcje zadań są niezbędnym elementem metody; zadania są szczegółowo określone. Im pełniejsze wyjaśnienie zadania w oświadczeniu, tym mniejsze prawdopodobieństwo, że eksperci będą uciekać się do indywidualnych domysłów na temat zadań. Oświadczenie powinno również gwarantować, że wszelkie założenia są jasno sformułowane w formacie zrozumiałym dla wszystkich ekspertów. Optymalny poziom szczegółowości będzie zależał od charakteru rozważanego zadania i wymaganego wykorzystania ostatecznego oszacowania HEP.

3. Przygotuj broszurę z odpowiedziami Broszury te szczegółowo opisują zadanie i projekt skali do wykorzystania w ocenie prawdopodobieństwa popełnienia błędu i za pomocą której eksperci mogą wskazać swoje osądy. Skala musi być taka, aby różnice były widoczne. W książeczce znajdują się również instrukcje, założenia oraz przykładowe pozycje.

4. Opracuj instrukcje dla przedmiotów

Wymagane jest poinstruowanie ekspertów, aby podać przyczyny sesji, w przeciwnym razie mogą oni odgadnąć przyczyny, które mogą spowodować błąd w uzyskanych ocenach wiarygodności człowieka .

5. Uzyskaj wyroki

Eksperci są zobowiązani do ujawnienia swoich osądów na temat każdego z zadań; można to zrobić w grupie lub indywidualnie. Jeśli odbywa się to w ten pierwszy sposób, często wykorzystuje się facylitatora, aby zapobiec wszelkim uprzedzeniom i pomóc w przezwyciężeniu wszelkich problemów.

6. Oblicz spójność między sędziami

Jest to metoda, za pomocą której można porównać różnice w szacunkach HEP poszczególnych ekspertów; do takich celów stosuje się sformułowanie statystyczne.

7. Agreguj poszczególne szacunki

Tam, gdzie nie stosuje się metod konsensusu grupowego, konieczne jest obliczenie agregatu dla każdego z indywidualnych oszacowań dla każdego HEP.

8. Szacowanie związane z niepewnością Obliczone przy użyciu metod statystycznych obejmujących przedziały ufności.

Działający przykład

Kontekst

W tym przykładzie ocena prawdopodobieństwa bezwzględnego została wykorzystana przez Eurocontrol w centrum eksperymentalnym w Brétigny-sur-Orge w Paryżu , przy użyciu metodologii konsensusu grupowego.

Wymagane dane wejściowe

Personel na każdym szczeblu biorący udział w sesji po kolei przedstawiał szacunki prawdopodobieństwa wystąpienia błędu, w tym personel naziemny, piloci i kontrolerzy. Przed rozpoczęciem sesji przeprowadzono ćwiczenie wprowadzające, aby uczestnicy mogli poczuć się bardziej komfortowo z użyciem techniki; obejmowało to wyjaśnienie tła metody i zapewniało przegląd tego, z czym będzie wiązała się sesja. W celu zwiększenia znajomości metody wykorzystano przykładowe szablony pokazujące, w jaki sposób szacowane są błędy.

metoda

• Wstępne zestawienia zadań projektu zostały stworzone, pozostawiając miejsce na indywidualną opinię na temat szacunków zadań i dodatkowych założeń, z których grupa mogła wspólnie zrezygnować.
• Odbyła się sesja, podczas której poszczególne scenariusze i zadania zostały dokładnie uszczegółowione ekspertom
• Dzięki tej wiedzy eksperci mogli następnie wprowadzić indywidualne szacunki dla wszystkich rozważanych zadań
• Nastąpiła dyskusja, w której wszyscy uczestnicy mieli możliwość wyrażenia swojej opinii reszcie grupy
• Następnie zastosowano facylitację w celu osiągnięcia konsensusu grupowego co do wartości szacunkowych. Dalsza dyskusja i poprawki miały miejsce, gdy było to konieczne.

W czasie trwania sesji okazało się, że łatwość, z jaką eksperci byli w stanie dojść do konsensusu, była niska w odniesieniu do różnych szacunków różnych wartości HEP. Dyskusje często zmieniały myślenie jednostek, np. w świetle nowych informacji lub interpretacji, ale nie ułatwiało to osiągania porozumienia. Ze względu na tę trudność konieczne było zatem zagregowanie poszczególnych szacunków w celu obliczenia ich średniej geometrycznej. W poniższej tabeli przedstawiono przykład uzyskanych wyników.

Tabela: Ocena prawdopodobieństwa bezwzględnego pilota Sesja – wyciąg wyników

Potencjalny błąd (kod w modelu ryzyka)	Maksymalny	Minimum	Zakres	Średnia geometryczna
C1a	1.1E-03	2.0E-05	55	2.1E-04
C1b	2.5E-04	1.0E-05	25	3.5E-05
D1	1.0E-03	1.0E-04	10	4.3E-04
F1a	4.0E-04	1.0E-05	40	6.9E-05
F1b	1.0E-03	1.0E-04	10	4.0E-04
F1c	1.0E-03	1.0E-04	10	4.6E-04

W różnych przypadkach rozpiętość liczb oddzielających wartości maksymalne i minimalne okazała się zbyt duża, aby można było z całą pewnością przyjąć wartość zagregowaną. Wartości te są zdarzeniami w modelu ryzyka, które wymagają kwantyfikacji. W modelu mogą wystąpić 3 podstawowe błędy:

• C1: Przechwycenie fałszywych informacji o końcowej ścieżce podejścia
• D1: Brak utrzymania klimatyzacji na końcowej ścieżce podejścia
• F1: Wybór niewłaściwego pasa startowego

Było wiele powodów, które mogą wyjaśnić przyczyny tak dużej różnicy w szacunkach przedstawionych przez grupę: grupa ekspertów była bardzo zróżnicowana, a doświadczenia poszczególnych osób różne. Doświadczenie z naziemnym systemem wspomagania (GBAS) również wykazało różnice. Proces ten był nowym doświadczeniem dla wszystkich ekspertów biorących udział w procesie i był tylko jeden dzień, w którym odbywała się sesja, aby zapoznać się z jego zastosowaniem i prawidłowo go używać. Najbardziej znaczący był fakt, że szczegółowość ocen była bardzo dobra, do czego personel nie był przyzwyczajony. Eksperci byli również zdezorientowani co do sposobu przeprowadzenia oceny; błędy nie były rozpatrywane osobno i były analizowane jako grupa. Oznaczało to, że oszacowane wartości reprezentowały wkład błędu w awarię systemu, a nie pojedynczy wkład w awarię systemu.

Wyniki/wyniki

• Kontrolerzy i piloci przedstawili dobre oszacowania błędów, które zostały wykorzystane w niektórych przypadkach związanych z bezpieczeństwem
• Uczestnicy podkreślili, że rozumieją, jak ważny jest ich udział w procesie dostarczania wiedzy specjalistycznej, w przeciwieństwie do korzystania z usług zewnętrznych analityków bezpieczeństwa, tj. rozumieli swoją rolę w przeprowadzaniu oceny niezawodności systemu przez ludzi
• Eksperci otrzymali realistyczną reprezentację działania człowieka w systemie, a co za tym idzie dalsze wymagania bezpieczeństwa wymagane w celu poprawy bezpieczeństwa i zmniejszenia prawdopodobieństwa wystąpienia zidentyfikowanych błędów. Jest to szczególnie korzystne; na przyszłość GBAS.

Lekcje z badania

• Potrzebny jest czas na zapoznanie się z metodologią i zrozumienie, co należy zrobić w danym kontekście
• Od ekspertów wymaga się zrozumienia okoliczności, w których HEP są warunkowe
• Konieczne jest włączenie w proces prawdziwych ekspertów i to w znacznej liczbie, aby umożliwić zebranie niezbędnych informacji.
• Wykorzystanie w procesie istniejących informacji jest zawsze pomocne dla celów standaryzacji

Zalety

• Metoda jest stosunkowo szybka i prosta w zastosowaniu. Przy większym stopniu dyskusji grupowej przy użyciu tej techniki powstaje więcej danych jakościowych; można to uznać za użyteczny produkt uboczny oceny.
• Ocena prawdopodobieństwa bezwzględnego nie jest ograniczona ani wyspecjalizowana do użytku w określonej dziedzinie; można ją łatwo zastosować do HRA w dowolnym sektorze przemysłowym, co czyni ją ogólną techniką do wykorzystania w szerokim zakresie potencjalnych zastosowań.[5]
• Przydatne sugestie mogą wyniknąć z dyskusji na temat sposobów, w jakie można osiągnąć redukcję błędów

Niedogodności

• Bezwzględny osąd prawdopodobieństwa jest podatny na pewne uprzedzenia i konflikty grupowe lub problemy. Wybór właściwej metodologii grupowej lub wysokiej jakości facylitacja grupowa może zmniejszyć wpływ tych uprzedzeń i zwiększyć ważność wyników.
• Znalezienie odpowiednich ekspertów do oceny prawdopodobieństwa bezwzględnego jest trudnym etapem procesu, tym bardziej ze względu na niejednoznaczność, z jaką można zdefiniować termin „ekspert”
• Ponieważ szacunki ekspertów mogą opierać się na niewielkim empirycznym i/lub ilościowym uzasadnieniu lub może nie istnieć wcale, trudno jest mieć pewność co do ważności ostatecznych HEP, tj. nie ma środków, za pomocą których można by zweryfikować domysły