Wytłumaczalna sztuczna inteligencja

Wyjaśnialna sztuczna inteligencja ( XAI ) lub zrozumiała sztuczna inteligencja lub wytłumaczalne uczenie maszynowe ( XML ) to sztuczna inteligencja (AI), w której ludzie mogą zrozumieć decyzje lub przewidywania dokonane przez sztuczną inteligencję. Kontrastuje to z koncepcją „ czarnej skrzynki ” w uczeniu maszynowym, w której nawet jej projektanci nie potrafią wyjaśnić, dlaczego sztuczna inteligencja podjęła określoną decyzję. Udoskonalając modele mentalne użytkowników systemów opartych na sztucznej inteligencji i obalając ich błędne przekonania, XAI obiecuje pomóc użytkownikom w wydajniejszym działaniu. XAI może być realizacją społecznego prawa do wyjaśnień . XAI jest istotne, nawet jeśli nie ma prawa ani wymogu regulacyjnego. Na przykład XAI może poprawić doświadczenie użytkownika związane z produktem lub usługą, pomagając użytkownikom końcowym zaufać, że sztuczna inteligencja podejmuje dobre decyzje. W ten sposób celem XAI jest wyjaśnienie, co zostało zrobione, co jest zrobione w tej chwili, co będzie zrobione w następnej kolejności oraz ujawnienie informacji, na których opierają się działania. Cechy te umożliwiają (i) potwierdzenie istniejącej wiedzy, (ii) zakwestionowanie istniejącej wiedzy oraz (iii) wygenerowanie nowych założeń.

Algorytmy stosowane w sztucznej inteligencji można podzielić na algorytmy uczenia maszynowego (ML) białoskrzynkowe i czarnoskrzynkowe . Modele białoskrzynkowe to modele ML, które dostarczają wyników zrozumiałych dla ekspertów w danej dziedzinie. Z drugiej strony, modele czarnoskrzynkowe są niezwykle trudne do wyjaśnienia i trudno je zrozumieć nawet ekspertom dziedzinowym. Uważa się, że algorytmy XAI przestrzegają trzech zasad przejrzystości, interpretowalności i wyjaśnialności. Przejrzystość jest zapewniona, „jeśli procesy, które wyodrębniają parametry modelu z danych treningowych i generują etykiety z danych testowych, mogą zostać opisane i umotywowane przez projektanta podejścia”. Interpretowalność opisuje możliwość zrozumienia modelu ML i przedstawienia podstawy podejmowania decyzji w sposób zrozumiały dla ludzi. Wyjaśnialność jest pojęciem, które jest uznawane za ważne, ale nie ma jeszcze wspólnej definicji. Sugeruje się, że wyjaśnialność w ML może być traktowana jako „zbiór cech domeny możliwej do interpretacji, które przyczyniły się do podjęcia przez dany przykład decyzji (np. klasyfikacji lub regresji)”. Jeśli algorytmy spełniają te wymagania, stanowią podstawę do uzasadniania decyzji, śledzenia ich, a tym samym weryfikowania, ulepszania algorytmów i odkrywania nowych faktów.

Czasami możliwe jest również osiągnięcie wyniku z dużą dokładnością za pomocą białoskrzynkowego algorytmu ML, który sam w sobie jest interpretowalny. Jest to szczególnie ważne w dziedzinach takich jak medycyna, obrona, finanse czy prawo, gdzie kluczowe jest zrozumienie decyzji i zbudowanie zaufania do algorytmów. Wielu badaczy twierdzi, że przynajmniej w przypadku nadzorowanego uczenia maszynowego rozwiązaniem jest regresja symboliczna , w której algorytm przeszukuje przestrzeń wyrażeń matematycznych, aby znaleźć model najlepiej pasujący do danego zbioru danych.

Systemy sztucznej inteligencji optymalizują zachowanie, aby spełnić matematycznie określony system celów wybrany przez projektantów systemu, na przykład polecenie „zmaksymalizuj dokładność oceny pozytywnych recenzji filmów w zbiorze danych testowych”. Sztuczna inteligencja może nauczyć się przydatnych ogólnych zasad ze zbioru testów, takich jak „recenzje zawierające słowo„ okropne ”z dużym prawdopodobieństwem będą negatywne”. Jednak może też nauczyć się niewłaściwych zasad, np. „recenzje zawierające ' Daniel Day-Lewis ' są zazwyczaj pozytywne”; takie zasady mogą być niepożądane, jeśli uzna się, że prawdopodobnie nie uogólnią się poza składem pociągu lub jeśli ludzie uznają tę zasadę za „oszukiwanie” lub „niesprawiedliwość”. Człowiek może skontrolować reguły w XAI, aby zorientować się, jakie jest prawdopodobieństwo uogólnienia systemu na przyszłe rzeczywiste dane poza zbiorem testowym.

Cele

Współpraca między agentami , w tym przypadku algorytmami i ludźmi, opiera się na zaufaniu. Jeśli ludzie mają akceptować algorytmiczne recepty, muszą im ufać. Niekompletność w sformalizowaniu kryteriów zaufania jest przeszkodą dla prostych podejść optymalizacyjnych. Z tego powodu przejrzystość, interpretowalność i wytłumaczalność są stawiane jako cele pośrednie przy sprawdzaniu innych kryteriów. Jest to szczególnie istotne w medycynie, zwłaszcza w systemach wspomagania decyzji klinicznych (CDSS), w których pracownicy medyczni powinni być w stanie zrozumieć, w jaki sposób i dlaczego podjęto decyzję maszynową, aby zaufać tej decyzji i usprawnić proces podejmowania decyzji.

Systemy sztucznej inteligencji czasami uczą się niepożądanych sztuczek, które optymalnie realizują określone, wcześniej zaprogramowane cele na danych treningowych, ale które nie odzwierciedlają skomplikowanych ukrytych pragnień projektantów systemów ludzkich. Na przykład system z 2017 roku, którego zadaniem było rozpoznawanie obrazów , nauczył się „oszukiwać”, szukając znacznika praw autorskich, który był powiązany ze zdjęciami koni, zamiast uczyć się, jak stwierdzić, czy koń rzeczywiście został przedstawiony. W innym systemie z 2017 roku nadzorowana, ucząca się sztuczna inteligencja, której zadaniem było chwytanie przedmiotów w wirtualnym świecie, nauczyła się oszukiwać, umieszczając swój manipulator między obiektem a widzem w taki sposób, że fałszywie wydawał się chwytać przedmiot.

Jeden z projektów przejrzystości, program DARPA XAI, ma na celu stworzenie modeli „szklanych pudeł”, które można wytłumaczyć „człowiekowi w pętli”, bez znacznego poświęcania wydajności sztucznej inteligencji. Ludzcy użytkownicy powinni być w stanie zrozumieć funkcje poznawcze sztucznej inteligencji (zarówno w czasie rzeczywistym, jak i po fakcie) i powinni być w stanie określić, kiedy należy zaufać sztucznej inteligencji, a kiedy nie. Inne zastosowania XAI to ekstrakcja wiedzy z modeli czarnoskrzynkowych i porównania modeli. Termin „szklana skrzynka” był również używany w odniesieniu do narzędzi monitorujących wejścia i wyjścia systemu w celu weryfikacji przestrzegania przez system wartości etycznych i społeczno-prawnych, a tym samym tworzenia wyjaśnień opartych na wartościach. Co więcej, tym samym terminem nazwano asystenta głosowego, który jako wyjaśnienia tworzy zdania kontrfaktyczne.

Historia i metody

W latach 1970-1990 badano symboliczne systemy rozumowania, takie jak MYCIN, GUIDON, SOPHIE i PROTOS, które mogłyby reprezentować, rozumować i wyjaśniać ich rozumowanie do celów diagnostycznych, instruktażowych lub uczenia maszynowego (uczenie się oparte na wyjaśnieniach ) . MYCIN, opracowany na początku lat 70. XX wieku jako prototyp badawczy do diagnozowania infekcji krwiobiegu bakteriemią , mógłby wyjaśnić, które z jego ręcznie zakodowanych reguł przyczyniły się do postawienia diagnozy w konkretnym przypadku. Badania nad inteligentnymi systemami korepetycji zaowocowały opracowaniem systemów, takich jak SOPHIE, które mogą pełnić rolę „wyartykułowanego eksperta”, wyjaśniającego strategię rozwiązywania problemów na poziomie zrozumiałym dla ucznia, aby wiedział, jakie działania podjąć w następnej kolejności. Na przykład SOPHIE mógł wyjaśnić jakościowe rozumowanie stojące za rozwiązywaniem problemów z elektroniką, mimo że ostatecznie polegał na SPICE . Podobnie, GUIDON dodał zasady samouczka, aby uzupełnić zasady na poziomie domeny MYCIN, aby mógł wyjaśnić strategię diagnozy medycznej. Symboliczne podejścia do uczenia maszynowego, zwłaszcza te, które opierają się na uczeniu się opartym na wyjaśnieniach, takie jak PROTOS, wyraźnie opierały się na reprezentacji wyjaśnień, zarówno w celu wyjaśnienia ich działań, jak i zdobycia nowej wiedzy.

Od lat 80. do wczesnych 90. opracowano systemy utrzymywania prawdy (TMS) w celu rozszerzenia możliwości systemów wnioskowania przyczynowego, opartych na regułach i logice. TMS działa w celu wyraźnego śledzenia alternatywnych linii rozumowania, uzasadnień wniosków i linii rozumowania, które prowadzą do sprzeczności, umożliwiając przyszłemu rozumowaniu uniknięcie tych ślepych zaułków. Aby zapewnić wyjaśnienie, śledzą rozumowanie od wniosków do założeń poprzez operacje na regułach lub logiczne wnioski, umożliwiając generowanie wyjaśnień na podstawie śladów rozumowania. Jako przykład rozważ rozwiązanie problemu oparte na regułach z zaledwie kilkoma regułami dotyczącymi Sokratesa, które kończy się śmiercią z powodu trucizny:

Po prostu śledząc strukturę zależności, osoba rozwiązująca problem może skonstruować następujące wyjaśnienie: „Sokrates umarł, ponieważ był śmiertelnikiem i pił truciznę, a wszyscy śmiertelnicy umierają, kiedy piją truciznę. Sokrates był śmiertelny, ponieważ był człowiekiem, a wszyscy ludzie są śmiertelni. Sokrates pił truciznę, ponieważ wyznawał dysydenckie przekonania, rząd był konserwatywny, a ci, którzy wyznawali konserwatywne przekonania dysydenckie pod konserwatywnymi rządami, muszą pić truciznę”.

W latach 90. badacze zaczęli również badać, czy możliwe jest sensowne wyodrębnienie niekodowanych ręcznie reguł generowanych przez nieprzejrzyste wyszkolone sieci neuronowe. Badacze zajmujący się klinicznymi systemami eksperckimi , tworzący oparte na sieciach neuronowych wspomaganie decyzji dla klinicystów, starali się opracować dynamiczne wyjaśnienia, dzięki którym te technologie będą bardziej wiarygodne i godne zaufania w praktyce. W 2010 roku obawy opinii publicznej dotyczące uprzedzeń rasowych i innych w wykorzystywaniu sztucznej inteligencji do wydawania wyroków karnych i ustalania zdolności kredytowej mogły doprowadzić do zwiększonego zapotrzebowania na przejrzystą sztuczną inteligencję. W rezultacie wielu naukowców i organizacji opracowuje narzędzia pomagające wykrywać stronniczość w swoich systemach.

Marvin Minsky i in. podniósł kwestię, że sztuczna inteligencja może funkcjonować jako forma nadzoru, z uprzedzeniami nieodłącznymi od nadzoru, sugerując HI (Humanistic Intelligence) jako sposób na stworzenie bardziej sprawiedliwej i zrównoważonej sztucznej inteligencji „człowieka w pętli”.

Nowoczesne złożone techniki sztucznej inteligencji, takie jak głębokie uczenie się i algorytmy genetyczne, są z natury nieprzejrzyste. Aby rozwiązać ten problem, opracowano wiele nowych metod, dzięki którym nowe modele są bardziej zrozumiałe i możliwe do interpretacji. Obejmuje to wiele metod, takich jak propagacja istotności warstwowej (LRP), technika określania, które cechy w określonym wektorze wejściowym mają największy wpływ na dane wyjściowe sieci neuronowej. Opracowano inne techniki w celu wyjaśnienia jednej konkretnej prognozy dokonanej przez (nieliniowy) model czarnej skrzynki, cel określany jako „lokalna interpretowalność”. Warto zauważyć, że sama transpozycja koncepcji lokalnej interpretowalności w kontekst zdalny (gdzie model czarnej skrzynki jest wykonywany przez stronę trzecią) jest obecnie przedmiotem analizy.

Ponadto prowadzono prace nad tworzeniem modeli szklanych pudełek, które byłyby bardziej przejrzyste do wglądu. Obejmuje to drzewa decyzyjne, sieci bayesowskie , rzadkie modele liniowe i wiele innych. Konferencja Association of Computing Machinery on Fairness, Accountability and Transparency (ACM FAccT) została założona w 2018 roku w celu badania przejrzystości i wyjaśnialności w kontekście systemów społeczno-technicznych, z których wiele obejmuje sztuczną inteligencję.

Niektóre techniki umożliwiają wizualizację danych wejściowych, na które poszczególne neurony programowe reagują najsilniej. Kilka grup odkryło, że neurony można łączyć w obwody, które wykonują funkcje zrozumiałe dla człowieka, z których niektóre niezawodnie powstają w różnych sieciach trenowanych niezależnie.

Na wyższym poziomie istnieją różne techniki wyodrębniania skompresowanych reprezentacji cech danych danych wejściowych, które następnie można analizować za pomocą standardowych technik grupowania . Alternatywnie, sieci można wyszkolić, aby generowały lingwistyczne wyjaśnienia ich zachowania, które następnie można bezpośrednio zinterpretować przez człowieka. Zachowanie modelu można również wyjaśnić w odniesieniu do danych treningowych — na przykład oceniając, które dane wejściowe treningu miały największy wpływ na dane zachowanie.

Rozporządzenie

W miarę jak organy regulacyjne, organy urzędowe i zwykli użytkownicy będą polegać na dynamicznych systemach opartych na sztucznej inteligencji, wymagana będzie wyraźniejsza odpowiedzialność za zautomatyzowane procesy decyzyjne , aby zapewnić zaufanie i przejrzystość. Dowodem na to, że wymóg ten nabiera coraz większego rozmachu, jest rozpoczęcie pierwszej globalnej konferencji poświęconej wyłącznie tej wschodzącej dyscyplinie, International Joint Conference on Artificial Intelligence : Workshop on Explainable Artificial Intelligence (XAI).

Unia Europejska wprowadziła prawo do wyjaśnień w Ogólnym Prawie Ochrony Danych Osobowych (RODO) jako próbę poradzenia sobie z potencjalnymi problemami wynikającymi z rosnącego znaczenia algorytmów. Wdrażanie rozporządzenia rozpoczęło się w 2018 r. Prawo do wyjaśnień w RODO obejmuje jednak tylko lokalny aspekt interpretowalności. W Stanach Zjednoczonych firmy ubezpieczeniowe muszą być w stanie wyjaśnić swoje decyzje dotyczące stawek i zakresu ubezpieczenia. We Francji Loi pour une République numérique (Ustawa o Republice Cyfrowej) przyznaje podmiotom prawo do żądania i otrzymywania informacji dotyczących implementacji algorytmów przetwarzających dane na ich temat.

Ograniczenia

Pomimo wysiłków zmierzających do zwiększenia wyjaśnialności modeli AI, nadal mają one szereg ograniczeń.

Strony wrogie

Sprawiając, że system sztucznej inteligencji jest bardziej zrozumiały, ujawniamy również więcej jego wewnętrznych mechanizmów. Na przykład metoda wyjaśnialności ważności funkcji identyfikuje cechy lub zmienne, które są najważniejsze w określaniu wyników modelu, podczas gdy metoda wpływowych próbek identyfikuje próbki uczące, które mają największy wpływ na określanie wyników, biorąc pod uwagę określone dane wejściowe. Istnieje jednak szereg wrogich stron, które mogłyby skorzystać z tej wiedzy.

Na przykład konkurencyjne firmy mogłyby powielać aspekty oryginalnego systemu sztucznej inteligencji we własnym produkcie, zmniejszając w ten sposób przewagę konkurencyjną. Wyjaśnialny system sztucznej inteligencji jest również podatny na różne strony, które „grają” w system lub wpływają na wyniki w sposób, który podważa zamierzony cel. Jedno z badań podaje przykład predykcyjnego systemu policyjnego; w tym przypadku ci, którzy potencjalnie mogliby „grać” w system, to przestępcy podlegający decyzjom systemu. W tym badaniu twórcy systemu omówili kwestię gangów przestępczych chcących nielegalnie uzyskać paszporty i wyrazili obawy, że gdyby wiedzieli, jakie czynniki mogą wywołać ostrzeżenie w procesie składania wniosku o paszport, gangi te byłyby w stanie „ wysłać świnki morskie”, aby przetestować te wyzwalacze, ostatecznie znajdując lukę, która pozwoliłaby im „niezawodnie uzyskiwać paszporty spod nosa władz”.

Złożoność techniczna

Podstawową przeszkodą dla wyjaśnienia systemów sztucznej inteligencji jest przede wszystkim złożoność techniczna takich systemów. Użytkownikom końcowym często brakuje nawet podstawowej wiedzy na temat kodowania wymaganej do zrozumienia wszelkiego rodzaju oprogramowania. Obecne metody stosowane do wyjaśniania sztucznej inteligencji są głównie metodami technicznymi, skierowanymi do inżynierów uczenia maszynowego w celu debugowania, a nie do użytkowników końcowych, na których ostatecznie wpływa system, powodując „lukę między wyjaśnialnością w praktyce a celem, jakim jest przejrzystość”. Proponowane rozwiązania mające na celu rozwiązanie problemu złożoności technicznej obejmują albo promowanie edukacji ogółu społeczeństwa w zakresie kodowania, co uczyniłoby wyjaśnienia techniczne bardziej dostępnymi dla użytkowników końcowych, albo opracowanie komponentu skierowanego na zewnątrz, który zapewniałby wyjaśnienia w sposób zrozumiały dla laików.

Niezależnie jednak od rozwiązania należy unikać pułapki nadmiernego uproszczenia. Ważne jest, aby znaleźć równowagę między dokładnością – jak wiernie wyjaśnienie odzwierciedla rzeczywisty proces systemu AI – a wyjaśnialnością – jak dobrze użytkownicy końcowi rozumieją ten proces. Trudno jest jednak znaleźć równowagę, ponieważ złożoność uczenia maszynowego utrudnia pełne zrozumienie nawet inżynierom ML, nie mówiąc już o osobach niebędących ekspertami.

Zrozumienie kontra zaufanie

Celem wyjaśnienia dla użytkowników końcowych systemów sztucznej inteligencji jest ostatecznie zwiększenie zaufania do systemu, a nawet „zajęcie się obawami dotyczącymi braku„ uczciwości ”i skutków dyskryminacji”. Jednak nawet przy dobrym zrozumieniu systemu sztucznej inteligencji użytkownicy końcowi niekoniecznie muszą ufać systemowi. W jednym badaniu uczestnikom przedstawiono kombinacje wyjaśnień biało- i czarnoskrzynkowych oraz statycznych i interaktywnych wyjaśnień systemów sztucznej inteligencji. Chociaż wyjaśnienia te służyły zwiększeniu zarówno samoopisowego, jak i obiektywnego zrozumienia, nie miało to wpływu na ich poziom zaufania, który pozostał sceptyczny.

Ten wynik był szczególnie prawdziwy w przypadku decyzji, które miały znaczący wpływ na użytkownika końcowego, takich jak przyjęcia do szkół wyższych. Uczestnicy ocenili algorytmy jako zbyt nieelastyczne i bezlitosne w porównaniu z ludzkimi decydentami; zamiast sztywno trzymać się zestawu zasad, ludzie są w stanie rozważyć wyjątkowe przypadki, a także odwołać się do swojej pierwotnej decyzji. Tak więc w przypadku takich decyzji wyjaśnialność niekoniecznie spowoduje, że użytkownicy końcowi zaakceptują użycie algorytmów decyzyjnych. Będziemy musieli albo zwrócić się do innej metody, aby zwiększyć zaufanie i akceptację algorytmów podejmowania decyzji, albo zakwestionować potrzebę polegania wyłącznie na sztucznej inteligencji w przypadku tak wpływowych decyzji.

Krytyka

Niedawne badania naukowe sugerują, że dążenie do wytłumaczenia technik sztucznej inteligencji powinno być uważane za cel drugorzędny w stosunku do dążenia do skuteczności sztucznej inteligencji, a zachęcanie do wyłącznego rozwoju XAI może szerzej ograniczyć funkcjonalność sztucznej inteligencji. Krytyka XAI opiera się na rozwiniętych koncepcjach mechanistycznego i empirycznego rozumowania z medycyny opartej na dowodach, aby zasugerować, że technologie sztucznej inteligencji można zweryfikować klinicznie, nawet jeśli ich funkcja nie jest zrozumiała dla ich operatorów.

Co więcej, systemy XAI koncentrowały się przede wszystkim na uczynieniu systemów AI zrozumiałymi dla praktyków sztucznej inteligencji, a nie dla użytkowników końcowych, a ich wyniki dotyczące postrzegania tych systemów przez użytkowników były nieco fragmentaryczne. Niektórzy badacze opowiadali się również za stosowaniem modeli uczenia maszynowego, które z natury można interpretować, zamiast stosowania wyjaśnień post-hoc, w których tworzony jest drugi model w celu wyjaśnienia pierwszego. Dzieje się tak częściowo dlatego, że modele post-hoc zwiększają złożoność ścieżki decyzyjnej, a częściowo dlatego, że często nie jest jasne, jak wiernie wyjaśnienie post-hoc może naśladować obliczenia całkowicie oddzielnego modelu.

Analiza celów XAI wykazała, że ​​wymaga on formy kompresji stratnej, która stanie się mniej skuteczna w miarę wzrostu liczby parametrów modeli AI, co w połączeniu z innymi czynnikami prowadzi do teoretycznej granicy wyjaśnialności.

Zobacz też

Linki zewnętrzne

Pobrane z „ https://en.wikipedia.org/w/index.php?title=Explainable_artificial_intelligence&oldid=1141335238 ”