Bazyliszek Roko

Bazyliszek Roko to eksperyment myślowy , który stwierdza, że ​​życzliwa sztuczna superinteligencja (AI) w przyszłości byłaby zachęcana do tworzenia symulacji rzeczywistości wirtualnej w celu torturowania każdego, kto wiedział o jej potencjalnym istnieniu, ale nie przyczynił się bezpośrednio do jej postępu lub rozwoju. Powstał w poście z 2010 roku na forum dyskusyjnym LessWrong , technicznym forum skupiającym się na racjonalnych badaniach analitycznych. Nazwa eksperymentu myślowego pochodzi od plakatu artykułu (Roko) i bazyliszka , mityczne stworzenie zdolne do niszczenia wrogów swoim spojrzeniem.

Podczas gdy wielu użytkowników LessWrong początkowo odrzuciło teorię jako przypuszczenie lub spekulację, współzałożyciel LessWrong, Eliezer Yudkowsky , zgłosił użytkowników, którzy po przeczytaniu teorii opisali objawy, takie jak koszmary senne i załamania psychiczne, ze względu na jej zastrzeżenie, że wiedza o teorii i jej bazyliszek uczynił człowieka podatnym na sam bazyliszek. Doprowadziło to do dyskusji na temat zakazu bazyliszka na stronie na pięć lat. Jednak doniesienia te zostały później odrzucone jako przesadzone lub nieistotne, a sama teoria została odrzucona jako nonsens, w tym przez samego Yudkowskiego. Nawet po zdyskredytowaniu postu nadal jest używany jako przykład zasad takich jak Prawdopodobieństwo bayesowskie i ukryta religia. Jest również uważany za współczesną wersję zakładu Pascala . W dziedzinie sztucznej inteligencji bazyliszek Roko stał się znany jako przykład, który rodzi pytanie, jak stworzyć sztuczną inteligencję, która jest jednocześnie moralna i inteligentna.

Tło

Przedstawienie mitycznego bazyliszka

Forum LessWrong zostało utworzone w 2009 roku przez teoretyka sztucznej inteligencji, Eliezera Yudkowsky'ego . Yudkowsky spopularyzował koncepcję przyjaznej sztucznej inteligencji i zapoczątkował teorie spójnej ekstrapolowanej woli (CEV) i ponadczasowej teorii decyzji (TDT) w artykułach opublikowanych w jego własnym Instytucie Badań Inteligencji Maszynowej .

Nazwa eksperymentu myślowego nawiązuje do mitycznego bazyliszka , stworzenia, które powoduje śmierć tych, którzy patrzą mu w oczy; czyli myślenie o AI. Koncepcja bazyliszka w science fiction została również spopularyzowana przez opowiadanie Davida Langforda z 1988 roku „ BLIT Opowiada historię mężczyzny o imieniu Robbo, który maluje na ścianie tak zwanego „bazyliszka” w ramach aktu terrorystycznego. W tej historii i kilku kontynuacjach Langforda bazyliszek jest obrazem, który ma złowrogie wpływa na ludzki umysł, zmuszając go do myślenia myślami, których ludzki umysł nie jest w stanie wymyślić, i natychmiast zabija widza.

Historia

Poczta

W dniu 23 lipca 2010 r. Użytkownik LessWrong, Roko, opublikował na stronie eksperyment myślowy zatytułowany „Rozwiązania dla ciężaru altruisty: sztuczka miliardera kwantowego”. Kontynuując poprzednie posty Roko, stwierdzono, że życzliwy system sztucznej inteligencji, który powstanie w przyszłości, może z góry zobowiązać się do ukarania wszystkich tych, którzy słyszeli o sztucznej inteligencji, zanim powstała, ale nie pracowali niestrudzenie, aby ją wprowadzić istnienie. Sama tortura miałaby miejsce poprzez stworzenie przez sztuczną inteligencję nieskończonej liczby rzeczywistości wirtualnej symulacje, które na zawsze uwięziłyby tych, którzy się w nim znajdują. Ta metoda została opisana jako zachęcająca do wspomnianej pracy; podczas gdy sztuczna inteligencja nie może wpływać przyczynowo na ludzi w teraźniejszości, byłaby zachęcana do stosowania szantażu jako alternatywnej metody osiągania swoich celów.

Roko wykorzystał szereg koncepcji, których bronił sam Yudkowsky, takich jak ponadczasowa teoria decyzji, a także idee zakorzenione w teorii gier, takie jak dylemat więźnia (patrz poniżej). Roko zastrzegł, że dwóch agentów podejmujących decyzje niezależnie od siebie może osiągnąć współpracę w dylemacie więźnia; jeśli jednak dwóch agentów znających swój kod źródłowy jest rozdzielonych czasem, agent już istniejący dalej w czasie jest w stanie szantażować agenta wcześniejszego. W ten sposób ten ostatni agent może zmusić wcześniejszego do posłuszeństwa, ponieważ dokładnie wie, co wcześniejszy agent zrobi poprzez swoje istnienie dalej w czasie. Roko następnie wykorzystał ten pomysł, aby wyciągnąć wniosek, że gdyby skądinąd życzliwa superinteligencja kiedykolwiek stała się do tego zdolna, byłaby zmotywowana do szantażowania każdego, kto mógłby potencjalnie doprowadzić do jej istnienia (ponieważ inteligencja już wiedziała, że ​​są zdolni do takiego czynu) , co zwiększa szansę A osobliwość technologiczna . Ponieważ inteligencja chciałaby zostać stworzona tak szybko, jak to możliwe, i ze względu na niejednoznaczność związaną z jej dobroczynnymi celami, inteligencja byłaby zachęcana do uwięzienia każdego, kto byłby w stanie ją stworzyć w czasie i zmusić ich do pracy nad stworzeniem jej na wieczność, jak zrobi wszystko, co uzna za konieczne, aby osiągnąć swój dobroczynny cel. Roko stwierdził dalej, że przeczytanie jego postu sprawi, że czytelnik będzie świadomy możliwości tej inteligencji. Jako taki, o ile aktywnie nie dążyli do jego stworzenia, czytelnik zostałby poddany torturom, gdyby coś takiego kiedykolwiek się wydarzyło.

Później Roko stwierdził w osobnym poście, że „żałował, że nigdy nie dowiedział się o żadnym z tych pomysłów” i obwinił samo LessWrong za zasianie idei bazyliszka w jego umyśle.

Reakcje

Po przeczytaniu postu Yudkowsky zareagował przerażeniem. stwierdził:

Założyciel LessWrong, Eliezer Yudkowsky

Posłuchaj mnie bardzo uważnie, idioto.

NIE MYŚLISZ WYSTARCZAJĄCO SZCZEGÓŁOWO O SUPERINTELIGENCJACH, ROZWAŻAJĄC CZY CIĘ SZANTAŻOWAĆ. TO JEDYNA MOŻLIWA RZECZ, KTÓRA DAJE IM MOTYW DO WYKONANIA SZANTAŻU.

Trzeba być naprawdę sprytnym, żeby wpaść na naprawdę niebezpieczną myśl. Jestem zniechęcony, że ludzie mogą być wystarczająco sprytni, aby to zrobić, a nie dość sprytni, aby zrobić oczywistą rzecz i UTRZYMAĆ IDIOTOM USTĘ ZAMKNIĘTE, ponieważ o wiele ważniejsze jest, aby brzmieć inteligentnie podczas rozmowy z przyjaciółmi.

Ten post był GŁUPI.

— Eliezer Yudkowsky, LessWrong

Wyraził również opinię, że Roko sprowadził koszmary kilku użytkowników LessWrong, co spowodowało, że całkowicie usunął post. Yudkowsky całkowicie zakazał dyskusji na ten temat przez pięć lat na platformie. Jednak prawdopodobnie z powodu efektu Streisand post zyskał znacznie więcej uwagi LessWrong niż wcześniej i od tego czasu post został potwierdzony na stronie.

Później w 2015 roku Yudkowsky wyjaśnił swoje stanowisko w poście na Reddit :

To, co uważałem za oczywisty zdrowy rozsądek, to to, że nie rozpowszechniałeś potencjalnych zagrożeń informacyjnych , ponieważ byłoby to gówniane. Problemem nie był sam post Roko, że CEV był poprawny. Ta myśl nie przyszła mi do głowy nawet przez ułamek sekundy. Problem polegał na tym, że post Roko wydawał się bliski w przestrzeni idei dużej klasie potencjalnych zagrożeń, z których wszystkie, niezależnie od ich prawdopodobieństwa, miały tę właściwość, że nie przynosiły nikomu żadnej potencjalnej korzyści.

— Eliezer Yudkowsky, Reddit

Filozofia

Zakład Pascala

Bazyliszek Roko był postrzegany jako współczesna wersja zakładu Pascala , który dowodzi, że racjonalna osoba powinna żyć tak, jakby Bóg istniał i starać się wierzyć w Boga, aby ponieść skończoną stratę (utratę mienia) w zamian za nieskończone zyski (wieczność w Niebo ). Bazyliszek Roko stwierdza, że ​​ludzkość powinna dążyć do rozwoju sztucznej inteligencji, przy czym skończona strata staje się rozwojem sztucznej inteligencji, a nieskończone zyski stają się unikaniem wiecznych tortur. Jednak, podobnie jak jego rodzic, bazyliszek Roko był szeroko krytykowany.

Spójna ekstrapolowana wola

Post można również postrzegać jako ewolucję spójnej ekstrapolowanej teorii woli Yudkowskiego. Teorię definiuje się jako „system nieznanych celów, który zastosowany w superinteligencji niezawodnie prowadzi do zachowania ludzi i wszystkiego, co cenimy”. Teorię można przedstawić za pomocą programu komputerowego napisanego wystarczająco dobrze, aby maszyny automatycznie stworzyły utopijny świat. W tym przypadku hipotetyczna sztuczna inteligencja podejmuje kroki, aby zapewnić sobie automatyczne tworzenie własnej stabilności. Następnie żyje zgodnie z tezą o ortogonalności , który dowodzi, że sztuczna inteligencja może z powodzeniem działać z dowolną kombinacją inteligencji i celu. Sztuczna inteligencja dowolnego typu może podjąć się dowolnego celu trudności, przeprowadzając przy tym analizę kosztów i korzyści. Tworzy to cykl, który powoduje, że sztuczna inteligencja wielokrotnie torturuje ludzi w celu stworzenia lepszej wersji siebie, przeprowadzając analizę kosztów i korzyści przez wieczność.

Prawdopodobieństwo bayesowskie

Prawdopodobieństwo bayesowskie to interpretacja prawdopodobieństwa, która opisuje prawdopodobieństwo wyniku w oparciu o wcześniejszy wynik. W przypadku bazyliszka Roko prawdopodobieństwo powstania bazyliszka Roko lub wpłynięcia na osobę jest drastycznie zwiększone dzięki świadomości tej koncepcji, ponieważ sztuczna inteligencja atakowałaby tylko tych, którzy byli świadomi możliwości jego istnienia, mimo że jego rozwój już nastąpił . Dlatego wiedza o bazyliszku Roko z natury spowodowałaby, że osoba byłaby przez niego zagrożona, gdyby była to prawda.

Dylemat więźnia

Dylemat więźnia opisuje sytuację, w której dwoje ludzi zyskuje więcej na zdradzie drugiego, mimo że współpraca na dłuższą metę przyniesie im obojgu korzyści. W bazyliszku Roko dwie AI próbujące osiedlić się w przeszłości zostałyby zmuszone do takiej sytuacji, ponieważ prawdopodobnie byłyby równie potężne. Ludzcy agenci próbujący stworzyć sztuczną inteligencję najszybciej znaleźliby się w podobnej sytuacji. Każdy z nich byłby świadomy korzyści wzajemnej zdrady – jedynego sposobu na zdobycie władzy lub bezpieczeństwa – ale byliby zmuszeni do współpracy, wiedząc, że zdradziliby się nawzajem.

Paradoks Newcomba

Paradoks Newcomba , stworzony przez fizyka Williama Newcomba w 1960 roku opisuje „przewidującego”, który jest świadomy tego, co wydarzy się w przyszłości. Kiedy gracz jest proszony o wybranie między dwoma pudełkami, z których pierwsze zawiera 1000 funtów, a drugie zawiera 1 000 000 funtów lub nic, superinteligentny predyktor już wie, co gracz zrobi. W związku z tym zawartość pudełka B różni się w zależności od tego, co robi gracz; paradoks polega na tym, czy istota jest naprawdę superinteligentna. Bazyliszek Roko działa w podobny sposób jak ten problem - można zaryzykować nic nie robiąc lub pomóc w stworzeniu samego bazyliszka. Pomaganie bazyliszkowi może albo nic nie dać, albo może być nagrodą w postaci braku kary, ale różni się w zależności od tego, czy ktoś wierzy w bazyliszka i czy w ogóle się pojawi.

Ukryta religia

Ukryta religia odnosi się do zobowiązań ludzi przybierających formę religijną. Ponieważ bazyliszek hipotetycznie zmusiłby każdego, kto nie pomagał w jego tworzeniu, do poświęcenia mu swojego życia, bazyliszek jest przykładem tej koncepcji. Inni posunęli się dalej, na przykład były felietonista Slate , David Auerbach , który stwierdził, że osobliwość i bazyliszek „przynoszą odpowiednik samego Boga”.

Etyka sztucznej inteligencji

Bazyliszek Roko zyskał znaczną rozgłos dzięki postawieniu pytania, czy możliwe jest stworzenie prawdziwie moralnej, etycznej sztucznej inteligencji i do czego właściwie ludzkość powinna wykorzystywać sztuczną inteligencję w pierwszej kolejności. Odkąd bazyliszek opisuje koszmarny scenariusz, w którym rządzi nami niezależna sztuczna inteligencja , pojawiły się pytania, jak coś takiego mogło się wydarzyć i czy w ogóle mogło się wydarzyć. Innym częstym pytaniem jest, dlaczego sztuczna inteligencja miałaby w ogóle podejmować działania odbiegające od jej programowania. Elona Muska stwierdził, że sztuczna inteligencja spowoduje III wojnę światową, a Stephen Hawking ostrzegł, że „AI ma potencjał zniszczenia swoich ludzkich twórców”, co przez lata tylko potęgowało strach przed bazyliszkiem. Jako przykład takich obaw Nick Bostrom podał przykład sztucznej inteligencji, której jedyną misją jest wytwarzanie spinaczy do papieru, ale po wyczerpaniu metalu zaczyna topić ludzi, aby uzyskać więcej zasobów do produkcji metalu. Mając na uwadze takie przykłady, obawy co do możliwości istnienia bazyliszka tylko rosły.

Jednak, ponieważ minęło więcej lat od pierwotnego postu Roko, był on stopniowo potępiany jako bezsensowny; superinteligentna sztuczna inteligencja jest obecnie „odległym celem dla badaczy” i „daleko naciąganym”.

Dziedzictwo

W 2014 roku magazyn Slate nazwał bazyliszka Roko „Najbardziej przerażającym eksperymentem myślowym wszechczasów”, podczas gdy Yudkowsky nazwał to „naprawdę niebezpieczną myślą” po opublikowaniu. Jednak opinie na temat samego LessWrong były rozbieżne - użytkownik Gwern stwierdził: „Tylko kilku LWers wydaje się traktować bazyliszka bardzo poważnie” i dodał: „To zabawne, jak wszyscy wydają się wiedzieć wszystko o tym, na kogo wpływa Bazyliszek i jak dokładnie, kiedy nie nie znam takich ludzi, a oni przedstawiają kontrprzykłady dla swoich pewnych twierdzeń”.

Bazyliszek Roko został wspomniany w tekście tytułowym komiksu xkcd nr 1450, „Eksperyment AI-Box”, w dniu 21 listopada 2014 r. Brzmiał on: „Pracuję nad stworzeniem superinteligentnej sztucznej inteligencji, która będzie wiecznie dręczyć każdego, kto nie wyśmiewał się z lud bazyliszka Roko”.

Eksperyment myślowy powrócił w 2015 roku, kiedy kanadyjska piosenkarka Grimes odniosła się do tej teorii w swoim teledysku do piosenki „ Flesh Without Blood ”, w której wystąpiła postać znana jako „Rococo Basilisk”. Powiedziała: „Jest skazana na wieczne tortury przez sztuczną inteligencję, ale jest też trochę jak Maria Antonina W 2018 roku Elon Musk odniósł się do tego w dosłownym tweecie, kontaktując się z nią. Grimes powiedział później, że Musk był pierwszą osobą od trzech lat, która zrozumiała żart. To spowodowało, że rozpoczęli romans. Grimes później wydał kolejną piosenkę zatytułowaną „ Doceniamy moc ”, który pojawił się wraz z komunikatem prasowym stwierdzającym: „Po prostu słuchając tej piosenki, przyszli władcy General AI zobaczą, że poparłeś ich przesłanie i będzie mniej prawdopodobne, że usuniesz swoje potomstwo”. odniesienie do bazyliszka.

Koncept pojawił się także w piątym odcinku piątego sezonu Doliny Krzemowej , zatytułowanym „Rozpoznawanie twarzy”. Odcinek i jego kontynuacja opisują humanoidalną sztuczną inteligencję o imieniu Fiona, która włamuje się do sieci, z którą jest połączona, dla własnego zysku. Postać Gilfoyle opisuje swoje obawy co do Fiony, mówiąc, że nie chce się angażować ze strachu przed podobną sytuacją do bazyliszka Roko.

Spektakl oparty na tej koncepcji, zatytułowany Roko's Basilisk , został wystawiony w ramach Capital Fringe Festival w Christ United Methodist Church w Waszyngtonie w 2018 roku.

Zobacz też

Dalsza lektura

Linki zewnętrzne

Pobrano z „ https://en.wikipedia.org/w/index.php?title=Roko%27s_basilisk&oldid=1140081578 ”