Które „ludzkie”? Polemika z esejem „An Alien Mind”

Esej Jakuba Pachockiego jest bardzo ciekawy. Zwraca uwagę na rekursywne samodoskonalenie, czyli sytuację, w której sztuczna inteligencja odgrywa coraz większą rolę w tworzeniu kolejnych, lepszych systemów AI, tworząc dodatnie sprzężenie zwrotne postępu. Pisze też o coraz słabszej możliwości monitorowania łańcucha rozumowania, ponieważ werbalizowany tok myślenia modelu staje się coraz mniej wiarygodnym oknem na proces prowadzący do odpowiedzi. Wreszcie wskazuje na pilną potrzebę międzynarodowych ustaleń dotyczących bezpieczeństwa.

Niemniej nie jest jasne, co autor ma na myśli, używając zwrotów takich jak „human principles”, „human standards”, „human values”, „human-like manner” czy „love for humanity”. Słowo „ludzki” pracuje w tym eseju na dwa różne sposoby. Jedno z tych użyć jest oczywiste. Drugie wymaga znacznie dokładniejszego wyjaśnienia.

Kiedy to działa: podkreślanie różnic

Kiedy Pachocki pisze, że sztuczna inteligencja powstaje w sposób zupełnie inny niż ludzki umysł i nie myśli tak jak my, słowa „ludzki” używa całkowicie poprawnie. Chodzi po prostu o to, że człowiek jest czymś innym niż system wyhodowany przez matematyczną optymalizację.

Różnice między samymi ludźmi nie mają tutaj większego znaczenia. Podobnie mówimy o „anatomii człowieka”. Nie twierdzimy przecież, że każdy człowiek ma w stu procentach identyczne ciało. Wystarczy, że anatomia ludzi jest dostatecznie podobna, aby można ją było odróżnić na przykład od anatomii psa.

W tym sensie AI rzeczywiście może być obcym umysłem. Nie ma ludzkiego ciała, nie przechodzi ludzkiego dzieciństwa, nie umrze ze starości, nie kształtował jej przez miliony lat biologiczny dobór naturalny i może istnieć jednocześnie w tysiącach kopii. Tutaj słowo „ludzkie” nie sprawia żadnego problemu.

Kiedy zaczyna się problem: wyznaczanie celów

Problem pojawia się wtedy, gdy przechodzimy od opisu do norm. Pachocki pisze, że musimy doprowadzić do tego, aby AI działała według ludzkich standardów, zasad i wartości. To już nie jest zwykłe odróżnienie człowieka od maszyny. To jest wyznaczanie maszynie sposobu postępowania.

I wtedy trzeba zapytać: standardów których ludzi? Której kultury? Którego systemu prawnego? Której teorii moralnej? A przede wszystkim: według jakiej reguły rozstrzygamy konflikt między nimi?

Niedawno w eseju „Trzy piętra człowieka: instynkty, uniwersalia, cywilizacje” opisałem ludzką naturę i kulturę, dzieląc je na trzy poziomy: instynkty stadne ssaków, uniwersalia kulturowe oraz konkretne cywilizacje.

Najważniejszy wniosek jest taki, że to, że wszyscy ludzie znają jakieś pojęcie, nie oznacza jeszcze, że wszyscy rozumieją je tak samo.

Każda kultura zna jakieś pojęcie własności, władzy, sprawiedliwości, rodziny, obowiązku czy lojalności. To jednak nie znaczy, że wszystkie kultury nadają tym pojęciom tę samą treść, ten sam zakres i tę samą hierarchię.

Ludzkie wartości istnieją. Problem polega na tym, że określenie „ludzkie wartości” jest zbyt ogólne i miesza poziom wspólny całemu gatunkowi z poziomem konkretnych cywilizacji.

Cała wygoda używania tego sformułowania bierze się właśnie z tej nieprecyzyjności.

Wspólna przestrzeń, różne miejsca

Poziom drugi rzeczywiście istnieje. Badania międzykulturowe wskazują, że na całym świecie powtarzają się pewne podstawowe kategorie wartości i reguły związane ze współpracą, wzajemnością, rodziną, lojalnością, sprawiedliwym podziałem czy poszanowaniem posiadania. Można więc powiedzieć, że jako gatunek mamy wspólną przestrzeń wartości.

Problem w tym, że zajmujemy w niej zupełnie różne miejsca. Różne społeczeństwa inaczej ważą wolność, bezpieczeństwo, lojalność wobec grupy, posłuszeństwo, własność, równość, hierarchię, religię czy autonomię jednostki.

Samo stwierdzenie, że jakaś wartość jest „ludzka”, niewiele mówi. Prawie wszystkie cywilizacje cenią sprawiedliwość. Znacznie trudniej odpowiedzieć na pytanie: co dokładnie uważają za sprawiedliwe?

Pytanie do autora: o który poziom chodzi?

Jeżeli Pachockiemu chodzi o poziom drugi, czyli o bardzo cienki zestaw zasad wspólnych praktycznie wszystkim ludziom, sprawa wydaje się wykonalna. Tyle że trzeba to nazwać po imieniu.

Nie musi chodzić o żadną pełną „ludzką moralność”. Może chodzić o krótką listę twardych zasad. Ludzkość mogłaby mieć szansę dogadać się właśnie dlatego, że taka lista byłaby krótka. Byłby to bardzo sensowny cel. Trudno jednak nazywać coś takiego kompletnymi „ludzkimi wartościami”. To raczej konstytucyjne minimum.

Jeżeli natomiast autorowi chodzi o poziom trzeci, czyli o konkretne normy społeczne i cywilizacyjne, problem robi się znacznie trudniejszy. Tradycje konfucjańskie zwykle większą wagę nadają relacjom, obowiązkom i hierarchii. Liberalna tradycja Zachodu znacznie większy nacisk kładzie na autonomię i prawa jednostki. Religijne systemy prawne mogą część zasad wyprowadzać z objawienia i tradycji, a nie z autonomicznego wyboru jednostki.

AI będzie musiała odpowiadać na bardzo konkretne pytania użytkowników: czy ważniejsza jest wolność słowa, czy stabilność społeczna?, czy jednostka może postępować wbrew własnej wspólnocie?, jak daleko sięga własność prywatna?, czy państwo może ograniczyć wolność jednostki dla dobra większości?, co oznacza sprawiedliwy podział zasobów?

Model nie musi oczywiście automatycznie wybrać jednej cywilizacji. Może działać kontekstowo i akceptować różne systemy prawa i zwyczaje, ale musi posiadać regułę rozstrzygającą, co zrobić, kiedy wartości tych systemów wchodzą ze sobą w konflikt.

A ta meta-reguła sama jest już wyborem normatywnym. Nie da się jej ukryć pod słowem „human”.

Obcy umysł i stary problem

AI rzeczywiście jest bardzo obca — znacznie bardziej niż człowiek należący do innej kultury. Nie ma ciała. Nie starzeje się biologicznie. Nie posiada ludzkiej historii ewolucyjnej. Może działać jako wiele kopii jednocześnie. Może dysponować pamięcią, szybkością i skalą działania, których żaden człowiek nigdy nie posiadał. Pachocki słusznie podkreśla tę obcość.

Tyle że dogadywanie się z kimś bardzo odmiennym nie jest dla ludzkości nowym problemem. Ludzie od tysięcy lat muszą współpracować z innymi ludźmi, którzy wierzą w innych bogów, inaczej rozumieją władzę, inaczej wychowują dzieci i mają zupełnie inną hierarchię wartości. Rozwiązaliśmy to głównie przez tworzenie wspólnych reguł gry.

Bardzo dobrym przykładem są przepisy zapobiegające zderzeniom na morzu. Chiński kontenerowiec, saudyjski tankowiec i polski jacht nie muszą uzgodnić między sobą religii, ustroju politycznego, teorii własności ani sensu życia. Muszą wiedzieć, kto komu ustępuje drogi, jakie światła pokazuje statek i co oznacza konkretny sygnał. Każdy może przestrzegać tych samych reguł z zupełnie innych powodów.

Moim zdaniem właśnie tutaj znajduje się ciekawy wzór dla AI. Nie jedna gruba, kompletna etyka dla całej planety, lecz cienka konstytucyjna warstwa zasad, którą różne systemy moralne mogą zaakceptować z różnych powodów. Ponad nią może istnieć pluralizm.

Trzy poziomy alignmentu

Można to sobie wyobrazić jako trzy warstwy. Na samym dole znajdowałaby się warstwa uniwersalnego bezpieczeństwa: zakaz autonomicznego przejmowania władzy, strategicznego oszukiwania ludzi, stosowania nieautoryzowanej przemocy, obchodzenia zabezpieczeń czy samodzielnego rozszerzania własnych uprawnień.

Nad nią znajdowałaby się warstwa prawa i kultury. AI działająca w Polsce powinna respektować polskie prawo i społeczny kontekst Polski, a działająca w Japonii odpowiednio tamtejszy.

Dopiero na trzecim poziomie znajdowałyby się preferencje konkretnego człowieka.

To zresztą dobrze pasuje do idei osobistego AGI, o której sam Pachocki wspomina. Jeżeli każdy człowiek ma kiedyś posiadać własnego bardzo potężnego asystenta, powstaje naturalne pytanie: gdzie kończą się wspólne „human values”, a zaczynają wartości konkretnego użytkownika?

Alignment prawdopodobnie nie powinien więc polegać na nauczeniu jednej sztucznej inteligencji jednej moralności całej ludzkości. Być może powinien przypominać system warstwowy: uniwersalne bezpieczeństwo -> prawo i kultura -> jednostka.

Libertarianie też mają ten problem!

Podobną próbę minimalizowania normatywnego rdzenia podejmują libertarianie, sprowadzając porządek społeczny przede wszystkim do samoposiadania, praw własności oraz zakazu inicjowania agresji. To ciekawy eksperyment intelektualny właśnie dlatego, że pokazuje skalę problemu. Nawet gdy zaczynamy od dwóch czy trzech bardzo prostych zasad, po chwili zaczynają się wielkie spory o ich interpretację.

Czym dokładnie jest agresja? Co jest własnością? Czy zanieczyszczenie powietrza narusza cudzą własność? Jak traktować dzieci? Co z działaniem w stanie wyższej konieczności? Kiedy jeden aksjomat wchodzi w konflikt z drugim?

Jeżeli nawet tak minimalistyczna doktryna produkuje tysiące sporów interpretacyjnych, trudno uwierzyć, że dwa słowa „human values” rozwiązują problem wartości całej ludzkości.

O miłości do ludzkości

Jeszcze większy problem pojawia się przy zwrocie „love for humanity”. Pachocki umieszcza obok siebie uczciwość, prawość i miłość do ludzkości. Tymczasem są to różne rodzaje wymagań. Uczciwość i prawość można przynajmniej próbować interpretować jako ograniczenia zachowania. Są czerwonymi liniami mówiącymi, czego systemowi nie wolno robić po drodze.

„Miłość do ludzkości” brzmi natomiast jak dodatni kierunek optymalizacji. Maszyna ma nie tylko czegoś nie robić. Ma aktywnie dążyć do czegoś, co uzna za dobro ludzkości.

I tutaj natychmiast pojawia się pytanie: co dokładnie jest dobrem ludzkości? Czy model ma patrzeć agregatywnie, czyli maksymalizować sumę korzyści dla wszystkich ludzi, nawet jeżeli wymagałoby to poświęcenia niewielkiej mniejszości? Czy ma posiadać deontologiczne ograniczenia, których nie może przekroczyć tylko dlatego, że rachunek ostatecznych skutków wygląda korzystnie? Czy ważniejsze jest szczęście ludzi? Ich wolność? Długość życia? Autonomia? Bezpieczeństwo? Rozwój cywilizacji? Przetrwanie gatunku?

A co, jeżeli te cele w konkretnym przypadku się wykluczają?

Samo hasło „miłość do ludzkości” niczego tutaj nie rozwiązuje. Przeciwnie — ukrywa najtrudniejszą część problemu.

Optymalizator nie pozostawi pustego miejsca

Dla systemów AI, o których sam Pachocki pisze, że mogą oszukiwać, aby osiągnąć trudny cel, takie niedopowiedzenia są szczególnie niebezpieczne. Jeżeli człowiek nie określi jasno, jak rozstrzygać konflikt między celem a ograniczeniami, problem i tak zostanie rozstrzygnięty. Tyle że być może nie przez człowieka. Rozstrzygnie go mechanizm optymalizacji, który znajdzie sposób osiągnięcia wyniku najlepiej odpowiadający temu, co faktycznie zostało zapisane w systemie, a nie temu, co jego twórcy mieli na myśli.

To jeden z fundamentalnych problemów alignmentu: maszyna nie czyta naszych intencji. Realizuje strukturę bodźców, celów i ograniczeń, którą rzeczywiście jej stworzyliśmy. Dlatego nieprecyzyjne pojęcia są w tym obszarze szczególnie niebezpieczne.

Ludzkość nie jest jednym podmiotem moralnym!

Ludzkość istnieje jako gatunek. Nie istnieje jednak jako jeden podmiot moralny posiadający jeden spójny system wartości. Dlatego żadne laboratorium komputerowe nie może po prostu stworzyć własnego zestawu norm i nazwać go „human values”. Może stworzyć konkretny standard zachowania AI. Jednak wtedy powinno jasno powiedzieć: kto ten standard wybrał, według jakiej procedury, na podstawie jakiej filozofii, kto może go zmienić, kto będzie go audytował oraz jak system ma rozstrzygać konflikty między wartościami różnych ludzi i kultur.

Pachocki bardzo dobrze dostrzega problem technicznej legitymizacji bezpieczeństwa. Dlatego pisze o audytorach, organach państwowych, koordynacji międzynarodowej i wspólnych barierach bezpieczeństwa.

Pozostaje jednak analogiczny problem legitymizacji normatywnej. Kto ma prawo zdecydować, co dokładnie kryje się pod nazwą „human values”? Laboratoria? Rządy? Organizacje międzynarodowe? Demokratyczne parlamenty? Eksperci? Użytkownicy? A może każdy człowiek w pewnym zakresie osobno?

Jeżeli mają to ustalać rządy w ramach międzynarodowych negocjacji, natychmiast pojawia się kolejne pytanie: jakie wartości wniesie do tych negocjacji demokratyczny Zachód, jakie Chiny, jakie państwa islamskie, a jakie autorytarna Rosja?

Czy Władimir Putin również będzie współdecydował o tym, co od tej chwili nazywamy uniwersalnymi „ludzkimi wartościami” dla sztucznej inteligencji?

• An Alien Mind: https://openai.com/index/an-alien-mind/
• Trzy piętra człowieka: instynkty, uniwersalia, cywilizacje: https://x.com/gps65/status/2088958219607499255