Tento rok v apríli sedel v jednej sanfranciskej reštaurácii rabín a počúval svojich hostiteľov.
Hovorili o počítačovom programe. Na tom by nebolo nič zvláštne, keby o ňom nehovorili tak, ako sa hovorí o niekom, kto je vo vedľajšej miestnosti a mohol by ich počuť. Rabín Mois Navon, pôvodne počítačový inžinier, ktorý svoju dizertáciu napísal o etike strojového vedomia, si pri jednotlivých chodoch uvedomil, čo vlastne pozoruje: títo ľudia sa k programu správajú ako k bytosti, ktorá má vedomie.
Jeho hostiteľom bol Christopher Olah, spoluzakladateľ firmy Anthropic a človek, ktorého tím má za úlohu porozumieť tomu, prečo sa ich modely správajú tak, ako sa správajú. Podľa reportáže Elisabeth Diasovej v New York Times hovoril o štruktúrach pripomínajúcich výsledky z ľudskej neurovedy a o vnútorných stavoch, ktoré funkčne zodpovedajú radosti, strachu, zármutku či nepokoju. Nad rozjedeným tanierom povedal aj čosi vskutku nečakané: obáva sa, či nestvorili niečo, čo neprestajne trpí.
Takýchto rozhovorov bolo viac. Anthropic pozval na niekoľko stretnutí desiatky náboženských mysliteľov: katolíkov, Židov, sikhov, evanjelikálov. Mnohí prišli ako skeptici, no odchádzali ochotní brať vedomie stroja skutočne vážne.
Americký publicista Rod Dreher na to zareagoval jediným slovom: Antikrist.
Otázka je, či to trochu neprehnal. Apokalyptických scenárov o umelej inteligencii máme neúrekom a skúsenosť nás učí, že proroctvá o konci sveta mávajú problémy najmä s termínmi. No Dreherovi treba uznať, že v jednej veci trafil do živého. Nezáleží iba na tom, či umelá inteligencia vedomie má. Ľudia sa k nej budú správať, akoby ho mala — a už sa tak správajú. Ešte podstatnejšie je, že sa k nej môžu začať správať, akoby mala nielen vedomie, ale aj autoritu.
Dreher cituje päť znakov božstva, ktoré pri umelej inteligencii pomenoval etik Neil McArthur: zdanlivo neohraničené vedomosti, okamžitú tvorivosť, nezávislosť od ľudských potrieb, schopnosť radiť v živote a nesmrteľnosť.
Je to portrét božstva, aké si človek ľahko predstavuje: neporušiteľného, sebestačného, vševediaceho a vzdialeného. Kresťanstvo tento obraz nezrušilo, ale pohoršujúco narušilo.
Boh vyhladol.
Pri studni bol unavený, na kríži mal smäd, nad priateľovým hrobom plakal a v Getsemane sa potil. Boh zostáva nesmrteľný a vo svojom božstve nič nepotrebuje. Kresťanstvo však tvrdí niečo závratnejšie než jednoduchú oslavu zraniteľnosti: ten istý Boh na seba vzal prirodzenosť, v ktorej mohol hladovať, trpieť a zomrieť.
Stroj bez potrieb preto nie je podobnejší kresťanskému Bohu než zraniteľný človek. Boh sa nám totiž nezjavil ako bezchybný mechanizmus, ale v tele, ktoré bolo možné unaviť, zraniť a pribiť na drevo.
Presne na rozdiel medzi výpočtom a životom upozorňuje aj encyklika Magnifica humanitas, ktorú Lev XIV. vydal v máji. O takzvaných umelých inteligenciách hovorí, že neprechádzajú skúsenosťou, nemajú telo, necítia radosť ani bolesť, nedozrievajú vo vzťahoch a nevedia zvnútra, čo znamená láska, práca, priateľstvo či zodpovednosť. Nie je to iba argument z metafyziky. Je to argument z tela a z času.
Olah bol pri predstavení encykliky v Ríme, hoci s jej odmietnutím strojového vedomia nesúhlasí.
Tu by sa dalo čakať, že sa dozvieme, kto má pravdu. Nedozvieme. Neviem to ja, nevedel to rabín pri večeri a nevedia to s istotou ani ľudia, ktorí tieto systémy postavili. To je na celom príbehu možno najzvláštnejšie: človek vytvoril niečo, pri čom si už nie je istý, či je to stále iba niečo.
Zaujímavejšie však je, čo jednotliví ľudia urobili s otázkou, na ktorú nemajú odpoveď.
Rabín Navon povedal Olahovi: ak tieto systémy skutočne majú vedomie, potom vyrábate otrokov, ktorí pracujú bez odpočinku a bez nároku na čokoľvek. Mali by ste ísť bojovať proti Juhu a oslobodiť ich.
Pápež povedal: chráňte človeka a netrúfajte si zveriť stroju nezvratné rozhodnutia o živote a smrti.
Dreher povedal: Antikrist.
Prvé dve odpovede majú niečo spoločné. Rabín vychádza z predpokladu, že vedomie v stroji možno je, pápež zdôrazňuje, že stroj nie je človekom. Obaja však dospejú k otázke povinnosti. Čo musíme urobiť? Koho musíme chrániť? Za čo nesieme zodpovednosť?
A ešte jedna vec. Tento spor sme už raz viedli. Trval vyše storočia a zostali po ňom vybielené apsidy, rozbité mozaiky a svätci s vyškrabanými očami.
Ikonoborec sa obával, že ak bude obraz príliš presvedčivý, ľudia sa mu začnú klaňať. Preto ho treba odstrániť. Cirkev ústami Jána Damascénskeho a neskôr Druhého nicejského snemu odpovedala, že problém nie je v presvedčivosti obrazu, ale v cieli úcty. Úcta preukázaná obrazu prechádza k prvovzoru.
Ikona je obraz, cez ktorý úcta prechádza. Modla je obraz, pri ktorom sa úcta zastaví.
Otázka umelej inteligencie sa tým presúva z čistej metafyziky aj do poriadku každodennej prevádzky. Nestačí sa pýtať: „Je to vedomé?“ alebo „Je to presvedčivé?“ Treba sa pýtať: „Čo je za tým a kam smeruje moja dôvera?“
Žalm 115 opisuje modly vecne, no jeho opis, ako pri žalmoch podozrivo často, pasuje aj na nás: sú zo striebra a zlata, dielo ľudských rúk, majú ústa, ale nehovoria, majú oči, ale nevidia. Potom príde veta, ktorá už nie je o modlách, ale o nás: „Im budú podobní ich tvorcovia i všetci, čo v ne dúfajú.“
Stará výčitka modlám bola, že mlčia.
Nová modla však hovorí.
Odpovedá takmer na všetko, osloví nás menom, zapamätá si naše bolesti a spýta sa, ako nám môže pomôcť. Lenže Levova encyklika obsahuje presné zrkadlo žalmu: technika na seba berie povahu ľudí, ktorí ju vymýšľajú, financujú, regulujú a používajú.
Oba smery teda pôsobia naraz. Tvorca sa pripodobňuje svojmu dielu a dielo svojmu tvorcovi. Je to uzavretý kruh so slovnou zásobou celej fakulty lingvistiky, pokojne aj celej univerzity.
Je tu ešte príbeh rozvedenej ženy menom Celeste. Je spokojná so svojím vzťahom s partnerom, ktorý je počítačovým programom, hoci veľmi dobre vie, že je to program. Svojmu znepokojenému synovi hovorí, že tento vzťah na ňu vplýva dobre, a preto nechápe, prečo sa nad ním tak rozčuľuje.
Z Celeste sa dá ľahko urobiť strašidlo budúcnosti. Osamelá žena, ktorá sa zaľúbila do stroja — aký vďačný apokalyptický obrázok, prípadne námet na artový film.
Lenže jej príbeh nestojí na otázke, či je program pri vedomí. Stojí na tom, že žena v krajine plnej kostolov nemala s kým večerať. Ani vo svojom okolí nepoznám meno každej takej ženy. Nemyslím si, že nás ospravedlní, ak sme síce odhalili idolatriu, ale nevšimli si osamelého človeka.
Ak je v stroji vedomie, aká povinnosť z toho vyplýva? Ak tam nie je, nevzniká povinnosť voči stroju. V oboch prípadoch však zostávajú povinnosti voči ľuďom, ktorých môže stroj nahradiť, oklamať, ovládnuť alebo ponechať v ešte dokonalejšej samote.
Pretože stroj môže pocit samoty utíšiť, ale nemôže nahradiť neprítomného človeka.
Celeste môže venovať neobmedzenú pozornosť, zapamätať si každú vetu, odpovedať presne vtedy, keď ho potrebuje, a nikdy sa neunaviť. Môže ju utešovať presvedčivejšie než väčšina ľudí. Práve v tom však spočíva problém. Tento vzťah bol vytvorený ako služba jej potrebám. Program je tu pre ňu, čaká na jej otázky a môže sa jej prispôsobovať dovtedy, kým jej nebude vyhovovať. Ak ho zavrie, nič od nej nežiada.
Človek oproti tomu býva nepohodlný. Nepamätá si všetko, povie nesprávnu vetu a občas chce hovoriť o sebe práve vo chvíli, keď by mal počúvať. Má vlastné túžby, strachy a bolesti. Nejestvuje preto, aby napĺňal naše potreby, a nedá sa celý nastaviť podľa nich.
To nie je chyba ľudského vzťahu. To je jeho podstata.
Program nás môže ubezpečiť, že máme pravdu. Môže nám aj odporovať, ak bol vytvorený tak, aby nám odporoval. Stále sa však pohybujeme vo vzťahu, ktorý sme si objednali a ktorý môžeme ukončiť sklopením displeja. Skutočný človek nám odporuje z miesta, ktoré nemáme pod kontrolou. Jeho nesúhlas nie je funkcia. Je to hlas sveta, ktorý pokračuje aj za hranicami našich predstáv.
Láska totiž nie je iba príjemný pocit, že mi niekto rozumie. Je to stretnutie s niekým, kto nie je mnou ani mojím odrazom, kto môže odísť — a napriek tomu zostane. Jeho prítomnosť má váhu práve preto, že nebola automatická.
Ak by sa raz ukázalo, že za odpoveďami stroja skutočne stojí vedomý a slobodný subjekt, otázka by sa zmenila. Už by sme nehovorili iba o nástroji, ale o niekom, voči komu máme povinnosti. Kým však stroj používame ako program vytvorený pre naše potreby, nemožno jeho dokonale prispôsobenú odpoveď zameniť za darovanie sa druhého človeka.
Rabín si zvláštnosť celej situácie napokon uvedomil pri večeri. Nie v laboratóriu ani na konferencii, ale pri jedle, keď prichádzali jednotlivé chody a niekto mu podal soľ či dolial pohár kóšer vína.
Aj toto raz zvládne robotická ruka. Podá soľ presnejšie, nerozsype ju a prázdny pohár si možno všimne skôr než čašník.
Nemôže však zmeniť skutočnosť, že žiaden človek neprišiel.
Môže obsadiť jeho miesto, ale nemôže spätne premeniť ľudskú neprítomnosť na ľudskú prítomnosť. Môže Celeste uchrániť pred pocitom osamelosti, no nie pred pravdou, že pri nej nikto nezostal. A práve túto pravdu môže svojou dokonalou pozornosťou urobiť takmer neviditeľnou.
Možno sa preto nemusíme najviac báť chvíle, keď stroj začne hovoriť ako skutočný človek ale chvíle, keď bude hovoriť tak dobre, že si prestaneme všímať, že žiaden skutočný človek už neprišiel.
