Štěpán Kučera: Jen další „konec světa“. Ivan M. Havel o strachu z nástupu superinteligence
Článek byl otištěn v Salonu Právo 19. září 2018. Za jeho poskytnutí redakci děkujeme.
Ivan M. Havel (1938), vědec a zakladatel Centra pro teoretická studia, se už od sedmdesátých let zabývá umělou inteligencí a filosofickými otázkami s ní souvisejícími. Salon se ho proto zeptal na téma, o němž dnes někteří píší s obavami a někteří s nadějí – vznik tzv. superinteligence.
Jak vzniká lidské myšlení?
Rád bych nejprve rozlišil dvě hlediska, jak chápat lidské myšlení. Zaprvé o něm můžeme mluvit jakoby z vnějšího, nezaujatého stanoviska, podobně jako mluvíme o jakémkoliv přírodním ději – třeba o tom, že za oknem padají kroupy. A zadruhé lze o myšlení mluvit jako o něčem, co vědomě prožívá ten, kdo zrovna myslí – například já, když vám říkám tuto větu. Kroupy si prostě letí věrny přírodním zákonům a nikoho nenapadne prohlašovat, že při tom myslí. Já jsem na tom jinak: pečlivě volím slova a snažím se, aby věta dávala přesně ten smysl, jaký jsem zamýšlel. Prostě jsem u toho a vím o své snaze a své svobodě volit slova. Jinak řečeno vím, že jsem, že se o něco pokouším a že při tom myslím. Abychom si dále rozuměli, budu první hledisko označovat – nepřesně – jako vnější a druhé – opět nepřesně – jako vnitřní.
Jsou tací, a mezi informatiky jsou asi ve většině, kteří se v souvislosti s lidským myšlením omezují jen na ono vnější hledisko, tvrdí, že se lidské myšlení dá chápat v podstatě podobně jako ono padání krup. Když takový děj vypadá jako chytře vymyšlený, klidně o něm řeknou, že je inteligentní. Já se však na to dívám jinak. Myslím, že podstatné je právě ono druhé, vnitřní hledisko, které se nedá jen tak odmávnout. Nedovedu si představit lidské myšlení bez přihlédnutí k tomu, kdo myslí, přesněji řečeno, kdo si uvědomuje, že myslí, a že ten „kdo“ jsem třeba já.
Ptáte se, jak lidské myšlení vzniká. Beru to jako otázku po jakési „hnací síle“ v průběhu myšlení, a pak mě předchozí rozlišení dvou hledisek navádí na dvě odpovědi. Z vnějšího hlediska bychom se asi dostali k otázce po biologické povaze mentálních procesů. Dnešní poznatky neurověd – od elektrochemických dějů na synapsích až po funkční konektivitu rozsáhlých oblastí mozku – jsou obdivuhodné, nicméně odhalují nanejvýš jen určité korelace mezi děním v mysli a děním v mozku. Neříkají nic o kauzálním vztahu mezi nimi. Takže vědecky přijatelná odpověď na otázku po vzniku myšlení zatím chybí.
Z vnitřního hlediska je však situace ještě tristnější – a právem. Pakliže je pro člověka charakteristické, že si plně uvědomuje své myšlení, a tím i sebe sama v roli myslícího, že ví o své osobní identitě, vnitřní svobodě a o svých tužbách i obavách, jde o něco, co se vymyká jakémukoliv objektivistickému popisu, neřkuli experimentu. Svůj osobní přístup k sobě samému chápu jako ontologicky jinou sféru zkušenosti, než je zkušenost s vnějším světem.
A kde začíná člověk? Co nás odlišuje od zvířat?
Abych dodržel svou preferenci vnitřního hlediska, rád bych dospěl k charakterizaci člověka nejen jako myslící bytosti, ale jako vědomě myslící bytosti, takové, která o sobě především nějak ví. Chápeme-li svět dějinně – v tom smyslu, že věříme, že se nějak vyvíjel nebo alespoň měnil v čase –, stojíme před nezvratnou skutečností, že byly doby, kdy člověk na naší planetě chyběl. Muselo tedy existovat období, kdy někteří, asi i jinak vyspělí živočichové takříkajíc vnitřně „prozřeli“. Nikdy se nedozvíme, jak dlouho to trvalo a jaké to pro ně bylo.
Pamatujete si na film 2001: Vesmírná odysea? Je tam na začátku dlouhá pasáž, v níž se tlupa lidoopů mění v tlupu opolidí. Explicitně je ukázáno, že v tom hraje roli objev kosti coby nástroje k lovu i k obraně. Já bych však zdůraznil něco jiného: v tom filmu vznikala sehraná tlupa a její souhra byla založena na vzájemné komunikaci pomocí skřeků a gestikulace. Ke vzniku člověka tam došlo v tlupě, nikoliv v jedinci.
Zatím jsem tvrdil, že hlavní charakteristikou člověka je vědomí sebe a své vlastní identity. Kde se však toto vědomí a sebeuvědomění vzaly? Není to tak, že k tomu musí existovat i druzí, kteří se ke mně jako k jedinci obracejí, navazují se mnou kontakt, berou mě do tlupy a – koneckonců, ale hlavně – se se mnou domlouvají nějakou řečí?
Ale i lidoop se dokáže naučit základy lidské řeči, a naopak třeba někteří mentálně postižení lidé řeč používat nedovedou…
To máte jistě pravdu, ale museli bychom se dohodnout, co doopravdy rozumíme řečí a co lidskou řečí. Pokud jsem prohlásil, že řeč je něco, co nás odlišuje od zvířat, nemyslel jsem řeč jen jako jistý prostředek interakce seskládaný ze slov a vět, jimiž na sebe lidé ve vhodných situacích pokřikují – a mohli by se je naučit i lidoopi a papoušci, zatímco mentálně postižení by se museli naučit něco náhradního. Měl jsem spíš na mysli cosi, co propojuje lidskou komunitu na základě své výpovědní i mimovýpovědní síly. Je to řeč, díky níž spolu můžeme mluvit o minulosti i budoucnosti, dokážeme se na něčem dohodnout, něco si třeba i slíbit. Slib mimo jiné znamená, že je tu vůle jej dodržet, a ta zase předpokládá vědomí identity sebe sama v čase. I kdybych za celý život neutrousil jediné slovo, jazyk mi pomáhá vážit si minulého a hloubat o budoucím.
Velice by mě potěšilo, kdyby lidoopi nebo delfíni nebo papoušci měli své vlastní komunikační prostředky s obdobnou výpovědní silou, jakou má lidská řeč. Ani by mi nevadilo, že bych si s nimi těžko rozuměl.
Užívání řeči je mimo jiné dokladem, že s námi lidmi je to nějak jinak než u zvířat. Mezi lidmi si vzájemně rozumíme proto, že shodně prožíváme svět, a nic bychom shodně neprožívali, kdybychom spolu nemluvili.
V jedné přednášce jste zmínil panpsychismus, tedy hypotézu, že je vesmír prostoupen vědomím a že složitý organismus s mozkem se po svém vzniku na této vesmírné substanci začne „živit“. Je to podle vás smysluplná možnost?
Zdá se mi to jako zajímavá myšlenka, ale neberte mě vážně, protože všechno divné mi přijde zajímavé. Mám slabost pro myšlenkové experimenty, ať jsou sebedivočejší. Logika zmíněné hypotézy vychází z toho, že nemůžeme vědět, co všechno kromě nás si ve vesmíru může dovolit vědomí nebo něco obdobného. Víme, že vše je prostoupeno gravitačním polem, které se projevuje jen v místech, kde se nahromadila hmota. Co když se podobně v místech, kde se nahromadily vhodně zauzlené neurony nebo kde se semkla jedna tlupa tvorů proti jiné tlupě, probudí vědomí? Musím nicméně poznamenat, že se k panpsychismu nehlásím.
Jak byste popsal rozdíl mezi přirozeným a umělým myšlením?
Velmi obecně řečeno, přirozené je to, co vzniklo samo od sebe, například svým vlastním vývojem nebo vývinem, kdežto umělé je spíše to, co vyrobil člověk, zpravidla aby napodobil něco přirozeného. Příkladem může být umělá družice, umělý jazyk či umělá ledvina. Člověk musel mít představu o tom, co napodobuje, a musel to chtít napodobit. S myšlením je to ovšem těžké. Mluví-li se o umělém myšlení, bere se to buď jako metafora, anebo se jaksi implicitně předpokládá, že myšlení je produktem nějakého mozku, že tedy umělé myšlení je produktem umělého mozku a že umělým mozkem může být třeba i počítač. Tyhle předpoklady jsou vlastně tři, každý bychom mohli pitvat, ale není na to čas. Jen bych poznamenal, že onen pojmový přeskok od mysli k mozku není logicky zcela čistý – míchají se odlišné diskurzy.
Rozdíl, na nějž se ptáte, se historicky objevil zejména poté, co nás počítače překvapily dovedností dělat věci, o nichž jsme si mysleli, že je dovedeme jenom my. Věříme, že vyhrát šachovou partii vyžaduje myšlení, takže když se to počítač naučí, chová se v našich očích podobně jako člověk. Přitom víme, že i ten počítač byl někým vyroben a naprogramován, někým, kdo chtěl, aby vyhrával. Jak vidno, o rozdílu mezi myšlením přirozeným a umělým mluvit lze.
Dnes dokážeme v laboratoři s pomocí genetiky stvořit i živou bytost. Ta by měla přirozené, nebo umělé myšlení?
Záleží na tom, jak se o tom bude mluvit. Je možné, že se zopakuje to, co jsem řekl o myšlení umělého mozku. Bude-li se považovat ono geneticky vyrobené stvoření za umělé, může se za umělý pokládat i jeho mozek, a tudíž i jeho myšlení, i jeho výmysly. Opět ovšem za cenu míchání odlišných diskurzů. Snad by to šlo také opačně: považovat dotyčný genetický proces za přirozený, zejména pokud by probíhal samovolně. Atribut přirozenosti by se pak přenášel i na všechno, co to stvoření vykonává, jak se chová, co po sobě zanechává.
V čem se podle vás myšlení umělé inteligence může podobat člověku? Ptám se samozřejmě hlavně na vědomí sebe sama.
Snad všechny dosavadní dovednosti umělé inteligence obsahují něco podobného lidskému myšlení. Počítače umějí hledat cestu v bludišti, rozpoznávat lidské tváře, obstojně překládat mezi jazyky, řídit auta… Mnohé z toho se dá kvantifikovat co do úspěšnosti a pak většinou počítače vyhrávají nad člověkem – hlavně díky své operační rychlosti a kapacitě paměti. Nově k tomu přibylo hloubkové učení. A právě tyto úspěchy vedly ke zrodu dvou velkých idejí s dalekosáhlými důsledky.
První je idea obecné umělé inteligence. Všechny konkrétní dovednosti, nejen ty, které jsem uvedl, ale mnohé myslitelné další, lze spolu prostě sečíst. Vytvořit jakýsi všeumělý počítač. Snahy v tomto směru již existují, i když nepříliš dlouho. V pozadí této myšlenky je opět napodobení člověka. Přece si umíte představit člověka, který výborně hraje šachy, současně rozpoznává motýly a k tomu ještě překládá poezii z urdštiny do latiny. Proč by své schopnosti neuměl kombinovat počítač? A od toho se odvíjí idea druhá, idea superinteligence, jakési „nadlidské“ inteligence. Představte si obecnou umělou inteligenci, která navíc dalece překonává lidské schopnosti skoro ve všech dovednostech. Tak to alespoň definují autoři v čele s Nickem Bostromem.
Nad představou superinteligence se výrazně ohlašuje problém, na nějž jste se zeptal, totiž vědomí sebe sama. Přesněji řečeno: to, co se ohlašuje, je jeho ignorování. Příkladem je zmíněný Bostrom, který už někde na straně 47 své objemné knihy Superinteligence předesílá, že otázkou, zda by superinteligence mohla mít subjektivní vědomou zkušenost, se zabývat nebude.
Jak jsem už uvedl, lidské myšlení se nedá oddělit od toho, že je tu vždy někdo, kdo myslí a kdo si své myšlení, a tedy i sebe sama, uvědomuje. Má-li být umělá inteligence aspoň v něčem odvozena od inteligence lidské, nebo ji dokonce předčít, pak je nutné si tuto otázku položit. Zdálo by se, že lze uhnout pohledem a vsadit na hledisko, které jsem nazval vnější, totiž že za vším jsou jen fyzické, kauzální procesy. Pak bych měl ovšem velký problém s připisováním některých typicky niterných vlastností superinteligenci, jak to opakovaně činí Bostrom. Příklady: „vylepšovat sebe sama“, „chovat se přátelsky“, „mít své motivace“, „chtít získat moc“.
V literatuře o umělé inteligenci přežívá implicitní nebo i explicitní redukcionismus, převzatý z analytické filosofie mysli. Zjednodušeně řečeno je to názor, že myšlení lze redukovat na biologické procesy v mozku. Speciálně naše vědomí sebe sama podle redukcionistů vyvstává na vyšších úrovních popisu čistě jako produkt těchto biologických procesů, pokud vůbec takové vědomí existuje a není pouhou iluzí.
Představa o redukovatelnosti mysli na neuronální procesy podnítila některé badatele k debatám, co by se stalo, kdyby se něčí mozek celý detailně okopíroval, neuron po neuronu, do počítače. Duplikovalo by se tím vědomí sebe? Čího sebe?
Taková debata je snad i akademicky zajímavá, protože nás provokuje k rozmýšlení nad pojmem osobní identity jako takovým, ale věcně vzato zaostává za poznatky věd o mozku. Například za tím, že neurony nejsou v mozku to jediné a nejdůležitější. Každý neuron je neobyčejně složitý systém, v němž byla identifikována mimo jiné řada zcela různých typů buněčné paměti. Některé teorie se přes vnitřní strukturu jednotlivého neuronu dostávají až na kvantovou úroveň, kde už dochází k jevům, které se vymykají jakémukoliv kauzálnímu popisu.
Mohu se vrátit k Bostromovi? V závěru své knihy i on filosofuje – totiž o tom, že filosofovat se vůbec nemá. Dělat se má jen to, co vede k bezprostřednímu užitku. To je vlastně redukcionismus říznutý jakýmsi naivním pragmatismem.
Bostrom přirovnává filosofy k psům, kteří se snaží chodit po zadních, a vyslovuje hypotézu, že člověk možná nemá na to, zodpovědět základní otázky lidstva. Podle něj k tomu superinteligence může být způsobilejší.
Naštěstí jsem tuhle pasáž přeskočil. Považuji to za spekulace, které ani moc nemá smysl kritizovat. Pokud o sobě ten jeho geniální superpočítač nebude vědět, nebude ani vědět, že o sobě víme my. A vůbec, jaké základní otázky? Rád bych viděl, jak by je superinteligence formulovala. Už to by si vyžádalo hlubokou orientaci v dějinách filosofie. A vůbec nevím, proč bychom měli čekat na nějakou superinteligenci, aby za nás všechno vyřešila. Myslím, že kolem sebe máme dost věcí, které jsou záhadné, složité a vzrušující, a že stojí za to se jimi zabývat.
Bostromovi šlo v jeho knize asi hlavně o to, upozornit na bezpečnostní rizika, která s sebou může vývoj umělé inteligence nést.
V současné době zažíváme inflaci zájmu o následky překotného vývoje umělé inteligence. Zdá se mi, že tato inflace není jen důsledkem té překotnosti, ale že je i projevem obecné přitažlivosti dystopických vizí konce světa. Co kdysi znamenala srážka s kometou, může dnes být superinteligence. Co na tom lidi tolik vzrušuje? Že by vidina, jak se v poslední chvilce před zánikem světa lidi semknou a začnou se navzájem mít rádi?
Ať tak či onak, způsob, jak se o budoucnosti píše, na mě dělá dojem, že autoři jsou zajedno se čtenáři v tom, že superinteligence bude nebezpečná a že nás, jako inteligenčně zakrnělé tvory, dříve či později vypudí ze světa. Nikdo se neptá, proč by to tu superinteligenci mělo napadnout. Je jistě dobré, abychom se na leccos předem připravili, ale jak se můžeme připravit na všechno?
Bostrom netvrdí, že bude superinteligence zlá. Nabízí třeba myšlenkový experiment s kancelářskými svorkami – superinteligence dostane zadání je vyrábět a postupně přemění celý svět v montážní linku na výrobu svorek, čímž mimoděk vyhladí lidstvo.
Tak to by opravdu bylo pitomé zadání… V tomhle příkladu jde ovšem Bostromovi o jinou věc: o to mít na paměti, že zkáza by mohla vzniknout jako vedlejší, instrumentální produkt na první pohled neškodného záměru. Bostrom navrhuje takovým úletům zamezit vytvořením jakéhosi systému hodnot pro superinteligenci, který by respektoval i lidské hodnoty. Nebo by si takový systém vytvořila sama, inteligentní na to bude dost. Ale o jaké „hodnoty“ by šlo, když ten počítač nemá ponětí, co je dobro a co zlo?
Vývoj umělé inteligence pokračuje, nezávisle na tom, co všechno si my dokážeme představit. Probíhá v různých soukromých firmách, o lecčems ani nemusíme vědět. Když nesdílíte katastrofické scénáře, tak jak to podle vás bude dál?
Nejde o to, jestli je sdílím, ale zda je vyhledávám. Různé katastrofy máme za rohem, i letošní parné léto nám cosi připomnělo. To, jak Bostrom mluví o superinteligenci, se mi zdá dost vágní, protože libovolné. Jak může superinteligence něco opravdu chtít – třeba nás vyhubit? Vždyť ani nevíme, co o sobě bude vědět! Co když si bude myslet, že je člověkem, a vyhubí se sama?
Vy se ovšem ptáte, co bude dál. Myslím, že nastane ohromný pokrok v konkrétních, řekněme užitečných směrech. O to se ty firmy bezpochyby postarají, avšak nějak se mi nechce věřit, že jim půjde o rozvoj zcela obecné umělé inteligence…
Ostatně po tom letošním vedru by mi stačilo, kdyby se nějaká hluboká neuronová síť naučila líp předpovídat počasí. To je jedna z mnoha úloh, na které by umělá inteligence mohla využít svých skvělých schopností a také toho, že neví, co je to únava či lenost.
A na závěr: i já mám své znepokojení a poradit si s ním neumím: Pokud si zvykneme na superinteligenci a na její umělé myšlení, co to udělá s námi?
