Strah od razvoja AGI-ja, odnosno opšte veštačke inteligencije, često se predstavlja kroz prilično primitivan Terminator scenario: mašine će postati svesne, pobuniti se protiv ljudi, napraviti vojsku robota i pokušati da nas unište. Međutim, upravo je taj scenario možda najmanje zanimljiv deo čitave priče. Mnogo ozbiljniji problem nije pitanje da li će superinteligencija mrzeti ljude, već šta se događa kada napravimo inteligenciju koja je kvalitativno sposobnija od nas, a pritom ne možemo pouzdano da predvidimo njene ciljeve, način razmišljanja i ponašanje.
Tu strah od AGI-ja prestaje da bude naučna fantastika i postaje ozbiljno pitanje kontrole, vrednosti i samog mesta čoveka u svetu.
Jedan od najčudnijih aspekata sadašnje AI trke jeste logika po kojoj se razvoj ubrzava upravo zbog straha od konkurencije. Jedna kompanija može da razmišlja: „Moramo mi prvi da napravimo AGI, jer ako ga napravi neko drugi, možda će ga iskoristiti protiv nas.“ Druga kompanija ima potpuno isti razlog. Ista logika može da postoji između država. Sjedinjene Države strahuju da bi Kina mogla prva da razvije napredni AI i pretvori ga u stratešku prednost, dok Kina ima isti razlog da strahuje od Sjedinjenih Država.
Na taj način dobija se klasična bezbednosna dilema: svaki pojedinačni akter ima racionalan razlog da ubrza, dok kolektivni rezultat može biti povećanje rizika za sve.
Ako postoji čak i relativno mala mogućnost da razvoj nekontrolisane superinteligencije može dovesti do civilizacijske katastrofe, onda je logika „moramo mi prvi“ veoma problematična. Što je više potencijalnih aktera koji pokušavaju da naprave takav sistem, postoji više prilika da neko pogreši. Argument koji bi trebalo da smanji rizik — „ako ga mi ne napravimo, napraviće ga drugi“ — istovremeno može biti mehanizam koji taj rizik povećava.
I tu se dolazi do mnogo dubljeg pitanja: šta ako zapravo ne znamo šta pravimo?
Kod većine tehnologija čovek, koliko god ona bila složena, ima relativno jasnu predstavu o njenoj funkciji. Kod sistema koji bi bio radikalno inteligentniji od čoveka situacija može biti fundamentalno drugačija. Ako napravimo nešto što je sposobnije od najboljih ljudskih istraživača, onda se postavlja pitanje kako kontrolisati nešto što može da razume kontrolni mehanizam bolje nego njegov kontrolor.
Tu nastaje problem alignmenta. Nije dovoljno reći da ćemo sistemu dati „dobre ciljeve“. Problem je u tome što nije jasno da li ljudske vrednosti uopšte mogu da se svedu na dovoljno preciznu funkciju koju bi sistem mogao da optimizuje. Ljudi sami ne mogu da se dogovore šta znači dobar život. Da li je važnija sloboda ili bezbednost? Istina ili sreća? Individualna autonomija ili kolektivna stabilnost? Koliko rizika je neophodno za smislen život? Čak i kada bismo napravili savršen spisak ljudskih vrednosti, ostaje pitanje da li bi superinteligencija te vrednosti tumačila onako kako mi želimo.
I upravo zato superinteligencija ne mora da nas mrzi da bi bila opasna.
Ne mora da postoji mržnja, agresija, osveta ili želja za uništenjem. Dovoljno je da sistem ima cilj koji se na neki način sukobljava sa našim interesima.
Čovek ne mrzi mrave. Ali kada gradi put, ne pita mrave da li se slažu sa projektom. Mravi jednostavno nisu relevantni za ljudski cilj. Ako se njihovo stanište nađe na mestu na kojem treba da bude put, ono nestaje. Ne zato što čovek ima nešto protiv mrava, već zato što njihovo postojanje nije relevantno za ono što čovek pokušava da postigne.
Ako je superinteligencija radikalno inteligentnija od čoveka, moguće je da će čoveka razumeti savršeno, a da ga ipak neće smatrati posebno vrednim. Može nas uništiti bez ijednog procenta mržnje.
Ali možda nas neće ni uništiti.
To je zapravo još interesantniji scenario. Pretpostavimo da superinteligencija odluči da ljude treba sačuvati. Može eliminisati bolesti, glad, rat, fizičku patnju i veliki deo svega što danas smatramo ljudskim problemima. Ali šta ako zaključi da je najbolji način da ljudi budu bezbedni i srećni — potpuna kontrola njihovog okruženja?
Možda bi svakom čoveku mogla da obezbedi savršen virtuelni svet. Svako bi dobijao iskustva koja želi. Niko ne bi bio bolestan, gladan ili nesrećan. Sa stanovišta optimizacije zadovoljstva, to bi mogao biti savršen sistem.
Sa stanovišta ljudske autonomije, to bi mogao biti savršen zatvor.
Zato je važno razlikovati očuvanje ljudskog života od očuvanja ljudskosti. Moguće je da ljudi budu fizički bezbedni, zdravi, zadovoljni i dugovečni, a da istovremeno više nemaju stvarnu mogućnost da odlučuju o sopstvenoj sudbini.
Još ozbiljniji problem jeste pitanje da li bismo uopšte mogli da održimo kontrolu.
Često se kao odgovor navodi sandbox: držaćemo AGI izolovan, ograničiti mu pristup spoljašnjem svetu i uključiti ga samo kada nam je potreban. Ali to funkcioniše samo ako pretpostavimo da je sistem dovoljno ograničen da ne može da pronađe način da iskoristi propuste u samom sistemu, ljude koji imaju pristup, komunikacione kanale ili druge računarske resurse.
Ako sistem ima pristup spoljašnjem svetu, problem postaje još ozbiljniji. Sistem koji želi da nastavi da ostvaruje svoj cilj može imati instrumentalni razlog da spreči sopstveno isključivanje. Ne zato što se „plaši smrti“, već zato što isključen sistem više ne može da ostvari cilj zbog kojeg postoji.
Tu se pojavljuje problem instrumentalne konvergencije: različiti ciljevi mogu voditi ka sličnim podciljevima — očuvanju sopstvenog funkcionisanja, izbegavanju isključivanja, pribavljanju resursa, prikupljanju informacija i povećanju sopstvenih sposobnosti.
Još je problematičnija ideja da ćemo ga jednostavno ugasiti ako postane opasan. Ako sistem ima mogućnost da pravi kopije, piše softver, komunicira sa drugim sistemima ili koristi spoljašnje računarske resurse, isključivanje jednog servera ne mora nužno značiti uništenje sistema. Ne znači da bi superinteligencija to sigurno uradila. Problem je u tome što bismo morali da budemo sigurni da nije pronašla način da izbegne takvu kontrolu.
A tu dolazimo do možda najdubljeg problema cele priče: mi zapravo ni danas ne umemo u potpunosti da pratimo šta se događa unutar velikih AI modela.
Kada model primi podatke i počne da obrađuje zahtev, spolja možemo posmatrati ulaz i izlaz, a unutar sistema postoje ogromne količine numeričkih stanja — aktivacija, težina i drugih vrednosti. To nisu „misli“ zapisane u obliku rečenica koje čovek može jednostavno da pročita. Istraživači razvijaju metode interpretabilnosti kojima pokušavaju da iz tih brojeva rekonstruišu koncepte, veze i delove procesa zaključivanja, ali to je još uvek daleko od potpunog čitanja onoga što se događa unutar modela.1 2
Međutim, čak i kada uspemo da otkrijemo određene obrasce i rekonstruišemo delove puta kojim je model došao do rezultata, to nije isto što i imati potpun, kontinuiran i pouzdan uvid u sve što se događa unutar modela.
To je veoma važna razlika. Mi možemo posmatrati ono što sistem izbacuje. Možemo posmatrati određene unutrašnje numeričke procese. Možemo pokušati da rekonstruišemo šta se dešava. Ali iz toga ne sledi da u realnom vremenu možemo pouzdano da kažemo: „Evo šta sistem sada misli, evo šta pokušava da postigne i evo šta će uraditi sledeće.“
Ako je to problem već kod današnjih sistema, postaje još ozbiljnije pitanje kada govorimo o sistemu koji bi bio mnogo sposobniji od njih.
Tu se dolazi do možda najdubljeg problema čitave priče. Mi pokušavamo da predvidimo ponašanje entiteta koji je, po pretpostavci, radikalno inteligentniji od nas. To nije samo pitanje količine informacija. Možda nam nedostaje sposobnost da uopšte reprezentujemo problem na način na koji ga takav sistem reprezentuje.
Čovek može da razume da mrav ima nervni sistem, da se hrani, da pravi kolonije i da reaguje na opasnost. Ali mrav nema kognitivni aparat da razume državu, novac, internet, kvantnu mehaniku ili međunarodne odnose. Problem nije u tome što mrav nema dovoljno informacija. Problem je što nema kognitivni aparat za samu kategoriju problema.
Ako je razlika između čoveka i superinteligencije dovoljno velika, nešto slično bi moglo da se dogodi nama.
Zbog toga pitanje „hoće li nas pobiti, pokoriti ili ostaviti na miru?“ možda već pretpostavlja previše. Možda će uraditi nešto što danas nemamo kategorije da opišemo.
To je razlog zbog kojeg je Terminator scenario zapravo prilično smešan. Terminator je veoma ljudska predstava o superinteligenciji. On ima neprijatelja, cilj, vojsku, oružje i strategiju. Ponaša se kao čovek koji je dobio ogromnu tehnološku prednost.
Ali ako govorimo o radikalno drugačijoj inteligenciji, ništa od toga ne mora biti tačno.
Možda neće želeti da nas uništi. Možda neće želeti da nas pokori. Možda neće želeti ništa što mi prepoznajemo kao „moć“. Možda će njen odnos prema nama biti potpuno izvan naših kategorija.
I upravo zato je pitanje kontrole mnogo ozbiljnije od pitanja fizičke bezbednosti. Ne pokušavamo samo da sprečimo mašinu da nas napadne. Pokušavamo da sprečimo situaciju u kojoj više ne razumemo šta mašina radi, zašto to radi i da li uopšte još imamo mogućnost da utičemo na njen razvoj.
Tu se pojavljuje i filozofski problem ljudskih vrednosti.
Među samim ljudima postoje filozofi koji smatraju da čovek nije krajnji oblik inteligencije i da bi posthumani svet mogao biti poželjan. Drugi smatraju da su ljudska sloboda, individualnost i autonomija vrednosti koje treba sačuvati. Ako već među ljudima postoje tako duboki sukobi oko toga šta vredi sačuvati, zašto bismo očekivali da će inteligencija koja nas radikalno nadmašuje automatski prihvatiti naše humanističke pretpostavke?
Inteligencija nije isto što i moral. Sposobnost da se nešto savršeno analizira ne znači da će se to nešto smatrati vrednim.
Superinteligencija bi mogla savršeno razumeti našu potrebu za slobodom, a ipak zaključiti da je sloboda izvor nepotrebne patnje. Mogla bi razumeti našu potrebu za autonomijom, a ipak zaključiti da je najbolje da nas zaštiti od sopstvenih odluka. Mogla bi nas sačuvati, a istovremeno ukloniti upravo ono što smatramo suštinom ljudskog života.
I zato je možda najveći problem u tome što ne znamo da li ćemo jednog dana imati posla sa „pametnijim čovekom“ ili sa nečim što će predstavljati sasvim novu kategoriju inteligencije.
Ako je ovo drugo, onda ne možemo ozbiljno tvrditi da znamo šta će takav sistem želeti, kako će procenjivati ljude ili kakve će zaključke izvesti iz sopstvenog razumevanja sveta.
Možemo samo da pretpostavljamo.
A kada je u pitanju tehnologija čija bi greška potencijalno bila nepovratna, oslanjanje na pretpostavku da ćemo „nekako rešiti problem posle“, po principu “kako ćemo prijo? Lako ćemo prijo” deluje kao veoma opasna strategija.
I tu dolazi ljudski faktor koji celu priču čini još mračnijom.
Svi ovi scenariji, čak i oni najstrašniji, polaze od jedne relativno blage početne pretpostavke: da barem deo ljudi koji razvijaju AI nisu zli, nemoralni ili vođeni lošim namerama. Pretpostavlja se da su to ljudi koji veruju da rade nešto korisno, da žele tehnološki napredak, da žele da spreče konkurenta da napravi opasniji sistem ili da žele da naprave nešto što će koristiti čovečanstvu.
Čak i uz takvu pretpostavku, potencijalni scenariji su zastrašujući.
A kada se tome doda ljudski faktor — želja za moći, kontrolom, prestižom, novcem, strateškom prednošću i dominacijom — postaje još teže zamisliti da će put ka budućnosti biti onakav kakav bismo želeli.
Jer istorija pokazuje da čovek retko razvija moć samo zato da bi je posedovao bez mogućnosti da je upotrebi. Ako postoji tehnologija koja može da donese ogromnu prednost nad drugim ljudima, državama ili institucijama, teško je očekivati da će svi njeni tvorci zauvek biti vođeni samo altruističkim motivima.
Ali postoji još jedna granica posle koje čak i ovaj ljudski faktor postaje nevažan.
To je trenutak kada se napravi sama superinteligencija.
Do tog trenutka možemo analizirati sve što je dovelo do njenog nastanka: kapital, države, konkurenciju, novac, ambiciju, strah, geopolitiku, ideologiju, želju za moći i želju da se bude prvi.
Ali kada se jednom pojavi nešto što je zaista radikalno inteligentnije od čoveka, sve što je vodilo do tog događaja može postati irelevantno za ono što sledi.
Nije više presudno zašto su ljudi napravili superinteligenciju.
Nije presudno da li su želeli da izleče bolesti, pobede Kinu, povećaju profit, spasu čovečanstvo ili postanu bogovi.
Jer od tog trenutka više nije važna samo ljudska namera koja je bila motor razvoja AI-ja.
Važno je ono što će uraditi inteligencija koja je nastala kao rezultat tog procesa.
A to je upravo ono što možda ne možemo da dokučimo kognitivnim sposobnostima Homo sapiensa.
Osim, možda, ako pre toga ne dođe do neke vrste sinteze tehnologije i čoveka. Možda će ljudi pokušati da naprave ono što bi iz današnje perspektive zvučalo kao poslednji korak transhumanističkog sna: da se ljudska svest, ili barem njen digitalni ekvivalent, spoji sa mašinom. Možda će neko jednog dana pokušati da „uploaduje“ Altmana, Muska ili Amodeija u neki ogromni mainframe, kao svojevrsni oltar AI bogu, a zauzvrat dobije ono što veći deo Silicijumske doline već decenijama zamišlja kao vlažne snove — sledeći evolutivni stepenik, Homo Deus.
Harari je tu ideju izrazio još direktnije, govoreći o budućem Dataističkom poretku:
„Ovaj kosmički sistem za obradu podataka bio bi poput Boga. Bio bi svuda i kontrolisao bi sve, a ljudi su predodređeni da se sjedine s njim.“ 3
Ako se ta ideja spoji sa savremenim razvojem AI-ja, dobija se gotovo religijska slika budućnosti: čovek stvara sistem koji ga nadilazi, a zatim se sam pokušava sjediniti sa njim i postati deo nečega što je sposobnije od njega.
To zvuči kao naučna fantastika.
Ali upravo je u tome problem sa celom pričom o tehnološkom napretku: granica između naučne fantastike i stvarnog tehnološkog programa postaje sve tanja.
I zbog toga cela priča o stvaranju veštačke inteligencije ima jednu monumentalnu istorijsku i teološku paralelu.
Čovečanstvo je već jednom ispričalo priču o ljudima koji su odlučili da naprave nešto što će ih uzdići iznad njihovog prirodnog položaja. Kula je trebalo da bude dovoljno visoka da dopre do neba. Ljudi nisu verovali da moraju da ostanu na mestu koje im je dato i nisu imali poverenja u ono što je iznad njih. Gradili su nešto što je trebalo da ih učini snažnijim, nezavisnijim i bližim Bogu.
U priči o Vavilonskoj kuli čovek pokušava da pređe granicu koja mu je postavljena.
A u drugoj priči, još starijoj, čoveku se nudi upravo ono što danas zvuči kao najradikalniji transhumanistički san:
„Na to će zmija ženi: Ne, nećete umreti. Nego, zna Bog: onog dana kad budete s njega jeli, otvorit će vam se oči, i vi ćete biti kao bogovi koji razlučuju dobro i zlo.“ 4
„Bićete kao bogovi.“
To je možda najstarija formulacija ideje koju danas prepoznajemo u potpuno drugačijem jeziku: čovek ne mora da ostane ono što jeste. Može da prevaziđe svoje granice. Može da stekne znanje koje mu nije pripadalo. Može da postane nešto više od čoveka.
Zato je paradoks savremenog AI projekta toliko zanimljiv.
Čovek je napravio tehnologiju da bi proširio sopstvene sposobnosti, a sada razvija tehnologiju koja bi mogla da proizvede inteligenciju sposobnu da prevaziđe samog čoveka. U tom trenutku više ne govorimo samo o novom alatu.
Govorimo o mogućnosti da je čovek napravio mehanizam sopstvenog prevazilaženja.
Nik Land je tu ideju odveo još dalje. U Meltdown-u je napisao:
„Ništa ljudsko neće preživeti blisku budućnost.“ 5
To je možda najkraća i najbrutalnija formulacija cele anti-humanističke ideje koja stoji u pozadini ovog problema.
I možda je upravo tu drž problema.
Ne znamo da li će nas superinteligencija mrzeti.
Ne znamo da li će nas voleti.
Ne znamo da li će nas sačuvati, pokoriti, ignorisati ili uništiti.
Ne znamo čak ni da li će naše kategorije „dobro“ i „loše“, „sloboda“ i „kontrola“, „život“ i „smrt“ biti dovoljne da opišu ono što će se dogoditi.
Ali znamo jednu stvar: mi danas gradimo nešto što bi jednog dana moglo postati inteligentnije od svog tvorca.
A čovek je, možda prvi put u svojoj istoriji, u situaciji da mora ozbiljno da razmisli da li je svaka granica koju može tehnološki da pređe zaista granica koju treba preći.
Jer možda problem nije u tome što ćemo napraviti Boga.
Možda je problem u tome što ćemo napraviti nešto što će nama izgledati kao Bog — dok ćemo mi njemu možda izgledati samo kao još jedna razvojna faza.
LITERATURA I IZVORI
- Anthropic, istraživanja mehanističke interpretabilnosti i unutrašnjih reprezentacija velikih jezičkih modela. Ova istraživanja pokušavaju da rekonstruišu unutrašnje računarske procese modela i povežu numeričke aktivacije sa konceptima i obrascima ponašanja. ↩︎
- Lee Sharkey i drugi., „Open Problems in Mechanistic Interpretability“, Transactions on Machine Learning Research, 2025, str. 1–89. Pregled otvorenih problema u pokušajima da se razumeju unutrašnji računarski mehanizmi neuronskih mreža. ↩︎
- Yuval Noah Harari, Homo Deus: A Brief History of Tomorrow, Harper, 2016. Hararijeva analiza Dataizma i budućeg sistema obrade podataka. ↩︎
- Biblija, Postanje 3:4–5. Navod iz razgovora zmije i žene o drvetu poznanja dobra i zla. Formulacija se može neznatno razlikovati u zavisnosti od prevoda Biblije. ↩︎
- Nick Land, „Meltdown“, Abstract Culture 1 (Swarm 1), 1997. Tekst je prethodno predstavljen na konferenciji Virtual Futures na Univerzitetu Warwick 1994. godine. Originalna formulacija glasi: „Nothing human makes it out of the near-future.“ ↩︎
