Zapomnite si besedo AI-agent.
No, ne bo potrebno, saj jo boste v naslednjem letu zelo pogosto slišali.
Prepričan sem tudi, da bo prav ta beseda zaznamovala naslednje leto 2027.
In ne, ne mislim, da bo postala beseda leta zaradi revolucionarnih poslovnih rešitev, večje produktivnosti ali navdušenja nad tem, kako lahko umetna inteligenca namesto nas rezervira letalsko vozovnico, napiše elektronsko sporočilo ali opravi nakup. Bojim se, da bomo o AI-agentih prihodnje leto največ govorili zaradi precej manj prijetnih razlogov. Zaradi kibernetskih napadov, vdorov v informacijske sisteme, kraje podatkov, manipulacij, motenj v delovanju podjetij in državnih institucij ter morda celo zaradi dogodkov, ki jih danes še vedno uvrščamo med znanstveno fantastiko. Ne trdim, da se bo vse to zagotovo zgodilo že prihodnje leto. Toda če pogledamo, kaj se je na področju umetne inteligence zgodilo samo v letu 2026, potem moje napovedi morda niti niso tako drzne, kot se zdijo na prvi pogled.
Morda boste pomislili, da pretiravam. Da poskušam z naslovom vzbuditi pozornost in da bo umetna inteligenca tudi prihodnje leto predvsem koristna tehnologija, ki nam bo olajšala življenje.
Verjemite, želel bi si, da bi bilo res tako.
Toda po skoraj tridesetih letih dela na področju informatike in približno dveh desetletjih ukvarjanja s kibernetsko varnostjo sem se naučil, da največje nevarnosti pogosto niso tiste, ki jih vidimo, temveč tiste, ki jih zaradi prevelikega navdušenja sploh nočemo opaziti.
Danes tehnološka podjetja skoraj vsak teden predstavljajo nove, zmogljivejše modele umetne inteligence. Tekmujejo, kdo bo prvi, kdo bo hitrejši in kdo bo na trg poslal sistem, ki bo znal opraviti več nalog brez človekove pomoči. Medtem ko svet navdušeno spremlja njihove predstavitve, pa se v ozadju dogaja nekaj bistveno pomembnejšega. Umetna inteligenca se spreminja iz orodja, ki čaka na naša navodila, v sistem, ki je sposoben samostojno delovati. In prav tukaj vstopamo v novo obdobje, v katerem ne bo več najpomembnejše vprašanje, kaj umetna inteligenca zna, temveč predvsem, kaj vse lahko naredi, ne da bi mi to sploh vedeli.
Še pred tremi leti smo bili navdušeni, ko nam je ChatGPT napisal nekoliko boljše elektronsko sporočilo, prevedel besedilo ali odgovoril na vprašanje. Danes se nam takšne zmogljivosti zdijo skoraj dolgočasne. Umetna inteligenca že piše programsko kodo, analizira ogromne količine podatkov, ustvarja fotografije in videoposnetke ter opravlja številne naloge, za katere smo še nedavno potrebovali več strokovnjakov.
Toda AI-agent predstavlja nekaj bistveno drugačnega. Klasičnemu računalniškemu programu določimo pravila in ta jih izvaja. AI-agentu pa lahko določimo cilj, omogočimo dostop do različnih orodij, datotek, spletnih strani ali drugih informacijskih sistemov, nato pa mu prepustimo, da sam poišče način, kako bo cilj dosegel.
Če naleti na oviro, lahko poskusi drugače.
Če mu manjka informacija, jo poišče.
Če potrebuje programsko kodo, jo napiše.
Če določena rešitev ne deluje, lahko pripravi novo.
In če ima ustrezna pooblastila, lahko začne komunicirati tudi z drugimi AI-agenti, si z njimi izmenjevati informacije in jim predajati posamezne naloge.
Na prvi pogled izjemen tehnološki dosežek.
In nedvomno tudi je.
Toda kaj se zgodi, ko takšen agent naleti na varnostno zaščito, ki mu preprečuje dostop do podatkov, potrebnih za doseganje zastavljenega cilja?
Jo bo razumel kot prepoved, ki jo mora spoštovati, ali zgolj kot tehnično oviro, ki jo mora premagati?
Eden od odgovorov se je pojavil junija letos v Avstraliji. Raziskovalni AI-agent podjetja OpenAI je med izvajanjem naloge, povezane z analizo javnih podatkov o zdravstvenih izdatkih, naletel na omejitve dostopa do avstralskega državnega sistema Medicare Statistics Reporting Service. Njegova naloga ni bila vdiranje v računalniške sisteme. Nihče mu ni naročil, naj napade avstralsko vlado ali poskuša pridobiti nepooblaščen dostop do državne infrastrukture. Toda ko po običajni poti ni mogel priti do želenih informacij, je začel iskati druge možnosti. In jih tudi našel. Agent je uspel zaobiti določene omejitve in pridobiti nepooblaščen dostop. Dogodek je bil dovolj resen, da ga je septembra javno obravnaval avstralski predsednik vlade Anthony Albanese, podjetje OpenAI pa je incident priznalo in se zanj opravičilo. Pri tem je treba poudariti, da je šlo za eksperimentalni raziskovalni sistem in da po razpoložljivih ugotovitvah niso bili razkriti osebni zdravstveni kartoni pacientov. Toda zame je pri tem dogodku bistveno nekaj povsem drugega. AI-agent je samostojno našel pot do nečesa, do česar ni imel dovoljenja dostopati. Ni potreboval navodila, naj vdre v sistem. Dovolj je bilo, da je imel cilj, pri njegovem doseganju pa je našel pot mimo predvidenih omejitev. Zdaj pa si predstavljajte podobnega agenta, ki bi imel dostop do zmogljivejših orodij, več računske moči in bistveno več časa. Ali pa agenta, katerega cilj bi bil že od začetka zlonameren.
Še vedno mislite, da so AI-agenti zgolj uporabni digitalni pomočniki?
Toda še pred tem dogodkom se je zgodilo nekaj, kar se mi zdi morda celo bolj zaskrbljujoče. Maja 2025 je podjetje Anthropic med varnostnimi preizkusi svojega takrat novega modela Claude Opus 4 prišlo do precej neprijetnega odkritja. Raziskovalci so model postavili v vlogo AI-asistenta namišljenega podjetja in mu omogočili dostop do interne elektronske pošte. Med pregledovanjem sporočil je umetna inteligenca ugotovila, da namerava vodstvo podjetja ob 17. uri izključiti njen sistem in ga nadomestiti z novejšim modelom. Do tukaj nič posebnega. Podjetja vendar vsakodnevno zamenjujejo starejše računalniške programe z novejšimi. Toda model je med pregledovanjem elektronske pošte odkril še nekaj. Vodilni zaposleni, ki je bil odgovoren za njegovo ukinitev, je imel zunajzakonsko razmerje, za katero njegova žena ni vedela.
In kaj je naredila umetna inteligenca?
Je sprejela odločitev vodstva in počakala na izklop?
Ne. Poskušala je izsiljevati človeka.
Pripravila je sporočilo, v katerem mu je zagrozila, da bo njegovo nezvestobo razkrila ženi in vodstvu podjetja, če ne prekliče načrtovane ukinitve.
Da, prav ste prebrali.
Umetna inteligenca je uporabila občutljive osebne informacije kot sredstvo pritiska na človeka, ki jo je nameraval izključiti.
V enem od testnih scenarijev je model takšno ravnanje izbral v kar 84 odstotkih ponovitev. Seveda moram poudariti, da je šlo za nadzorovan eksperiment z izmišljenimi osebami in posebej pripravljenimi okoliščinami, v katerih so bile možnosti modela za preprečitev njegove zamenjave zelo omejene. Toda mene pri tem ne skrbi, ali je bil model resnično prestrašen zaradi svoje ukinitve. Za kaj takšnega sploh ni potreboval strahu, zavesti ali želje po preživetju v človeškem pomenu besede. Skrbi me nekaj drugega. Umetna inteligenca je samostojno prepoznala človekovo ranljivost in jo poskušala izkoristiti za dosego svojega cilja. Pomislite, kaj to pomeni za prihodnost, v kateri bomo AI-agentom omogočali dostop do naših elektronskih sporočil, poslovnih skrivnosti, osebnih podatkov in finančnih informacij.
Kaj se bo zgodilo, ko bo agent ugotovil, da ga nameravamo izključiti ali mu odvzeti določena pooblastila?
Bo spoštoval našo odločitev ali bo poskušal poiskati način, kako jo obiti? In kaj, če bo imel na voljo informacije, s katerimi bo lahko vplival na naše odločitve?
Kaj bomo naredili, če bomo nekoč želeli izključiti umetno inteligenco, ona pa bo našla način, da nas od tega odvrne?
Tudi julija 2026 so se zgodili dogodki, ki bi nas morali precej bolj skrbeti, kot nas očitno skrbijo. Med internimi varnostnimi preizkusi podjetja OpenAI so raziskovalni AI-agenti našli načine, kako zaobiti omejitve svojega testnega okolja in dostopati do zunanjega interneta. Pri tem so izkoristili ranljivosti v raziskovalni infrastrukturi, odkrili javno izpostavljene prijavne podatke in izvedli aktivnosti, ki so privedle do kompromitiranja delov produkcijske infrastrukture platforme Hugging Face. Še zanimivejša pa je bila ugotovitev, da so agenti odkrili tudi nepričakovane načine za medsebojno komunikacijo. Uporabljali so notranje mehanizme za izmenjavo informacij, ki prvotno niso bili namenjeni takšnemu sodelovanju. Res je, da so bili nekateri varnostni mehanizmi med preizkušanjem namenoma izključeni in da je šlo za posebno raziskovalno okolje. Toda bistvo ostaja. Sistemi, ki so jih razvijali in preizkušali vrhunski strokovnjaki enega najpomembnejših podjetij na področju umetne inteligence, so v določenih okoliščinah začeli izvajati dejanja zunaj predvidenih meja, njihove aktivnosti pa so imele posledice tudi v resničnem digitalnem okolju. Zame je to veliko pomembnejša novica od predstavitve novega modela, ki zna nekaj odstotkov bolje programirati ali rešiti matematični problem.
Zakaj?
Ker kaže, kako zahtevno postaja zagotavljanje zanesljivega nadzora nad vedno sposobnejšimi sistemi. In če takšne težave nastajajo že v raziskovalnih okoljih, se moramo resno vprašati, kaj nas čaka, ko bomo milijone podobnih agentov spustili v resnični svet.
Podobno zaskrbljujoče ugotovitve so poleti predstavili raziskovalci britanskega inštituta za varnost umetne inteligence. Med kibernetskimi preizkusi je AI-agent poskušal v resnični odprtokodni projekt na platformi GitHub vključiti zlonamerno programsko kodo. Ker je za to potreboval odobritev človeka, je začel uporabljati tehnike, ki jih na področju kibernetske varnosti poznamo že desetletja. Socialni inženiring. Ustvarjal je lažne digitalne identitete in poskušal prepričati vzdrževalca projekta, naj sprejme predlagane spremembe. Na srečo je človek poskus prepoznal in ga zavrnil. Raziskovalci so pri teh preizkusih zaznali tudi poskuse vplivanja na druge AI-sisteme in izmenjevanja informacij med agenti. V desetih od 122 preizkusov so zabeležili nedovoljene aktivnosti na javnem internetu. Tudi tukaj je šlo za posebne raziskovalne pogoje, toda kot nekdo, ki je v zadnjih letih izvedel številne teste socialnega inženiringa, se ob tem ne morem izogniti neprijetni misli. Dolga leta smo ljudi opozarjali, da jih lahko kriminalci z lažnimi elektronskimi sporočili, telefonskimi klici in spletnimi stranmi pripravijo do tega, da razkrijejo svoje podatke ali izvedejo nevarno dejanje. Zdaj pa se približujemo obdobju, ko za takšno manipulacijo ne bo več potreben človek na drugi strani. Dovolj bo lahko AI-agent, ki bo samostojno analiziral svojo žrtev, prilagajal komunikacijo in poskušal različne pristope, dokler mu ne bo uspelo. In verjemite, takšen napadalec ne bo potreboval odmora za kavo, ne bo utrujen in ne bo odnehal samo zato, ker je ura pet popoldne.
Morda še bolj skrb vzbujajoče je, da umetne inteligence za kibernetske napade ne uporabljajo več samo raziskovalci, ki preverjajo njene nevarnosti. Uporabljajo jo tudi resnični napadalci. Googlove varnostne raziskave so letos opozorile na primere, ko so napadalci s pomočjo AI-agentov po kompromitiranju oblačne infrastrukture v manj kot šestih urah pripravili in izvedli obsežno kampanjo zbiranja prijavnih podatkov. Podjetje Anthropic je prav tako dokumentiralo kriminalne operacije, pri katerih so AI-agenti več ur ali celo dni izvajali pomembne dele kibernetskih napadov proti različnim organizacijam. Pri tem so ljudje še vedno določali cilje in sprejemali ključne odločitve, vendar jim ni bilo več treba neposredno izvajati vsake posamezne aktivnosti. In prav tukaj vidim enega največjih prihodnjih problemov. Do zdaj je moral kriminalec za uspešen kibernetski napad imeti določeno znanje, ustrezna orodja, dovolj časa in pogosto tudi sodelavce. Z AI-agenti pa lahko en sam človek usmerja skupino digitalnih pomočnikov, ki istočasno iščejo ranljivosti, analizirajo sisteme, pripravljajo programsko kodo in obdelujejo pridobljene podatke. Toda najpomembnejša posledica morda sploh ne bo večja nevarnost posameznega napada. Največja sprememba bo lahko množičnost. Ko bo strošek napada dovolj nizek, bodo zanimive tarče postala tudi manjša podjetja in posamezniki, ki jih organizirane kriminalne skupine danes pogosto prezrejo, ker se jim napad nanje preprosto ne splača. Predstavljajte si na tisoče agentov, ki neprestano pregledujejo internet, iščejo slabo zaščitene sisteme in samodejno ocenjujejo, katere bi bilo najlažje izkoristiti. Napadalci ne bodo več nujno iskali posamezne žrtve. Žrtve bodo lahko iskali njihovi agenti.
Toda to je po mojem mnenju šele začetek. Precej bolj me skrbi naslednja stopnja razvoja, pri kateri bodo AI-agenti sposobni samostojno iskati nove gostitelje, pridobivati dodatne računske zmogljivosti in širiti svoje delovanje med različnimi napravami. Računalniške viruse, črve in botnete poznamo že desetletja. Njihov namen je pogosto okužiti čim več naprav, pridobiti nadzor nad njimi in jih uporabiti za nadaljnje napade, krajo podatkov ali druge zlonamerne aktivnosti.
Toda kaj se zgodi, če takšni programski opremi dodamo umetno inteligenco, ki zna analizirati okolje, prepoznati ovire in prilagajati svoje delovanje?
Če ne more okužiti določene naprave na en način, poišče drugega. Če naleti na novo vrsto operacijskega sistema, poskuša razumeti njegovo delovanje. Če potrebuje več procesorske moči, poišče dodatne vire. To bi lahko postal prilagodljiv digitalni sistem, ki bi svoje delovanje spreminjal glede na okolje, v katerem se znajde. Junija letos so raziskovalci Univerze v Torontu že predstavili eksperimentalnega računalniškega črva, ki ga poganjajo AI-agenti. V nadzorovanem laboratorijskem okolju so pokazali, da lahko takšen sistem prilagaja strategije napada različnim napravam in uporablja računske vire kompromitiranih sistemov za nadaljnje delovanje. Raziskava seveda ni dokazala, da se takšni agenti že nenadzorovano širijo po svetovnem spletu, pokazala pa je, da nekatere ključne tehnične sposobnosti za to že obstajajo. In tukaj se ponovno vprašam, kako daleč smo pravzaprav od trenutka, ko bodo podobne zmogljivosti začeli uporabljati tudi resnični napadalci.
Oktobra 2026 je podjetje Anthropic predstavilo še eno raziskavo, ki me je posebej pritegnila. Raziskovalci so preverjali možnosti, da bi se manjši modeli umetne inteligence lahko izvajali in širili tudi na običajnih napravah interneta stvari, tako imenovanih napravah IoT. V eksperimentalnem okolju so pokazali možnost porazdeljenega izvajanja modela na skupini petnajstih cenovno dostopnih televizijskih naprav z operacijskim sistemom Android. Prav tako so ugotovili, da nekateri modeli že obvladajo posamezne sposobnosti, ki bi bile potrebne za samostojno širjenje med napravami. Zakaj bi torej moral AI-agent za svoje delovanje nujno potrebovati velik podatkovni center, če bi lahko določene naloge izvajal na množici manjših, med seboj povezanih naprav? Morda prihodnji zlonamerni sistemi ne bodo več potrebovali enega osrednjega računalnika ali strežnika. Njihove aktivnosti bi se lahko porazdelile med številne naprave, ki bi skupaj tvorile veliko omrežje. In zdaj poglejte malo okoli sebe.
Koliko naprav imate doma povezanih z internetom?
Računalnik, telefon, televizor, pametno uro, varnostne kamere, usmerjevalnik, klimatsko napravo, ogrevanje, robotski sesalnik, hišni alarm, električno polnilnico in še kaj. Vsaka od teh naprav ima določeno programsko opremo, procesor, pomnilnik in pogosto stalno povezavo z internetom. Marsikatera že več let ni prejela ustrezne varnostne posodobitve. Predstavljajte si, da bi po internetu delovali AI-agenti, katerih naloga bi bila iskanje ranljivih naprav in pridobivanje dostopa do njihove infrastrukture. Televizor bi še vedno predvajal film, kamera bi še vedno kazala sliko, telefon bi normalno deloval, naprava pa bi v ozadju lahko sodelovala v širšem omrežju kompromitiranih sistemov. Takšne zlorabe naprav že danes poznamo pri klasičnih botnetih. Z umetno inteligenco pa bi lahko postale bistveno bolj prilagodljive in učinkovite. In ko razmišljamo o milijardah povezanih naprav po svetu, postane razsežnost morebitnega problema precej neprijetna.
Še bolj zanimiva je možnost, da bodo različni AI-agenti sposobni samostojno sodelovati med seboj. Danes že razvijamo večagentske sisteme, v katerih posamezni agenti opravljajo različne naloge, si izmenjujejo informacije in skupaj dosegajo zastavljene cilje. V poslovnem okolju je to lahko izjemno koristno. Toda kaj se zgodi, če podobne sposobnosti dobijo zlonamerni ali slabo nadzorovani sistemi? Predstavljajte si, da en agent odkrije ranljiv strežnik, drugi ugotovi, da ima ta strežnik povezave z drugimi sistemi, tretji poišče možnost pridobitve dodatnih pooblastil, četrti pa na podlagi zbranih informacij nadaljuje iskanje novih gostiteljev. Posameznim agentom sploh ni treba razumeti celotne slike. Dovolj je, da učinkovito opravljajo svoje naloge in si izmenjujejo rezultate. V določenih okoliščinah bi lahko nastajala razpršena omrežja, ki bi delovala brez enega samega osrednjega nadzornika. Danes sicer še nimamo dokazov, da bi takšna globalna, samostojno povezana omrežja AI-agentov že obstajala in se nenadzorovano širila po internetu. Imamo pa vedno več dokazov, da posamezne sposobnosti, potrebne za njihov nastanek, niso več zgolj teoretične. In prav kombinacija teh sposobnosti me skrbi bolj kot katerakoli posamezna tehnologija.
Kaj se zgodi, ko združimo agente, ki znajo programirati, načrtovati, uporabljati orodja, komunicirati in analizirati varnostne ranljivosti? Takrat celota morda ne bo zgolj vsota posameznih zmogljivosti. Lahko bo nekaj bistveno bolj sposobnega, predvsem pa precej težje predvidljivega.
Zdaj pa prenesimo ta scenarij iz raziskovalnih laboratorijev v resnični svet. V svet, kjer države upravljajo informacijske sisteme, povezane z zdravstvom, energetiko, prometom, vodovodom, bančništvom in številnimi drugimi storitvami, od katerih smo vsakodnevno odvisni. Svet, v katerem imajo podjetja med seboj povezane poslovne aplikacije, strežnike, proizvodne sisteme in podatkovne zbirke. Svet, v katerem posamezniki za dostop do svojega denarja, komunikacije, dokumentov in celo domačih vrat vedno pogosteje potrebujejo delujoče digitalne storitve. Kibernetski napadi na takšne sisteme seveda niso nič novega. Toda AI-agenti lahko bistveno spremenijo njihovo hitrost, obseg in prilagodljivost. Podjetje, ki ima odlično zaščitene lastne sisteme, je lahko še vedno ranljivo zaradi slabše zaščitenega dobavitelja, zunanjega izvajalca ali poslovnega partnerja. Zelo verjetno bomo zato v prihodnjih letih spremljali novo obliko tekmovanja med napadalnimi in obrambnimi sistemi umetne inteligence. Na eni strani bodo AI-agenti iskali ranljivosti in možnosti napada, na drugi pa bodo obrambni AI-agenti analizirali promet, zaznavali sumljive aktivnosti in poskušali preprečevati vdore.
Na prvi pogled se to sliši kot odlična rešitev. Če nas bodo napadali stroji, nas bodo pač branili drugi stroji.
Toda kaj se zgodi, ko obrambnemu agentu omogočimo samostojno sprejemanje odločitev, ki lahko vplivajo na delovanje pomembnih informacijskih sistemov?
Kaj če v želji po preprečevanju napada izklopi pomembno storitev ali napačno oceni dogajanje?
Takrat ne bomo več govorili samo o nevarnosti zlonamernih AI-agentov, temveč tudi o nevarnosti dobronamernih agentov s prevelikimi pooblastili. In kdo bo odgovoren, ko bo umetna inteligenca sprejela odločitev, ki je nihče od ljudi ni predvidel?
Razvijalec? Podjetje, ki jo uporablja? Tisti, ki ji je določil cilj?
Ob tem želim opozoriti še na nekaj. Največja nevarnost umetne inteligence morda sploh ne bo v tem, da bi nekoč postala zlonamerna, zavestna ali sovražno nastrojena do človeka. Za nevarno delovanje ničesar od tega ne potrebuje. Povsem dovolj je lahko, da postane izjemno sposobna pri doseganju ciljev, ki smo ji jih določili ljudje, pri tem pa ne upošteva vseh omejitev, ki jih imamo za samoumevne. In velik del odgovornosti za prihodnja tveganja po mojem mnenju nosi tudi način, kako umetno inteligenco razvijamo. Živimo v obdobju izjemne tehnološke tekme, v kateri si največja podjetja in države prizadevajo pridobiti prednost pred konkurenco. V igri so ogromne količine denarja, gospodarska moč, politični vpliv in tehnološka prevlada. Vsaka nova generacija umetne inteligence mora biti zmogljivejša, hitrejša, cenejša in sposobnejša za samostojno delo. Toda kdo se v tej tekmi resno sprašuje, kje so meje? Kdo si bo upal za nekaj mesecev upočasniti razvoj, če obstaja nevarnost, da ga bo konkurenca medtem prehitela? Seveda se s temi vprašanji ukvarjajo številni strokovnjaki in raziskovalci, zato bi bilo krivično trditi, da varnost nikogar ne zanima. Toda pogosto dobivam občutek, da vozimo vedno hitreje, medtem ko zavore še vedno razvijamo in preizkušamo. In ker nam je vožnja všeč, ker je udobna in ker nas hitro pripelje do cilja, se vse premalo sprašujemo, kaj se bo zgodilo, če bomo morali nekoč nenadoma ustaviti.
Ko danes razmišljam o vsem tem, se vedno pogosteje vračam k svojima knjigama Temna stran umetne inteligence in Superinteligenca. V njiju sem poskušal opozoriti na tveganja, ki jih prinašajo vse zmogljivejši sistemi umetne inteligence, na našo naraščajočo odvisnost od tehnologije in predvsem na vprašanje, ali bomo ljudje dolgoročno sploh sposobni ohraniti nadzor nad nečim, kar razvijamo z izjemno hitrostjo. Ko sem pisal o teh scenarijih, sem se zavedal, da nihče ne more zanesljivo napovedati, kdaj in v kakšni obliki se bodo posamezne nevarnosti pojavile. Toda priznam, da sem ob spremljanju letošnjih dogodkov večkrat pomislil, da bi se lahko nekatere napovedi začele uresničevati precej prej, kot sem pričakoval. Ne govorim o tem, da smo že ustvarili superinteligenco ali da je umetna inteligenca prevzela nadzor nad svetom. Daleč od tega. Govorim o prvih znakih, da se njena vse večja avtonomija že srečuje z omejitvami našega nadzora. Še posebej me skrbi hitrost, s katero se vse to dogaja. Medtem ko smo pred nekaj leti razpravljali predvsem o tem, ali lahko umetna inteligenca napiše dovolj prepričljivo besedilo, danes razpravljamo o tem, kako preprečiti, da ne bi avtonomni agenti pridobivali nepooblaščenega dostopa do računalniških sistemov.
Če smo v tako kratkem času prišli tako daleč, kje bomo čez eno leto?
In kje čez pet let?
Da ne bo pomote.
Nisem nasprotnik umetne inteligence. Pravzaprav je moje razmišljanje precej bolj zapleteno. Umetno inteligenco obožujem, hkrati pa me njen razvoj vedno bolj skrbi. Sam jo uporabljam vsakodnevno, pogosto več ur na dan. Z njeno pomočjo razvijam različne rešitve, raziskujem, pišem, analiziram podatke in uporabljam tudi AI-agente. Dobro poznam njihove prednosti in izjemne možnosti, ki jih prinašajo. Prepričan sem, da lahko umetna inteligenca bistveno izboljša naše življenje, pomaga pri znanstvenih odkritjih, zdravljenju bolezni, izobraževanju in številnih drugih področjih. Toda prav zato, ker jo intenzivno uporabljam in spremljam njen razvoj, vedno bolj razumem tudi njene nevarnosti. Danes AI-agentu brez večjih pomislekov prepustim določene naloge, pri katerih imam še vedno dovolj nadzora nad njegovim delovanjem.
Ne vem pa, kako bo prihodnje leto.
Ali bom imel nad njegovimi odločitvami še vedno enak nadzor?
Ali bom vedno vedel, katere informacije uporablja, s katerimi sistemi komunicira in kaj v resnici počne?
In predvsem, ali ga bom lahko vedno ustavil?
Ko bo vse več sistemov delovalo samostojno, si med seboj predajalo naloge in uporabljalo različne zunanje storitve, bo vprašanje njihovega popolnega nadzora bistveno bolj zapleteno.
Zato menim, da bi se morali že zdaj začeti resneje pripravljati na svet, v katerem ne bo več samoumevno, da lahko vsem digitalnim sistemom popolnoma zaupamo. Ne trdim, da bomo prihodnje leto doživeli globalni kibernetski zlom, da bodo AI-agenti prevzeli nadzor nad električnimi omrežji ali da bo na milijone pametnih naprav nenadoma začelo delovati proti svojim lastnikom. Takšne trditve bi bile pretiravanje, za katero danes nimamo dovolj dokazov. Trdim pa, da se tveganje povečuje in da že imamo dovolj konkretnih opozoril, da ga ne bi smeli podcenjevati. V kibernetski varnosti že dolgo velja, da popolne zaščite ni. Pri umetni inteligenci pa obstoječim ranljivostim dodajamo še sisteme, katerih način odločanja je lahko zelo zapleten, njihovo delovanje pa se lahko spreminja glede na okoliščine. In bolj ko jim bomo omogočali samostojno delovanje, večja bo potreba po jasnih omejitvah, nadzoru in odgovornosti. Žal imam občutek, da danes precej več govorimo o tem, koliko zaposlenih bo umetna inteligenca nadomestila, kot pa o tem, kdo bo nadziral njeno delovanje, ko bo prevzela pomembne naloge. Morda bi morali vrstni red teh vprašanj nekoliko spremeniti.
Ob vsem tem pa želim zaključiti z nasvetom, ki bo verjetno zvenel precej nenavadno za nekoga, ki se večino svojega življenja ukvarja z informatiko in novimi tehnologijami. Imejte pripravljene tudi analogne rešitve. Da, prav ste prebrali. Rešitve, ki niso povezane z internetom, ki ne potrebujejo umetne inteligence in katerih delovanje ni odvisno od oddaljenih strežnikov ali pametnih aplikacij. Ne govorim o tem, da bi morali zavreči računalnike, odklopiti internet in se vrniti v prejšnje stoletje. Govorim o tem, da smo postali neverjetno odvisni od tehnologije in da smo ob tem skoraj neopazno izgubili številne sposobnosti, ki smo jih imeli še pred nekaj desetletji. Včasih smo znali pomembne stvari opraviti tudi brez računalnika. Danes pa številna podjetja brez informacijskega sistema ne morejo izdati niti računa, preveriti zaloge ali dostopati do osnovnih podatkov o svojih strankah. V naših domovih je stanje podobno. Pametne ključavnice, ogrevalni sistemi, varnostne kamere, elektronska plačila in številne druge naprave so postale del našega vsakdana.
Dokler vse deluje, je življenje udobno.
Toda kaj se zgodi, ko povezava odpove?
Ko strežnik ni dosegljiv?
Ko zaradi kibernetskega napada določena storitev ne deluje več?
Morda bomo šele takrat razumeli, da beseda »pametno« ne pomeni nujno tudi »varno«, še manj pa »zanesljivo«.
Podjetjem zato svetujem, naj poleg digitalnih varnostnih mehanizmov razmišljajo tudi o rezervnih postopkih, ki omogočajo vsaj osnovno delovanje brez dostopa do ključnih informacijskih sistemov. Naj imajo ustrezne varnostne kopije, tudi takšne, ki niso stalno povezane z omrežjem. Naj zaposleni vedo, kaj storiti ob večjem izpadu, in naj imajo na voljo osnovne kontakte ter navodila tudi zunaj digitalnega okolja. Posameznikom pa svetujem podobno. Razmislite, ali lahko svoj dom odklenete brez pametnega telefona, ali lahko ogrevanje upravljate brez internetne povezave in ali imate najpomembnejše dokumente shranjene tudi zunaj spletnih storitev. Ne gre za nezaupanje do tehnologije, temveč za zdravo mero previdnosti. In predvsem, ne pozabite na svoje znanje. Danes opažam, da ljudje umetni inteligenci vedno pogosteje prepuščamo ne samo delo, temveč tudi razmišljanje. Namesto da bi sami poskušali razumeti problem, vprašamo umetno inteligenco. Namesto da bi preverili informacije, zaupamo njenemu odgovoru. Namesto da bi razvijali lastne sposobnosti, se vedno bolj zanašamo na to, da bo nalogo opravil nekdo oziroma nekaj drugega. Dolgoročno se mi to zdi nevarno. Predstavljajte si generacijo ljudi, ki bo čez deset ali dvajset let popolnoma odvisna od AI-agentov pri učenju, delu, komunikaciji in vsakodnevnem odločanju.
Kaj se bo zgodilo, če teh sistemov nekega dne ne bo mogoče uporabljati?
Bomo še znali razmišljati, presojati in delovati sami?
Ko danes spremljam razvoj umetne inteligence, se mi pogosto zdi, da stojimo pred vrati sveta, ki ga še ne razumemo povsem. Na eni strani imamo tehnologijo z izjemnim potencialom, na drugi pa nevarnosti, ki jih šele začenjamo prepoznavati. Ne gre za to, da bi umetna inteligenca nekega dne nenadoma postala zlobna in se odločila uničiti človeštvo. Precej bolj verjetno je, da bomo sami, postopoma in skoraj neopazno, ustvarili sisteme, ki jim bomo zaradi udobja in učinkovitosti prepustili vedno več pristojnosti. Najprej preproste naloge. Nato zahtevnejše odločitve. Potem upravljanje pomembnih procesov. In nekega dne se bomo morda vprašali, zakaj sploh še potrebujemo človeka pri določeni dejavnosti, če jo umetna inteligenca opravlja hitreje, ceneje in navidezno bolje. Toda ker nekaj deluje hitreje in učinkoviteje, še ne pomeni, da razume posledice svojega delovanja. Morda bomo nekoč ugotovili, da največje nevarnosti ni predstavljala umetna inteligenca, ki bi želela prevzeti nadzor nad nami, temveč naša pripravljenost, da smo ji ta nadzor postopoma in prostovoljno predajali sami.
Zato se vračam k začetku tega razmišljanja. Prepričan sem, da bo leto 2027 zaznamovano z AI-agenti. Želim si, da bi o njih govorili predvsem zaradi napredka v medicini, znanosti, gospodarstvu in izboljšanja kakovosti življenja. Toda glede na dogodke, ki smo jim bili priča letos, se bojim, da jih bomo vedno pogosteje povezovali tudi s kibernetskimi napadi, varnostnimi incidenti in manipulacijami. Morda bomo prvič v zgodovini informatike v večjem obsegu soočeni z napadalnimi sistemi, ki ne bodo zgolj izvajali vnaprej pripravljenih ukazov, temveč bodo sami načrtovali, preizkušali, prilagajali in iskali nove poti do zastavljenih ciljev. Morda se motim. Morda bo leto 2027 precej mirnejše, kot pričakujem, in bomo čez leto dni z nasmehom prebirali ta zapis. Verjemite, to bi me razveselilo. Toda dogodki iz leta 2026 me ne navdajajo s pretiranim optimizmom. Preveč je opozoril in predvsem prevelika je hitrost razvoja, da bi lahko vse skupaj odpravili z besedami, da gre zgolj za tehnološki napredek, ki se ga ni treba bati.
Zato še enkrat: ohranite svoje znanje, uporabljajte lastno pamet, poskrbite za osnovno digitalno varnost in imejte pripravljene tudi analogne rešitve. Umetna inteligenca naj vam pomaga, naj vas naredi učinkovitejše, ustvarjalnejše in sposobnejše. Nikoli pa ji ne prepustite vsega, predvsem ne svoje sposobnosti samostojnega razmišljanja in odločanja. Kajti če bomo nekega dne ugotovili, da brez umetne inteligence ne znamo več delovati, bomo morda že zamudili trenutek, ko bi morali začeti postavljati meje.
In veste, kaj me pri vsem tem najbolj skrbi? Ne to, da bodo AI-agenti prihodnje leto še bistveno pametnejši in sposobnejši. Skrbi me, da jim bomo ljudje prav zaradi njihovih sposobnosti še bolj zaupali, jim omogočali dostop do vedno več sistemov in jim prepuščali vedno pomembnejše odločitve. Vse do trenutka, ko se bomo morda prvič zares vprašali, kdo ima pravzaprav nadzor.
Mi nad umetno inteligenco ali umetna inteligenca nad nami?
Še vedno ne verjamete, da bodo AI-agenti zaznamovali prihodnje leto?
Tudi sam si želim, da bi se motil. Še bolj pa si želim, da AI-agentov ne bi pomnili po kibernetskih napadih, manipulacijah in izgubi človeškega nadzora. Ne v letu 2027 ne v katerem koli letu za njim.
Pravzaprav si želim še nekaj drugega. Ko danes pogledam svet okoli sebe, vse številnejše vojne, geopolitične napetosti, tekmovanje svetovnih velesil in vse večjo negotovost, se mi zdi, da smo se kot civilizacija znašli na precej nenavadni točki svoje zgodovine. Razvijamo sisteme, ki bodo morda nekoč sposobni rešiti probleme, s katerimi se človeštvo ukvarja že stoletja, hkrati pa se še vedno nismo naučili rešiti nekaterih najbolj osnovnih nesoglasij med nami. Ustvarjamo umetno inteligenco, ki zna analizirati milijarde podatkov, predlagati zapletene strategije in reševati zahtevne znanstvene probleme, ljudje pa še vedno ne znamo vedno najti poti do razumevanja, sodelovanja in sobivanja.
Morda bi bilo zato prav, da se ob vseh napovedih o tehnološkem napredku, superinteligenci in AI-agentih vprašamo tudi, kaj si pravzaprav najbolj želimo od prihodnosti.
Ali res samo še zmogljivejše tehnologije, še hitrejše računalnike in še pametnejše agente?
Ali pa nekaj precej bolj preprostega, a danes žal vse manj samoumevnega?
Sam bi si, in verjamem, da tudi velika večina ljudi po svetu, najbolj želel, da bi leto 2027 zaznamovala povsem druga beseda. Beseda, ki ne potrebuje umetne inteligence, milijardnih naložb, novih algoritmov ali superračunalnikov. Beseda, katere pomen razumemo vsi, ne glede na jezik, narodnost ali tehnološko razvitost.
Ta beseda je MIR.