Blog

Umjetna inteligencija više nije eksperimentalna tehnologija rezervirana za tehnološke kompanije i istraživačke laboratorije. Ona postupno postaje sastavni dio modernih organizacija, uključujući i javnu upravu, gdje se već koristi za analizu podataka, obradu zahtjeva građana, automatizaciju administrativnih procesa, upravljanje resursima i podršku pri donošenju odluka.

Pritisak na javni sektor danas je značajan. Građani očekuju brže usluge, veću transparentnost, dostupnost informacija u stvarnom vremenu te učinkovitije upravljanje javnim resursima. Istovremeno, uprava mora djelovati unutar složenog regulatornog i sigurnosnog okruženja, uz rastuće zahtjeve vezane uz zaštitu podataka, kibernetičku sigurnost i odgovornost prema društvu.

Upravo se u tom prostoru pojavljuje umjetna inteligencija kao potencijalno snažan alat transformacije.

Prilike koje AI donosi javnom sektoru

Kada se koristi promišljeno, AI može značajno unaprijediti učinkovitost i kvalitetu javnih usluga.

Primjeri uključuju:

• automatizaciju rutinskih administrativnih procesa,
• bržu obradu zahtjeva građana,
• analizu velikih količina podataka radi kvalitetnijeg planiranja,
• otkrivanje nepravilnosti i prijevara,
• optimizaciju prometa, energetike i komunalnih sustava,
• podršku u kriznom upravljanju i zaštiti kritične infrastrukture,
• personaliziranije i dostupnije digitalne javne usluge.

Posebno je zanimljiv potencijal AI-a u konceptu „pametnih gradova”, gdje se podaci iz različitih sustava koriste za bolje upravljanje urbanim okruženjem, infrastrukturom i kvalitetom života građana.

No upravo ovdje nastaje ključni izazov. Javna uprava ne može pristupiti AI-u isključivo kroz tehnološku perspektivu.

Rizici i izazovi koje nije moguće ignorirati

Za razliku od privatnog sektora, odluke javne uprave mogu izravno utjecati na prava, status i svakodnevni život građana. Zbog toga primjena AI sustava nosi povećanu razinu odgovornosti.

Najvažniji izazovi uključuju:

• zaštitu osobnih i osjetljivih poslovnih podataka,
• transparentnost algoritama i donošenja odluka,
• rizik diskriminacije i pristranosti modela,
• nedovoljnu objašnjivost AI sustava,
• sigurnost i otpornost sustava,
• prekomjernu automatizaciju bez ljudskog nadzora,
• ovisnost o vanjskim pružateljima AI rješenja,
• nedostatak kompetencija i upravljačkih modela.

U javnom sektoru posebno je važno pitanje povjerenja. Građani moraju razumjeti kako se tehnologija koristi, zašto se koristi i tko snosi odgovornost za posljedice njezina rada.

Zbog toga AI ne smije postati „crna kutija” upravljanja društvom.

Regulativa više nije teorija

Europska unija već je postavila jasan regulatorni smjer kroz EU AI Act, prvi sveobuhvatni regulatorni okvir za umjetnu inteligenciju.

Cilj regulative nije zaustaviti inovacije, nego uspostaviti ravnotežu između tehnološkog razvoja i zaštite temeljnih prava građana. Poseban fokus stavljen je na visokorizične AI sustave, među koje mogu ulaziti i sustavi koji se koriste u javnoj upravi.

Takvi sustavi zahtijevat će:

• kontroliranog upravljanja rizicima,
• dokumentirane upravljačke procese,
• ljudski nadzor,
• sljedivost odluka,
• sigurnosne i kontrolne mehanizme,
• kontinuirano praćenje učinkovitosti i utjecaja sustava.

Drugim riječima, implementacija AI-a više neće biti samo IT projekt. Ona postaje pitanje upravljanja organizacijom.

ISO 42001. Temelj za odgovorno upravljanje umjetnom inteligencijom

Upravo zato sve veću važnost dobiva standard ISO/IEC 42001, prvi međunarodni standard za sustav upravljanja umjetnom inteligencijom.

ISO 42001 uvodi strukturirani pristup upravljanju AI sustavima kroz:

• procjenu rizika i utjecaja AI-a,
• definiranje odgovornosti i nadležnosti,
• upravljanje životnim ciklusom AI sustava,
• nadzor nad dobavljačima i vanjskim partnerima,
• transparentnost i sljedivost,
• kontinuirano poboljšavanje sustava upravljanja AI-em.

Posebna vrijednost standarda je što je kompatibilan s postojećim ISO sustavima upravljanja, poput ISO/IEC 27001 upravljanja sigurnošću informacija i ISO/IEC 27701 upravljanja privatnošću informacija.

To omogućuje organizacijama javnog sektora da AI uključe u postojeće modele upravljanja, umjesto da ga promatraju kao izoliranu tehnologiju.

ISO 37106. Perspektiva pametnih gradova i digitalnog upravljanja

Kada govorimo o AI-u u javnoj upravi, posebno je zanimljiv i standard ISO 37106 koji daje smjernice za razvoj „smart city” operativnih modela.

Za razliku od klasičnih tehnoloških pristupa, ISO 37106 ne stavlja tehnologiju u središte, nego građane, upravljanje i održivost, i to posebno u kontekstu integracije i primjene AI rješenja u poslovnom okruženju.

Standard naglašava:

• otvoreno i suradničko upravljanje,
• integraciju podataka i sustava,
• uključivanje građana,
• interoperabilnost,
• digitalno povjerenje,
• održivost i dugoročnu otpornost zajednice.

To je izuzetno važna perspektiva jer pokazuje da „pametni grad” nije grad s najviše senzora i algoritama, nego grad koji koristi tehnologiju za poboljšanje kvalitete života građana.

U tom kontekstu AI mora ostati alat javnog interesa, a ne sam sebi svrha.

Put prema odgovornoj primjeni

Mnoge organizacije danas ulaze u AI projekte pod pritiskom tržišta, političkih očekivanja ili medijskog interesa. No javna uprava ne može si priuštiti nepromišljenu implementaciju tehnologije.

Odgovorna primjena AI-a zahtijeva:

• jasnu strategiju i ciljeve,
• upravljanje rizicima,
• multidisciplinarni pristup,
• uključivanje pravnih, sigurnosnih i etičkih perspektiva,
• kontinuirano obrazovanje zaposlenika,
• transparentnu komunikaciju prema građanima,
• uspostavu sustava upravljanja i nadzora.

Drugim riječima, pitanje više nije treba li javna uprava koristiti umjetnu inteligenciju.

Pitanje je koristi li ju na način koji povećava učinkovitost, a istovremeno štiti prava građana, jača povjerenje i doprinosi održivom razvoju društva.

Tehnologija sama po sebi nije cilj. Cilj je javna uprava koja je učinkovitija, sigurnija, pravednija i usmjerena na dobrobit zajednice.

Ulazak umjetne inteligencije (AI) u područje rada predstavlja jednu od najznačajnijih strukturnih promjena u suvremenom poslovnom upravljanju no istodobno donosi niz izazova koje organizacije ne prepoznaju pravodobno, iako takve promjene mogu imati ozbiljne operativne, pravne i reputacijske posljedice. Primjena AI alata bitno mijenja ustaljene načine rada te zahtijeva sustavno prepoznavanje rizika i odgovorno upravljanje posljedicama koje iz takve primjene mogu proizaći. Rizici povezani s uporabom AI alata u svakodnevnom poslovanju širokog su raspona, pri čemu se u praksi često ne očituju prvenstveno na tehničkoj, nego na organizacijskoj, pravnoj i uporabnoj razini, osobito u pogledu zaštite povjerljivih poslovnih podataka, pravne odgovornosti te nekritičkog oslanjanja na rezultate koje AI generira.

Uobičajene opasnosti koje proizlaze iz primjene AI mogli bi se navesti slijedećim redom:

1. Curenje povjerljivih i osobnih podataka

Pri uporabi AI alata zaposlenici često, nerijetko i nesvjesno, unose osobne podatke, interne akte, službenu dokumentaciju, nacrte ugovora, pravna mišljenja ili druge povjerljive i klasificirane informacije. Takvo postupanje može dovesti do neovlaštenog razotkrivanja podataka, njihova daljnjeg korištenja izvan organizacijskog nadzora te do gubitka kontrole nad informacijama koje su po svojoj prirodi zaštićene ili poslovno osjetljive.

Osobit rizik nastaje ako organizacija nema jasno propisana pravila uporabe AI alata, razinu dopuštenog unosa podataka, tehničke zaštitne mjere i odgovornosti korisnika. U takvim okolnostima postoji mogućnost da podaci dospiju izvan kontrole organizacije, što može predstavljati povredu propisa o zaštiti osobnih podataka, obveza čuvanja službene i poslovne tajne te internih pravila informacijskog i sigurnosnog sustava tijela ili organizacije.

2. Netočni ili izmišljeni odgovori (“hallucinations”)

Dosadašnja praksa pokazuje da AI modeli mogu generirati sadržaj koji je činjenično netočan, izmišljen ili pravno neutemeljen, premda je oblikovan na uvjerljiv i jezično koherentan način. Takvi sustavi mogu navoditi nepostojeće propise, pogrešno tumačiti važeće pravne izvore, stvarati netočne reference ili donositi zaključke koji naizgled djeluju stručno, iako nisu utemeljeni na provjerljivim činjenicama ili pouzdanim izvorima.

Zbog toga korisnici AI alata moraju pristupati generiranim odgovorima s osobitom razinom opreza te ih prije daljnje uporabe provjeriti u odnosu na mjerodavne izvore, važeće propise i konkretne okolnosti slučaja. Oslanjanje na neprovjerene ili pogrešne izlaze može dovesti do donošenja nepravilnih poslovnih odluka, pogrešnog informiranja, regulatornih povreda te nastanka financijske, pravne ili reputacijske odgovornosti za organizaciju i odgovorne osobe.

3. Nedostatak transparentnosti i objašnjivosti

Jedan od bitnih nedostataka brojnih AI alata očituje se u ograničenoj transparentnosti njihova funkcioniranja i nemogućnosti jasnog objašnjenja načina na koji je pojedini izlaz nastao. Korisniku često nije poznato na temelju kojih podataka, obrazaca ili izvora je sustav došao do određenog zaključka, zašto je predložio baš određeno rješenje niti u kojoj su mjeri u generirani odgovor ugrađene moguće pogreške, pristranosti ili metodološka ograničenja modela.

Takva netransparentnost osobito je problematična u poslovnom i institucionalnom okruženju, u kojem odluke moraju biti zakonite, obrazložive, provjerljive i podložne reviziji te unutarnjem i vanjskom nadzoru. Ako organizacija ne može objasniti razloge na kojima se određena preporuka, procjena ili odluka temelji, povećava se rizik donošenja neodrživih odluka, otežava utvrđivanje odgovornosti te slabi mogućnost učinkovitog upravljanja rizicima i dokazivanja usklađenosti s mjerodavnim pravilima i standardima.

4. Rizik diskriminacije i pristranosti

AI modeli mogu reproducirati, pojačavati ili prikriveno prenositi postojeće pristranosti sadržane u podacima na kojima su trenirani, kao i u obrascima na temelju kojih donose preporuke ili generiraju odgovore. Posebno su osjetljivi slučajevi u kojima takvi sustavi, izravno ili neizravno, dovode do nepovoljnog postupanja prema osobama ili skupinama na temelju dobi, spola, nacionalnosti, jezika, socijalnog statusa, mjesta stanovanja ili drugih osobnih odnosno društvenih obilježja.

U poslovnom i institucionalnom okruženju takva pristranost može imati ozbiljne posljedice pri zapošljavanju, ostvarivanju prava, provedbi javnih natječaja, procjeni rizika, odlučivanju o pojedinačnim zahtjevima te u komunikaciji i postupanju prema građanima, korisnicima ili drugim dionicima. Ako organizacija ne uspostavi odgovarajuće mehanizme provjere, ljudskog nadzora i pravodobnog otkrivanja diskriminatornih učinaka, postoji rizik povrede načela jednakog postupanja, zakonitosti i pravičnosti, kao i nastanka pravne i reputacijske odgovornosti.

5. Prekomjerno oslanjanje zaposlenika na AI

Jedan od značajnih rizika uporabe AI alata jest postupno razvijanje prekomjernog oslanjanja zaposlenika na sadržaje, preporuke i zaključke koje takvi sustavi generiraju. U praksi se to može očitovati kroz smanjenu razinu kritičkog preispitivanja dobivenih informacija, prihvaćanje AI izlaza kao konačnog i autoritativnog odgovora te preuzimanje ili uključivanje generiranog sadržaja u radne materijale bez odgovarajuće provjere, prilagodbe i stručne validacije.

Takvo postupanje može dugoročno oslabiti profesionalnu autonomiju, stručnu prosudbu i osjećaj osobne odgovornosti zaposlenika, osobito u poslovima koji zahtijevaju analitičko promišljanje, pravno vrednovanje ili donošenje odluka na temelju specifičnih okolnosti pojedinog slučaja. Posljedično se povećava rizik pada kvalitete rada, površnog odlučivanja, prijenosa pogrešaka u službene ili poslovne akte te slabljenja ukupne razine upravljačke i profesionalne odgovornosti unutar organizacije.

6. Kibernetički i sigurnosni rizici

Uporaba AI alata otvara i niz kibernetičkih te sigurnosnih rizika jer se takvi sustavi mogu zloupotrijebiti za izradu uvjerljivih phishing poruka, provođenje socijalnog inženjeringa, generiranje zlonamjernog koda, automatizirano stvaranje prijevarnih sadržaja te širenje manipulativnih ili obmanjujućih informacija. Zbog njihove sposobnosti brzog generiranja jezično i sadržajno uvjerljivih materijala, AI alati mogu dodatno povećati opseg, sofisticiranost i učinkovitost napada usmjerenih na zaposlenike, korisnike i informacijske sustave organizacije.

Istodobno, i sami AI sustavi mogu biti izloženi različitim oblicima napada i manipulacije, uključujući unošenje zlonamjernih uputa, trovanje ulaznih podataka, zaobilaženje zaštitnih mehanizama i druge tehnike kojima se nastoji utjecati na ponašanje modela ili kompromitirati njegove rezultate. Ako organizacija ne uspostavi odgovarajuće sigurnosne kontrole, pravila pristupa, nadzor nad uporabom i postupke provjere izlaza, povećava se rizik sigurnosnih incidenata, kompromitacije podataka, prekida poslovanja i nastanka znatne operativne, pravne i reputacijske štete.

7. Neusklađenost s regulatornim zahtjevima

Primjena AI alata bez uspostavljenog okvira upravljanja može dovesti do neusklađenosti s nizom mjerodavnih propisa i regulatornih zahtjeva, uključujući pravila o zaštiti osobnih podataka, kibernetičkoj sigurnosti, odgovornosti za automatizirano odlučivanje, transparentnosti sustava i zakonitoj obradi informacija. U europskom regulatornom okruženju osobito su relevantni Akt o umjetnoj inteligenciji Europske unije, Opća uredba o zaštiti podataka (GDPR), NIS2 te povezani nacionalni i sektorski propisi, čije povrede mogu rezultirati znatnim pravnim, financijskim i reputacijskim posljedicama.

Rizik je osobito izražen ako organizacija nema provedenu procjenu rizika AI sustava, evidenciju njihove uporabe, jasno definirana pravila korištenja, nadzor nad obradom podataka te utvrđene uloge i odgovornosti svih uključenih dionika. U takvim okolnostima otežano je dokazivanje usklađenosti, pravodobno prepoznavanje povreda i učinkovito upravljanje regulatornim obvezama, što može dovesti do nadzornih mjera, sankcija i gubitka povjerenja korisnika, partnera ili nadležnih tijela.

8. Gubitak kontrole nad informacijama i znanjem

Ako organizacija značajan dio svojih poslovnih procesa, radnih tokova ili intelektualnih aktivnosti prenese na vanjske AI platforme, postoji rizik postupnog gubitka kontrole nad informacijama, internim znanjem i načinom na koji se ključni poslovni sadržaji obrađuju, pohranjuju i ponovno koriste. Takva ovisnost može dovesti do smanjene samostalnosti u upravljanju podacima, ograničene mogućnosti nadzora nad obradom informacija te povećane izloženosti poslovnim, tehničkim i ugovornim uvjetima koje određuje vanjski pružatelj usluge.

Osobit problem nastaje kada se razvije visoka razina ovisnosti o jednom dobavljaču ili platformi, što može rezultirati dobavljačkom vezanošću, otežanom migracijom na druga rješenja, promjenom uvjeta korištenja, smanjenom dostupnošću usluge ili gubitkom pristupa prethodno generiranim sadržajima i procesnom znanju. Bez odgovarajućih ugovornih, tehničkih i organizacijskih mjera organizacija može biti dovedena u položaj u kojem otežano štiti vlastite informacije, osigurava kontinuitet poslovanja i dugoročno zadržava nadzor nad znanjem koje nastaje u okviru njezina rada.

9. Reputacijski rizik

Neprimjerena, netočna ili nekontrolirana uporaba AI alata može imati izravne reputacijske posljedice za organizaciju, osobito kada se generirani sadržaji koriste u službenoj komunikaciji, javnim objavama, odnosima s korisnicima ili donošenju odluka koje utječu na prava, interese i povjerenje dionika. U takvim slučajevima i pojedinačna pogreška, neprimjerena formulacija ili netransparentna uporaba AI sustava može narušiti vjerodostojnost organizacije te stvoriti dojam neprofesionalnosti, neodgovornosti ili nedostatka nadzora.

Reputacijski rizik osobito je izražen u okolnostima u kojima organizacija ne može jasno objasniti način uporabe AI alata, razloge donošenja pojedinih odluka ili mjere koje poduzima radi provjere točnosti i zakonitosti generiranih sadržaja. Zbog toga je, uz tehničke i pravne kontrole, nužno uspostaviti i jasna komunikacijska pravila, odgovornosti te mehanizme unutarnjeg odobravanja i nadzora kako bi se očuvalo povjerenje javnosti, korisnika, partnera i drugih relevantnih dionika.

Slijedom svega navedenoga, svim organizacijama koje planiraju koristiti umjetnu inteligenciju u svom poslovanju preporučuje se da njezino uvođenje i primjenu ne promatraju isključivo kao tehničko ili operativno pitanje, nego kao pitanje upravljanja rizicima, usklađenosti, sigurnosti i organizacijske odgovornosti. U tom smislu preporučljivo je osloniti se na sustavnu stručnu potporu odobrenih tijela, kao i tijela koja su od strane nadležnih institucija ovlaštena ili akreditirana za podizanje svijesti, razvoj razumijevanja, stručno usmjeravanje te praktičnu i operativnu primjenu priznatih okvira najbolje prakse i međunarodnih normi u području umjetne inteligencije, informacijske sigurnosti, zaštite podataka, upravljanja rizicima i kontinuiteta poslovanja. Takav pristup omogućuje organizacijama da koristi umjetne inteligencije ostvaruju na zakonit, siguran, transparentan i odgovoran način, uz veću razinu pouzdanosti rezultata i poslovnih ishoda za sve relevantne dionike, uz očuvanje povjerenja korisnika, partnera i javnosti te uz dugoročnu zaštitu vlastitih poslovnih interesa i institucionalne vjerodostojnosti.