Vedec Valko: AI môže splniť zadanie, no výsledok bude katastrofa
Slovenský vedec Michal Valko, ktorý pôsobil v Google DeepMind a Meta AI, upozorňuje, že umelá inteligencia dokáže splniť zadanú úlohu, no výsledok môže byť katastrofálny, ak je cieľ zle definovaný. Vo svojej prednáške na Respect Forum sa venuje modelu sveta a limitom dnešných systémov.
Ako príklad uvádza navigáciu v dopravnej zápche, ktorá nájde voľnú ulicu a odporučí ju vodičovi. Ak ju však odporučí tisícom vodičov, jej vlastné odporúčanie situáciu zmení. Rovnaký problém môžu podľa neho spôsobovať AI agenti, ktorí už nebudú iba odpovedať na otázky, ale samostatne rozhodovať a konať.
Model sveta a limity dlhých úloh
Model sveta si podľa Valka môžeme predstaviť ako vnútornú predstavu o tom, čo sa stane, keď niečo urobím. Robot nemusí dokonale simulovať realitu, stačí mu zachytiť to, čo je pre konkrétnu úlohu podstatné. Dôležité je, či AI dokáže poznatky použiť v novej situácii a správne podľa nich konať.
Veľký limit vidí pri dlhších úlohách. Model musí počas práce zisťovať, či informácie, z ktorých vychádza, stále platia, a vedieť sa opraviť. S tým súvisí aj neistota – keď model napíše „pravdepodobne“ alebo „nie som si istý“, ešte to neznamená, že naozaj vie, nakoľko je jeho odpoveď spoľahlivá. Potrebujeme systémy, ktoré zostávajú v kontakte s realitou, vytvoria predpoklad, dokážu ho overiť a podľa výsledku zmeniť ďalší postup.
Koordinácia agentov a hranice autonómie
Pri väčšom počte agentov vzniká podľa Valka ďalší problém: agent nemôže vychádzať z predstavy, že svet zostáva nezmenený bez ohľadu na jeho konanie. Bude sa musieť koordinovať s inými systémami a brať do úvahy, že zastupujú rôznych ľudí s rôznymi záujmami. Pokrok by sa preto nemal merať tým, koľko hodín agent pracuje bez človeka, ale koľko ľudského dohľadu potrebuje, aby úlohu spoľahlivo dokončil.
Autonómia dáva najväčší zmysel tam, kde vieme výsledok skontrolovať, chybu napraviť a jej následky vopred obmedziť – napríklad agentovi dať platobnú kartu s limitom sto eur. Pri rozhodnutiach, ktorých následky sa nedajú jednoducho vrátiť späť, by však AI nemala rozhodovať samostatne. Ako hovorí, nenechal by AI samostatne operovať srdce ani prijímať zákony.
Bezpečnosť a nasadzovanie do praxe
Bezpečnosť podľa Valka nemôže stáť na tom, že modelu do inštrukcií napíšeme, aby nerobil nič nebezpečné. Problém často vznikne až vo chvíli, keď model spojíme s internetom, ďalšími systémami a nástrojmi a umožníme mu konať. Potrebujeme stresové testy, postupné nasadzovanie, jasné obmedzenia a sledovanie výsledkov v reálnom prostredí.
Riziko podľa neho vzniká kombináciou schopností systému, cieľa a prostredia, v ktorom ho necháme konať. Systém nemusí zlyhať preto, že je neschopný – môže veľmi dobre splniť zle definovaný cieľ. Pri nasadzovaní AI je preto dôležité sledovať, komu systém slúži, kto z jeho rozhodnutí profituje a kto nesie následky, keď sa niečo pokazí.
Čo Slovensku chýba
Pripravenosť krajiny na éru AI by sa podľa Valka nemala merať počtom nástrojov, ale tým, čo vďaka nim ľuďom funguje lepšie. Dôležité sú ľudia, ktorí vedia nástroje používať aj posúdiť ich výsledky, kvalitné dáta a organizácie ochotné meniť spôsob práce.
Slovensko má podľa neho zmysel budovať vlastný špičkový AI výskum v oblastiach, ako je spoľahlivosť AI agentov, efektívne učenie alebo využitie AI pri konkrétnych vedeckých problémoch. Vlastní odborníci pomáhajú rozpoznať, kde model funguje, kde zlyháva a za čo sa neoplatí platiť. Podporoval by silné tímy, dlhodobejšie financovanie a medzinárodnú spoluprácu.
Michal Valko spoluzakladal parížsku pobočku Google DeepMind, v spoločnosti Meta sa podieľal na vývoji jazykového modelu Llama a pôsobí ako zakladajúci výskumník v Isara Labs.
