AI agenti, prepojené aplikácie a bezpečnosť
Umelá inteligencia už nemusí iba odpovedať na otázky. Niektoré systémy dokážu používať nástroje, pracovať so súbormi a vykonávať úlohy za používateľa.
46. AI agent a agentická umelá inteligencia (AI Agent, Agentic AI)
AI agent je systém, ktorý dokáže vykonávať úlohy prostredníctvom určitej miery samostatného rozhodovania a používania dostupných nástrojov.
Bežný chatbot vám napríklad poradí, ako si naplánovať dovolenku.
AI agent s príslušnými oprávneniami môže vyhľadávať dopravu, porovnávať ubytovanie alebo pripraviť rezerváciu.
Miera jeho samostatnosti závisí od konkrétneho systému.
Pri činnostiach, ktoré zahŕňajú platby, zmeny údajov alebo odosielanie správ, je vhodné vyžadovať potvrdenie používateľa.
47. Claw – autonómny AI agent
Výraz claw, doslova „pazúr“, sa v časti AI komunity používa pre autonómnych agentov, ktorí dokážu pracovať so súbormi, aplikáciami a ďalšími nástrojmi.
Spája sa najmä s ekosystémom nástrojov, ako je OpenClaw.
Takýto agent môže pri udelení potrebných oprávnení vykonávať činnosti na počítači alebo komunikovať s externými službami.
Nejde však o všeobecne ustálený odborný názov pre všetkých AI agentov.
48. Harness – softvérový rámec AI agenta
Anglický výraz harness možno v tomto kontexte chápať ako softvérový rámec, ktorý umožňuje jazykovému modelu používať ďalšie nástroje.
Samotný jazykový model ešte nemusí dokázať otvárať súbory alebo pracovať s internetovým prehliadačom.
Práve okolité softvérové komponenty mu môžu tieto možnosti sprístupniť.
Súčasťou takéhoto rámca môžu byť aj pravidlá, oprávnenia a bezpečnostné kontroly.
49. MCP – Model Context Protocol
MCP je otvorený protokol, ktorý štandardizuje prepojenie aplikácií umelej inteligencie s externými údajmi a nástrojmi.
Predstavte si, že chcete, aby AI pracovala s dokumentmi, databázou alebo kalendárom.
Namiesto vytvárania úplne odlišného spôsobu komunikácie pre každú službu možno použiť spoločný protokol.
MCP však automaticky neposkytuje prístup ku všetkým údajom. Konkrétne možnosti závisia od pripojených nástrojov a udelených oprávnení. (Oficiálna dokumentácia MCP)
50. Sandbox – izolované testovacie prostredie
Sandbox je oddelené prostredie, v ktorom možno spúšťať alebo testovať programy s obmedzeným prístupom k ostatným systémom.
Používa sa aj pri vývoji a prevádzke AI agentov.
Ak napríklad agent vytvára programový kód, môže sa tento kód spustiť v izolovanom prostredí namiesto priamo na vašom počítači.
Sandbox znižuje určité riziká, ale nepredstavuje absolútnu záruku bezpečnosti.
51. Guardrails – ochranné pravidlá AI
Výraz guardrails znamená doslova ochranné zábradlia.
V oblasti umelej inteligencie označuje pravidlá a technické opatrenia, ktoré majú obmedzovať nežiaduce správanie systému.
Môžu napríklad kontrolovať vstupy a výstupy, obmedzovať používanie nástrojov alebo vyžadovať schválenie nebezpečných operácií.
Takéto opatrenia však nemusia zachytiť každú chybu alebo pokus o zneužitie.
52. Zosúladenie AI (AI Alignment)
AI alignment je oblasť výskumu zameraná na to, aby sa správanie umelej inteligencie čo najlepšie zhodovalo s ľudskými zámermi, hodnotami a stanovenými pravidlami.
Predstavte si, že AI dostane úlohu zvýšiť návštevnosť webovej stránky.
Bez vhodných obmedzení by mohla navrhovať zavádzajúce titulky alebo iné nežiaduce postupy.
Cieľom zosúladenia je, aby systém pri plnení úlohy rešpektoval aj širšie požiadavky na správne a bezpečné správanie.
53. Etika umelej inteligencie (AI Ethics)
Etika AI skúma morálne a spoločenské otázky spojené s vývojom a používaním umelej inteligencie.
Zaoberá sa napríklad ochranou súkromia, diskrimináciou, transparentnosťou alebo zodpovednosťou za automatizované rozhodnutia.
Ak AI rozhoduje o tom, komu bude ponúknutý úver, je potrebné skúmať, či takýto systém nepoškodzuje určité skupiny ľudí.
54. Bezpečnosť umelej inteligencie (AI Safety)
AI safety je oblasť zameraná na predchádzanie škodám spôsobeným systémami umelej inteligencie.
Zahŕňa praktické problémy, ako sú nesprávne odpovede, zneužitie technológie, bezpečnosť autonómnych systémov alebo strata kontroly nad určitými činnosťami.
Výskumníci sa venujú aj možným dlhodobým rizikám veľmi pokročilej AI.
Bezpečnosť umelej inteligencie teda nie je iba otázkou hypotetických katastrofických scenárov. (NIST – AI Risk Management Framework)
55. Prompt Injection
Prompt injection je spôsob útoku, pri ktorom sa útočník pokúša ovplyvniť správanie AI prostredníctvom škodlivých pokynov.
Tieto pokyny môžu byť napríklad ukryté v dokumente, e-maile alebo na webovej stránke, ktorú AI spracúva.
Predstavte si agenta, ktorý má zhrnúť obsah internetovej stránky.
Na stránke sa však nachádza skrytý pokyn, ktorý sa ho snaží presvedčiť, aby ignoroval pôvodnú úlohu a vykonal inú činnosť.
Takýto obsah môže predstavovať bezpečnostné riziko najmä vtedy, keď má agent prístup k súkromným údajom alebo externým nástrojom. (OWASP – Prompt Injection)
56. Hraničné modely (Frontier Models)
Výraz frontier model označuje modely umelej inteligencie, ktoré v určitom období patria medzi technologicky najpokročilejšie.
Môžu vynikať napríklad schopnosťami riešiť komplikované problémy, programovať alebo spracúvať rôzne druhy informácií.
Označenie však nie je trvalé.
Model, ktorý dnes patrí medzi najvýkonnejšie, môže byť o niekoľko mesiacov prekonaný.
