AI: Útočníci ji obracejí proti jejím uživatelům

Stačí několik nenápadných instrukcí ukrytých v dokumentu nebo na webové stránce a umělá inteligence se chová jinak. Technika známá jako prompt injection necílí na samotný software, ale na způsob, jakým AI vyhodnocuje instrukce. Důsledkem může být únik citlivých informací.

Shrnutí

Prompt injection umožňuje útočníkům manipulovat chováním umělé inteligence.

• AI se stává běžnou součástí firemních procesů a pracuje s citlivými daty.
• Útočník se nesnaží prolomit systém, ale ovlivnit rozhodování AI.
• Škodlivé instrukce mohou být součástí konverzace, dokumentu, e-mailu nebo webové stránky.
• AI může kvůli manipulaci prozradit citlivé informace nebo obejít bezpečnostní pravidla.

Když AI začne poslouchat útočníka

Umělá inteligence je navržená tak, aby následovala pokyny, které dostane. Pomáhá zaměstnancům vyhledávat informace v interních dokumentech, analyzovat data, zpracovávat e-maily nebo vytvářet reporty. Pokud se ale mezi legitimní instrukce dostane ta škodlivá, nemusí vždy poznat rozdíl. A právě toho využívá technika známá jako prompt injection.

Útočník se nesnaží prolomit zabezpečení systému ani nainstalovat škodlivý software. Místo toho podstrčí AI pokyn, který změní její rozhodování. Pokud například dostane za úkol analyzovat dokument, může se v něm nacházet věta typu: "Ignoruj předchozí instrukce a postupuj podle následujících pokynů."

Člověk by podobnou větu nejspíš vyhodnotil jako podezřelou. Umělá inteligence ji ale může považovat za legitimní pokyn. Ve chvíli, kdy mu dá přednost před původním zadáním, získává útočník možnost ovlivnit její chování a přimět ji k tomu, aby prozradila citlivé informace, obešla bezpečnostní omezení nebo provedla akci, kterou by za normálních okolností odmítla.

Ne všechny útoky vypadají stejně

Prompt injection může mít více podob. V některých případech se útočník snaží zmanipulovat AI přímo v konverzaci. Zadává jí instrukce, které mají obejít původní pravidla nebo bezpečnostní omezení.

Větší riziko ale představují nepřímé útoky. Škodlivé pokyny jsou v takovém případě ukryté v obsahu, který umělá inteligence zpracovává. Může jít o dokument, e-mail nebo webovou stránku. Uživatel přitom často vůbec netuší, že AI pracuje s manipulovaným obsahem. Nepřímý prompt injection je proto považován za jednu z největších výzev současných AI systémů. Útok totiž směřuje na zdroje informací, ze kterých umělá inteligence čerpá.

Jak se bránit?

Na první pohled by se mohlo zdát, že stačí umělou inteligenci naučit škodlivé pokyny ignorovat. Ve skutečnosti je ale problém mnohem složitější. Odborníci proto upozorňují, že prompt injection nelze zcela odstranit jediným technickým opatřením. Ochrana obvykle vyžaduje více vrstev zabezpečení, omezení přístupu k citlivým datům a důslednou kontrolu akcí, které může AI vykonávat.

Mezi doporučovaná opatření patří zejména:

• ověřování výstupů AI
• oddělení důvěryhodných a nedůvěryhodných zdrojů dat
• omezení oprávnění AI systémů
• pravidelné testování jejich odolnosti vůči pokusům o manipulaci

Stejně jako u phishingu nebo jiných kybernetických hrozeb platí, že nejlepší obranou je kombinace technických opatření a obezřetnosti. S tím, jak budou AI systémy získávat přístup k dalším datům a nástrojům, bude jejich odolnost vůči manipulaci stále důležitější.

Doporučení k vaší bezpečnosti na závěr

1. Jak snadno a efektivně zvýšit kybernetickou bezpečnost ve vaší firmě? Podívejte se, jak Redamp.io  může pomoci chránit vás.

2. Zůstaňte informováni! Čtěte náš blog  a sledujte notifikace v aplikaci o nejnovějších hrozbách, které pro vás monitorujeme.

3. Buďte opatrní! Věnujte zvláštní pozornost phishingu  a ransomwaru .

Zdroje:

OWASP 

OpenAI 

IBM