Nevidljivi tekst koji AI chatbot vidi i razume, ali ne i ljudi

Problem tajnog, za ljude nevidljivog teksta se zapravo fokusira na mogućnost korišćenja nevidljivih Unicode karaktera kao tajnog kanala za komunikaciju unutar velikih jezičkih modela (LLM), poput GPT-4 i Claude Opus, koji mogu razumeti ove skrivene karaktere, dok ljudi to ne mogu. Ovi karakteri, rezultat neobičnosti u Unicode standardu, omogućavaju napadačima da sakriju zlonamerni sadržaj ili izvuku poverljive informacije iz AI chatbot-a, što AI sigurnost čini manje bezbednom.

Korišćenje nevidljivih Unicode znakova poznat je pod terminom “ASCII šverc”, koji je skovao istraživač Johann Rehberger. On je demonstrirao kako je moguće iskoristiti ove znakove u napadima na Microsoft 365 Copilot, pri čemu su ovi nevidljivi znakovi sakrili poverljive informacije, poput prodajnih podataka ili jednokratnih lozinki, unutar URL-ova koji izgledaju potpuno bezopasno. Nakon toga, ove informacije se prosleđuju serverima sa kojih se vrši napad kada korisnici kliknu na te linkove.

Opisani problem se odnosi na vrstu napada poznatu kao “prompt injekcija”, gde zlonamerni sadržaj može biti ubačen u AI modele putem neželjenih podataka. Iako su neki AI modeli, poput OpenAI ChatGPT, uveli mitigacije protiv ovih napada, drugi modeli, kao što su Claude API i Microsoft 365 Copilot i dalje mogu biti prilično ranjivi na ovakve tehnike.

Istraživači kao što je Riley Goodside ističu da problem sa sigurnošću kod LLM-ova proizlazi iz toga što su u stanju da procesuiraju informacije koje su nevidljive za ljude, što otvara prostor za različite vrste napada, opširnije piše o ovom problemu Ars Technica.