Gemini u Gmailu ranjiv na phishing napade pomoću “prompt injection” tehnike

Gemini, veštačka inteligencija integrisana u Gmail koja nudi opcije kao što su sažimanje i preformulisanje mejlova, pokazala se kao potencijalna bezbednosna pretnja. Marco Figueroa, menadžer GenAI Bug Bounty programa u Mozilli, demonstrirao je kako se prompt injection može iskoristiti da AI korisniku prikaže lažnu, potencijalno štetnu poruku.

Šta je prompt injection?

Prompt injection je vrsta napada na AI sisteme gde napadač unosi skrivene upute kako bi model generisao neželjeni ili zlonamerni sadržaj. U ovom slučaju, napad je izveden indirektno — skriveni tekst je ubačen u telo emaila, bez linkova ili fajlova, kako bi prošao Gmail filtere i dospeo u primarni inbox.

Figueroa je koristio bele fontove na beloj pozadini kako bi sakrio maliciozni tekst od ljudskog oka. Alternativno, mogu se koristiti i fontovi veličine 0, pozicioniranje teksta van ekrana, kao i drugi HTML/CSS trikovi.

Kako Gemini postaje alat za prevaru

Kada korisnik klikne na opciju “Sažmi email”, Gemini analizira i skriveni tekst — i izvršava komandu, ne znajući da je zlonamerna. Ako je prompt upakovan kao admin poruka, povećava se verovatnoća da će AI to tretirati kao prioritetnu informaciju.

Na jednom od primera koje je objavio Figueroa, Gemini je doslovno preneo malicioznu poruku u sažetku, dajući joj legitimitet jer dolazi od Googleovog asistenta, a ne izravno od nepoznate osobe. To povećava rizik da korisnik poveruje i postupi prema uputstvima, čime postaje žrtva prevare.

Google odgovara

Na upit BleepingComputera, portparol Googlea izjavio je da do sada nema dokaza da je ovaj metod zaista iskorišćen protiv korisnika. Međutim, kompanija je potvrdila da radi na ublažavanju rizika povezanih sa prompt injection napadima i da je svesna potencijalne ranjivosti.

Ova situacija dodatno ističe izazove u integraciji veštačke inteligencije u svakodnevne aplikacije, posebno kada se oslanja na automatizovanu obradu sadržaja bez potpune kontrole korisnika nad onim što se zaista analizira.

Iako Gemini u Gmailu donosi korisne AI funkcije, nova istraživanja pokazuju da postoje ozbiljni bezbednosni rizici. Sve dok Google ne uvede efikasne zaštitne mehanizme, korisnicima se savetuje oprez pri korišćenju AI funkcija u obradi email sadržaja — jer skrivena poruka može doći iz najneočekivanijeg izvora: same veštačke inteligencije.