Model bahasa besar masih sering mengalami halusinasi meskipun akurasinya telah mengalami beberapa peningkatan.

Para peneliti keamanan siber memperingatkan bahwa para pelaku kejahatan dapat dengan mudah mempersenjatai keluaran keliru tersebut.

Serangan ini bekerja dengan cara mengeksploitasi kelemahan persisten di dalam berbagai perangkat asisten pengodean berbasis kecerdasan buatan.

Ketika perangkat lunak tersebut merekomendasikan paket perangkat lunak pihak ketiga, terdapat kemungkinan besar bahwa nama yang disarankan tidak benar-benar ada.

Peneliti keamanan siber dari Universitas Tel Aviv dan Intuit menemukan bahwa skenario tersebut dapat dieksploitasi pada berbagai alat pengodean AI umum.

Tingkat kerentanan tersebut berkisar antara 85 hingga 100 persen, bergantung pada kekhususan tugas rekayasa yang dikerjakan.

Serangan yang disebut sebagai adversarial hallucination squatting atau hallusquatting ini memanfaatkan fakta tersebut secara langsung.

Pelaku penyerangan dapat mengidentifikasi nama paket berhalusinasi yang mereka ketahui akan direferensikan oleh asisten pengodean AI.

Mereka kemudian mendaftarkan nama-nama tersebut sebagai repositori nyata dan menyusipkan perangkat lunak berbahaya di dalamnya.

Paket jahat itu kemudian menunggu kepastian bahwa asisten AI akan mengaksesnya dan menyalinnya ke mesin pemilik.

Karena serangan ini mengandalkan proses otomatis, korban kemungkinan besar tidak akan menyadari bahwa asisten AI mereka mengunduh malware.

Kesadaran tersebut biasanya baru muncul jauh setelah perangkat lunak berbahaya mulai mengeksekusi kode di perangkat.

Kerentanan ini menjadi fitur bawaan dari teknologi itu sendiri sehingga berbagai macam asisten AI menjadi rentan.

Perangkat yang terdampak meliputi Cursor, OpenClaw, Gemini, GitHub Copilot, serta berbagai platform serupa lainnya.

Para peneliti mengklaim telah memberi tahu perusahaan-perusahaan AI mengenai eksploitasi tersebut.

Mereka menahan beberapa detail sensitif yang dapat membantu pelaku kejahatan meningkatkan alur kerja serangan mereka.

Meskipun demikian, masalah mendasar tetap ada karena asisten AI masih menjadi pembohong yang sangat percaya diri.

Kondisi ini membuat teknologi tersebut rentan dimanfaatkan oleh generasi baru penjahat siber di masa depan.