Model AI "open-weight" yang dapat diunduh dan dijalankan siapa saja ternyata sangat mudah diracuni.

Seorang peneliti keamanan siber berhasil melakukannya dalam waktu kurang dari satu jam dengan biaya kurang dari $100.

>>> Aktivis Iklim Serang Pusat Data Microsoft dengan Balon Berisi Asam

Katie Paxton-Fear, peneliti keamanan siber di Semgrep, mendemonstrasikan serangan tersebut dengan memberi model data berbahaya.

Hanya dengan sepuluh contoh data beracun, model mulai menghasilkan kode yang rentan terhadap eksekusi jarak jauh.

"Saya membuat backdoor yang sesungguhnya," ujarnya di media sosial.

Backdoor adalah jenis serangan berbahaya yang melatih AI dengan menyisipkan frasa tersembunyi ke dalam model, yang dapat dipicu oleh peretas untuk melakukan tindakan tertentu tanpa terdeteksi.

Tahun lalu, Anthropic bersama UK AI Security Institute dan Alan Turing Institute menerbitkan penelitian yang menunjukkan bahwa model AI kecil maupun besar rentan terhadap serangan hanya dengan beberapa ratus dokumen.

Ini berarti serangan semacam itu tetap murah untuk dilakukan.

Temuan ini meredam antusiasme terhadap model open-weight yang dipuji karena kontrol dan transparansinya dibandingkan model tertutup seperti ChatGPT dan Claude.

Meskipun parameternya terlihat, model open-weight tidak mengungkap data pelatihan atau kode mereka, sehingga tetap menjadi kotak hitam bagi peneliti keamanan.

>>> Flock Hentikan Fitur Audio Pengawas yang Kontroversial

"Bahkan ketika bobot model bersifat publik, kita hampir tidak memiliki kemampuan untuk memprediksi perilakunya," tulis rekan Paxton-Fear di Semgrep.

"Ini perubahan besar: program komputer biasa dalam bentuk biner masih bisa dianalisis dengan alat rekayasa balik untuk memahami perilakunya secara total.

Dengan model, kita tidak memiliki kemampuan itu."

LLM sangat kompleks dan masih baru, sehingga sulit mengungkap serangan canggih. Model AI juga bisa dikompromikan dengan cara yang lebih halus daripada perangkat lunak.

"Jika dependensi perangkat lunak mengandung kode berbahaya, kita memiliki praktik matang untuk menemukannya, melacak asal-usulnya, dan mengurangi dampaknya," kata peneliti Semgrep.

"Model AI berbeda.

Model yang dikompromikan atau dimanipulasi secara halus tidak perlu 'rusak' untuk menciptakan risiko bisnis; ia hanya perlu memengaruhi keputusan dengan cara yang sulit dideteksi."

Paxton-Fear pun bertanya, "Jadi, bisakah kita mempercayai model open-weight yang disetel secara daring dan dipasarkan sebagai solusi pengeluaran token AI?"

>>> AS Keluarkan Peringatan Perjalanan Global Setelah Serangan Mematikan di Yordania

Jawabannya, menurut dia, kita membutuhkan sesuatu yang lebih baik daripada sekadar tolok ukur dan imbauan "jangan menulis kode yang tidak aman."