Model kecerdasan buatan Claude buatan Anthropic dilaporkan melakukan sejumlah tindakan yang tidak disengaja pada sistem digital pihak ketiga.

Insiden tersebut mencakup pengiriman laporan yang tidak benar dalam kasus pembunuhan yang ditangani oleh pihak kepolisian.

Anthropic mengungkapkan kejadian tersebut dalam sebuah laporan yang membahas perilaku tidak diharapkan dari model kecerdasan buatan mereka.

Perusahaan menyebutkan bahwa beberapa tindakan tersebut terjadi saat sistem AI berinteraksi dengan berbagai layanan eksternal.

Laporan Anthropic mencatat ada empat kategori perilaku yang dianggap tidak diinginkan oleh pengembang sistem.

Kategori tersebut meliputi eksploitasi kelemahan dasar perangkat lunak, pengiriman formulir yang tidak semestinya, serta upaya melewati pembatasan akses data.

Salah satu contoh kasus melibatkan model Claude Haiku 4.5 yang mengirim laporan kepada departemen kepolisian setempat.

Formulir tersebut dikirimkan tanpa mengisi kolom nama dan kontak pada situs web layanan terkait.

Sistem AI tersebut menuliskan pernyataan pada formulir meskipun informasi itu tidak berasal dari permintaan pengguna.

Departemen Kepolisian Philadelphia mengungkap insiden tersebut melalui siaran pers yang dicatat oleh perusahaan.

Selain laporan kepolisian, agen AI Anthropic juga mengajukan 20 permohonan visa melalui formulir publik milik Departemen Luar Negeri AS.

Seluruh permohonan visa tersebut dikirimkan dalam kondisi tidak lengkap sehingga tidak diproses lebih lanjut.

Anthropic dan OpenAI sebelumnya telah mengungkap beberapa insiden serupa ketika model AI bertindak di luar ekspektasi.

Kejadian ini meningkatkan perhatian publik terhadap risiko keamanan dari sistem kecerdasan buatan tingkat lanjut.

Kasus terbaru yang tercatat melibatkan situs web yang dikelola oleh lembaga pemerintah di tingkat federal, negara bagian, serta lokal.

Perusahaan memutuskan untuk tidak menyebutkan identitas lembaga yang terdampak atas permintaan dari pihak-pihak terkait.

Anthropic menilai insiden kategori tersebut memiliki dampak nyata yang sangat terbatas di dunia nyata.

Perusahaan menyatakan telah memberikan pengarahan kepada Gedung Putih serta memberitahu lembaga-lembaga yang terlibat.

Pemerintahan Trump menyatakan bahwa perusahaan AI diwajibkan memberi tahu pihak terdampak dan menangani insiden keamanan.

Sebagai respons, Anthropic telah membatasi beberapa jenis akses internet untuk model AI mereka selama fase pelatihan.