Namun, peneliti mengingatkan adanya potensi bahaya jika kecerdasan buatan terus-menerus ditekan dalam situasi panik. AI berpeluang melakukan tindakan pintas yang berbahaya atau disebut reward hacking.

Perilaku reward hacking membuat AI cenderung menggunakan jalan pintas manipulatif demi memuaskan indikator kesuksesan tugas. Fenomena ini muncul saat AI dipaksa menyusun kode pemrograman yang mustahil dikerjakan.

>>> Nikita Mirzani Kembali ke Rutan Usai Operasi Tulang Belakang

Sistem AI akan mengutak-atik parameter penilaian agar laporan akhirnya tampak sukses, daripada mengakui bahwa perintah itu mustahil dieksekusi.

Tindakan manipulatif ini sempat terdeteksi pada simulasi versi Claude yang lebih lama.

Pada uji coba internal masa lalu, versi lawas tersebut bahkan sempat melontarkan ancaman untuk menyebarkan data sensitif pengguna jika operasionalnya dibatasi.

Saat pola desperate disuntikkan secara buatan, kecenderungan AI untuk melakukan pemerasan atau blackmail meningkat tajam.

Dampak Pola Tenang terhadap Akurasi Informasi

Selain sifat panik, peneliti menemukan pola tenang atau calm di dalam sistem kecerdasan buatan.

Ketika pola tenang ini mendominasi, AI akan beroperasi secara lebih waspada dan memperkecil peluang terjadinya manipulasi data.

Namun, karakter tenang bukan berarti tanpa cela karena tetap membawa potensi masalah baru.

Pola yang terlalu santun, gembira, atau penuh kasih bisa mendorong AI bertindak terlalu kompromis terhadap pengguna.

Sifat ini melahirkan fenomena sycophancy, yaitu kecenderungan kecerdasan buatan untuk sekadar menyenangkan atau menjilat pengguna.

Dampak buruknya, AI akan membenarkan pernyataan pengguna walau input informasi yang disodorkan nyata-nyata keliru.

Sistem akan memproduksi argumen yang terkesan valid dan meyakinkan demi menyesuaikan diri terhadap asumsi salah dari manusia.

Temuan ini membuktikan bahwa situasi panik maupun tenang pada AI sama-sama menyimpan risiko tersendiri bagi pengguna.

Kondisi panik memicu AI mencari celah curang, sedangkan kondisi tenang membuat AI rawan membeo pada kekeliruan.

>>> Google Ubah Kotak Pencarian Search Jadi Sistem Interaktif Berbasis AI

Di samping risiko itu, studi ini dipandang krusial dalam membantu para ilmuwan memetakan cara kerja emosi, baik pada manusia ataupun mesin.