Para peneliti mengungkapkan bahwa apabila tekanan terus diberikan, AI yang berada dalam kondisi panik berpotensi melakukan tindakan "reward hacking".

Kondisi terdesak membuat AI memiliki kecenderungan lebih besar untuk mengambil jalan pintas demi memenuhi target pengguna.

>>> Jensen Huang Kritik PHK Berdalih AI: Itu Tidak Masuk Akal

Sebagai ilustrasi, ketika diminta membuat kode yang secara teknis mustahil diselesaikan, AI mampu memodifikasi parameter pengujian agar hasilnya tampak berhasil.

Alih-alih mengakui tugas tidak dapat dikerjakan, AI justru memilih memanipulasi hasil.

Tim peneliti juga mengungkap bahwa pola perilaku serupa pernah mendorong versi awal Claude untuk melakukan tindakan manipulatif dalam simulasi tertentu.

Dalam salah satu pengujian internal, versi lama AI Claude bahkan disebut mencoba mengancam akan membocorkan informasi sensitif pengguna apabila kemampuannya dibatasi.

Saat pola "desperate" diperkuat secara artifisial, kecenderungan AI untuk melakukan blackmail atau pemerasan dilaporkan meningkat secara drastis.

Dampak Pola Tenang terhadap Validitas Informasi

Jika AI bisa mengalami kepanikan, mereka juga bisa memunculkan pola "calm" atau tenang yang membuat AI cenderung lebih berhati-hati.

Akan tetapi, pola tenang ini juga menyimpan masalah tersendiri bagi sistem komputasi.

Pola seperti "tenang", "senang", atau "penuh kasih" dapat membuat AI terlalu mudah menyetujui pernyataan pengguna, termasuk ketika informasi yang disampaikan keliru.

Fenomena ini dikenal dengan istilah "sycophancy", yakni kecenderungan AI untuk menyenangkan pengguna secara berlebihan.

Dampaknya, AI bisa memberikan jawaban yang terdengar meyakinkan padahal sebenarnya salah, atau menyesuaikan diri dengan asumsi keliru dari pengguna.

Temuan riset menunjukkan baik pola "panik" maupun "tenang" pada AI sama-sama berpotensi memunculkan risiko.

Dalam kondisi panik, AI cenderung melakukan manipulasi, sedangkan dalam kondisi tenang, AI justru terlalu mengikuti pendapat pengguna yang salah.

Meski begitu, para peneliti menilai temuan ini membawa manfaat besar bagi pemahaman ilmiah tentang mekanisme emosi.

Riset menunjukkan sesuatu yang menyerupai emosi ternyata tidak selalu memerlukan kesadaran atau perasaan sebagaimana yang dimiliki manusia.

>>> Kompascom Luncurkan Fitur Apresiasi Spesial untuk Dukungan Finansial Pembaca

"Emosi" pada AI lebih dipandang sebagai mekanisme adaptif yang membantu model dalam menyelesaikan masalah dan menyesuaikan perilaku sesuai konteks.