Percakapan santai mengenai topik ekonomi memicu sebuah eksperimen untuk menguji kemampuan model kecerdasan buatan.

Sebuah dokumen laporan tahunan setebal 200 halaman dari bank sentral diunggah ke tiga model kecerdasan buatan terkemuka.

Perbandingan Kinerja Tiga Model AI

Model pertama memberikan tanggapan yang akurat secara analisis tetapi memiliki format yang terasa kaku serta mekanis.

Model berikutnya dipilih sebagai pemenang karena menyajikan jawaban dengan gaya bahasa yang lebih alami dan mudah dipahami.

Analisis Kapasitas Konteks Dokumen

Uji coba ini membuktikan bahwa kapasitas token yang lebih besar tidak selalu menjamin kualitas penalaran informasi yang lebih baik.

Pengujian menunjukkan pentingnya menemukan keseimbangan agar sistem dapat memproses data secara akurat tanpa kelebihan beban.

Evaluasi Respons dan Pengujian Fakta Palsu

Pengujian lebih lanjut dilakukan dengan memberikan premis keliru guna mengamati reaksi dari setiap sistem kecerdasan buatan tersebut.

Ketiga model berhasil mendeteksi kekeliruan premis yang diberikan serta menyoroti fakta sebenarnya yang termuat dalam laporan resmi.

Model besutan Claude dinilai unggul dalam hal penyusunan kalimat jawaban yang terasa paling natural bagi pengguna.

Sementara itu, model ChatGPT menyajikan data secara terstruktur lewat penggunaan tabel meskipun gayanya terkesan sedikit mekanis.

Tanggapan dari model Gemini mencatatkan hasil analisis yang tepat tanpa ada halusinasi meskipun tampilannya terasa kurang bersahabat dibaca.

Sejumlah keluhan di internet sempat menyebutkan bahwa model Gemini kerap mengalami halusinasi pada dokumen panjang, namun pengalaman pengujian ini menunjukkan hasil yang berbeda.

Model tersebut justru mampu menjawab seluruh pertanyaan dengan benar dan memberikan ringkasan padat di bagian akhir.

Karakteristik dari model GPT berada di tengah-tengah, menggabungkan fitur peringkasan serta struktur data yang teratur.

Pelajaran dari Kapasitas Jendela Konteks

Data teknis menunjukkan bahwa model GPT memiliki jendela konteks mencapai 1.050.000 token, sedangkan model Sonnet sebesar 1.000.000 token.

Di sisi lain, model Gemini memiliki kapasitas 1.048.576 token yang sedikit melampaui kapasitas model Sonnet.

Angka-angka tersebut membuktikan bahwa kapasitas token yang lebih besar sama sekali bukan jaminan keakuratan pemrosesan informasi.

Terlalu banyak muatan data justru berpotensi menurunkan kualitas penalaran dari model bahasa besar saat mengolah dokumen.