Seekor burung kecil mencoba mengangkat gajah.

Itulah kesan pertama saat membaca kisah Colibrì, proyek perangkat lunak yang memungkinkan komputer kelas jangkrik menjalankan model AI raksasa seperti GLM-5.2.

Model AI GLM-5.2 memiliki sekitar 744 miliar parameter. Setelah dikompresi, ukuran berkasnya masih sekitar 370 GB.

Colibrì mampu menjalankannya pada laptop berprosesor 12-core dengan RAM hanya 25 GB. Caranya bukan dengan memuat seluruh parameter ke memori, melainkan hanya mengambil bagian yang dibutuhkan.

Sisanya tetap tersimpan di SSD atau NVMe dan dipanggil ketika diperlukan. Saat ini, Colibrì baru mendukung model GLM-5.2 yang menggunakan arsitektur Mixture-of-Experts (MoE).

Cara kerjanya diibaratkan perusahaan dengan 744 ribu pegawai, tetapi setiap pekerjaan hanya membutuhkan sekitar 40 ribu orang sesuai keahlian.

Artinya, 704 ribu pegawai tidak perlu masuk kantor bersamaan.

Celah inilah yang dimanfaatkan Colibrì.

Jika pendekatan konvensional membutuhkan komputer dengan memori sangat besar, Colibrì memilih pendekatan berbeda: bagian aktif dimuat ke RAM, sisanya tetap di media penyimpanan.

Nama Colibrì sendiri berarti burung kolibri dalam bahasa Italia. Burung mungil ini memiliki kemampuan terbang luar biasa: melayang, berputar, melesat, bahkan terbang mundur.

Tubuhnya yang kecil menuntut pasokan energi terus-menerus, tetapi ia tidak menjadi perkasa dengan membesarkan tubuh. Ia mengatasi keterbatasan melalui kelincahan dan cara bergerak yang berbeda.

Begitu pula perangkat lunak yang memakai namanya. Colibrì tidak melawan model AI raksasa dengan komputer yang sama besarnya.

Ia bergerak di antara RAM, VRAM, dan media penyimpanan.

Ia tidak mengalahkan beban dengan tenaga, melainkan dengan gerak. Ia tidak menandingi kebesaran dengan kebesaran, tetapi dengan kecerdikan.