Bayangkan bisa mengobrol dengan AI di ponsel tanpa mengirim satu pesan pun ke internet. Itulah yang diuji dengan mengunduh model bahasa, mengaktifkan mode pesawat, lalu mulai mengobrol.

Tidak ada pemrosesan cloud atau koneksi internet yang dibutuhkan. AI berjalan langsung di perangkat, dengan sejumlah kompromi yang menyertainya.

Pengalaman ini menunjukkan bahwa AI offline yang menjaga percakapan tetap di perangkat ternyata lebih berguna dari yang diperkirakan.

Memasang Model AI di Ponsel

Android menyediakan beberapa cara untuk menjalankan LLM lokal. MLC Chat menjadi opsi yang memanfaatkan perangkat keras ponsel untuk inferensi lebih cepat.

Google AI Edge Gallery menawarkan pendekatan berbeda dengan model on-device dari Google serta fitur gambar dan audio.

Ada pula opsi teknis seperti Maid, LM Playground, atau menjalankan Ollama lewat Termux bagi yang tidak keberatan dengan pengaturan lebih rumit.

Pilihan jatuh pada PocketPal AI karena ingin sesuatu yang sederhana dan memungkinkan pemilihan model. Aplikasi ini open source dengan kode yang tersedia publik di GitHub.

Bagi kebanyakan orang, cara termudah memasangnya adalah melalui Google Play Store. PocketPal mendukung model GGUF dari Hugging Face, sehingga pengguna bisa memilih model seperti Gemma, Qwen, dan Phi.

Cara Menyiapkan PocketPal dan Keterbatasannya

LLM lokal tidak seperti memasang aplikasi Android biasa. Model bisa memakan penyimpanan signifikan dan membutuhkan memori cukup untuk dimuat dan dijalankan.

PocketPal merekomendasikan setidaknya 6GB RAM untuk model kecil dan 8GB atau lebih untuk model besar.

Ponsel baru dengan RAM lebih besar dan chip lebih cepat lebih cocok untuk menjalankan model AI secara lokal.