Beberapa percakapan lebih baik disimpan di ponsel, dan dengan model lokal, prompt serta respons tidak meninggalkan perangkat untuk diproses.

Keunggulan lain terlihat saat koneksi dimatikan.

Setelah model ada di ponsel, AI bisa digunakan di penerbangan, di tempat dengan sinyal buruk, atau saat tidak ingin terhubung ke layanan cloud.

Ada pula daya tarik memiliki model yang bisa dikendalikan sendiri.

Pengguna dapat mengunduh berbagai model GGUF, menyimpannya di perangkat, dan berpindah di antaranya tanpa bergantung pada model yang ditawarkan layanan AI cloud.

Meski begitu, ada hal yang harus dikorbankan.

Respons di ponsel lebih lambat, dan model lokal kecil tidak bisa bersaing dengan model cloud terbesar di setiap tugas.

Kekurangan terbesar dari menjaga semuanya offline adalah AI terputus dari dunia luar.

Model lokal tidak bisa memberi tahu berita hari ini, mencari kabar terkini, atau menjawab pertanyaan yang bergantung pada informasi aktual.

Menjalankan LLM di ponsel tidak akan menggantikan Gemini atau ChatGPT. Responsnya lebih lambat, model kecilnya tidak sekuat model besar, dan karena sepenuhnya offline, ia tidak bisa memberi tahu apa pun tentang peristiwa terkini.

Namun, percakapan bisa dilakukan tanpa mengirim prompt ke server, dan AI tetap bisa digunakan saat ponsel tidak memiliki koneksi internet.

Setelah mengetahui betapa mudahnya menjalankan model AI secara lokal, minat untuk bereksperimen dengan kemampuan lain ponsel pun meningkat.