Meta Superintelligence Labs memperkenalkan sebuah model persepsi audio real-time baru bernama Muse Voice Transcribe.

Inovasi ini merupakan bagian dari model multimodal autoregresif yang berasal dari keluarga Muse Spark.

Sistem ini memproses data audio dalam potongan 80 milidetik atau setara 12,5 Hz.

Setiap bagian audio tersebut kemudian dikonversi menjadi satu token lunak secara efisien.

Model tersebut mampu menentukan secara mandiri kapan harus melanjutkan mendengarkan atau mengeluarkan token teks.

Pendekatan ini memungkinkan pengelolaan konteks audio sebelum melakukan transkripsi pada setiap kata.

Meta menerapkan penundaan adaptif untuk mengubah jeda setiap kata secara dinamis berdasarkan tingkat kesulitannya.

Fitur pemisahan pembicara atau speaker diarization serta endpointing juga disematkan ke dalam sistem transkripsi ini.

Teknologi tersebut menggunakan token khusus untuk menandai potensi perpindahan pembicara dalam aliran suara.

Pelatihan sistem ini mencakup lebih dari 70 bahasa dengan 25 bahasa yang telah diverifikasi secara ekstensif.

Model ini mendukung pencampuran kode secara arbitrer termasuk peralihan bahasa di dalam kalimat.

Selain itu, perangkat lunak ini sanggup memproses input audio berdurasi lebih dari satu jam.

Dukungan multi-pembicara di dalam sistem ini dapat mengenali lebih dari 20 orang tanpa memerlukan pemrosesan lanjutan.

Teknologi tersebut kini mendukung fitur dikte suara melalui platform Meta AI dan Muse Code.

Pengguna dapat memanfaatkan layanan ini lewat Meta Model API, Meta AI untuk Mac, serta aplikasi Muse Code.