Mistral: Voxtral Small 24B 2507 STT

Voxtral Small 1.0 24B 2507 menambahkan masukan audio dan pemahaman ucapan pada fondasi model bahasa Mistral Small. Model ini menerima audio dan teks serta mengembalikan teks, termasuk transkrip, jawaban tentang rekaman, terjemahan, atau ringkasan terstruktur. Ini adalah edisi pemahaman ucapan 24B bernama, yang berbeda dari Voxtral Mini, varian layanan yang dioptimalkan untuk transkripsi, serta rilis Voxtral untuk pembuatan ucapan atau real-time yang hadir kemudian.

Transkripsi dan pemahaman audio

Model memiliki mode khusus transkripsi murni. Pembuatnya menyatakan bahwa secara bawaan model otomatis memprediksi bahasa audio sumber dan mentranskripsikannya sesuai bahasa tersebut. Gunakan mode ini ketika artefak yang diinginkan adalah redaksi ucapan itu sendiri, bukan penafsiran atau ringkasan. Tentukan apakah hasil harus mempertahankan bahasa asli atau diikuti terjemahan yang diminta secara terpisah.

Pemahaman audio memungkinkan pertanyaan diajukan langsung tentang rekaman tanpa terlebih dahulu merangkai model pengenalan ucapan terpisah dan model teks. Permintaan dapat menanyakan topik apa yang dibahas, keputusan apa yang dinyatakan, atau informasi apa dalam rekaman yang menjawab pertanyaan spesifik. Hasilnya dapat berupa respons ringkas atau ringkasan tertata, bukan transkrip lengkap setiap kata yang diucapkan.

Untuk ringkasan rapat, berikan rekaman dan tetapkan bidang yang harus dikembalikan: topik, keputusan yang dinyatakan secara eksplisit, dan tindakan tindak lanjut. Minta nama atau tanggal hanya ketika rekaman benar-benar menyebutkannya, dan pisahkan detail yang belum terselesaikan dari keputusan. Untuk wawancara, minta jawaban atas pertanyaan tertentu dan konteks sekitarnya yang membuatnya dapat dipahami. Rancangan keluaran ini menghubungkan tugas audio dengan dokumen yang dapat digunakan seseorang setelahnya.

Konteks, durasi, dan bahasa

Pembuatnya mendokumentasikan konteks 32k token dan audio hingga 30 menit untuk transkripsi, atau 40 menit untuk pemahaman. Kedua angka durasi memiliki lingkup tugas berbeda. Pilih operasi yang diinginkan sebelum memilih rekaman, serta sertakan instruksi teks dan percakapan saat merencanakan konteks yang tersedia. Rekaman panjang dan jawaban tertulis panjang sama-sama mengonsumsi sumber daya; pernyataan durasi bukan janji panjang jawaban tak terbatas yang terpisah.

Rilis ini menyebut bahasa Inggris, Spanyol, Prancis, Portugis, Hindi, Jerman, Belanda, dan Italia di antara bahasa utama yang didukung, serta menyediakan deteksi bahasa otomatis. Untuk penerjemahan ucapan, tetapkan bahasa akhir dan istilah yang harus mempertahankan bentuk aslinya. Untuk pertanyaan tentang audio dalam satu bahasa, bedakan bahasa rekaman dari bahasa yang harus digunakan untuk menulis jawaban.

Beberapa rekaman dan pertanyaan lanjutan

Kartu model mendukung beberapa masukan audio dalam satu pesan dan audio dalam beberapa giliran pengguna. Berikan pengenal pada setiap rekaman dan nyatakan perannya ketika membandingkannya. Permintaan praktis dapat membandingkan dua versi penjelasan lisan, menanyakan kondisi mana yang berubah, dan mengembalikan tabel dengan kolom terpisah untuk setiap rekaman. Pengenal membantu menjaga temuan model tetap terkait dengan sumber yang tepat.

Tindak lanjut dapat mempertahankan pertanyaan dan jawaban sebelumnya sambil meminta detail yang lebih sempit atau memberikan rekaman lain. Misalnya, pertama minta keputusan dari diskusi, lalu tanyakan keputusan mana yang berkaitan dengan persyaratan tertentu. Rilis yang sama juga mendemonstrasikan permintaan teks saja dan audio saja. Fondasi teksnya dapat mengolah pertanyaan atau hasil tertulis, sementara kemampuan audio menyediakan bukti dari ucapan.

Fungsi yang dipandu suara

Pembuatnya menjelaskan pemanggilan fungsi dari maksud yang diucapkan dan menandai contoh pemanggilan fungsi dalam kartu yang dirilis sebagai dukungan eksperimental. Dalam alur ini, aplikasi menetapkan fungsi beserta argumennya, model menyiapkan pemanggilan dari permintaan, lalu aplikasi menjalankannya dan menyediakan hasil. Dengan demikian, pencarian berbasis suara dapat mengembalikan jawaban tertulis menggunakan informasi dari alat yang terhubung. Pemanggilan fungsi tidak berarti model otomatis memiliki layanan eksternal atau menjalankan tindakan hanya dengan menyebut namanya.

Pastikan tujuan fungsi dan informasi yang diwajibkan tetap eksplisit. Jika rekaman meminta operasi tetapi tidak menyebut nilai wajib, aplikasi tetap memerlukan nilai tersebut untuk menjalankan fungsi. Pisahkan permintaan lisan, usulan argumen, dan hasil yang dikembalikan agar respons berikutnya dapat merujuk hasil operasi aktual.

Pengaturan yang direkomendasikan dan batas yang berguna

Untuk pemahaman audio dan chat completion, kartu model merekomendasikan temperature 0.2 dan top-p 0.95. Untuk transkripsi, rekomendasinya adalah temperature 0.0. Kartu itu secara eksplisit menyatakan bahwa prompt sistem tidak didukung dalam alur penggunaan yang dirilis ini, jadi tempatkan tugas dan persyaratan respons dalam masukan pengguna alih-alih memindahkan konvensi prompt sistem dari model Mistral lain.

Pilih rekaman yang memuat materi relevan dengan pertanyaan, pastikan ucapan terdengar jelas, dan tentukan apakah hasil harus berupa transkrip, terjemahan, jawaban, atau ringkasan. Keluaran yang terdokumentasi adalah teks. Respons lisan memerlukan komponen text-to-speech, dan identifikasi pembicara, diarisasi terperinci, atau cap waktu tingkat kata tidak boleh disimpulkan dari klaim umum pemahaman audio untuk rilis yang tepat ini.

Contoh generasi 500 token dalam kartu model adalah pengaturan contoh, bukan kapasitas keluaran maksimum yang dinyatakan terpisah. Pertahankan edisi 2507, panduan durasi khusus tugas, dan bahasa masukan saat menyiapkan alur yang dapat diulang. Artefak akhir yang berguna adalah teks yang diminta, terhubung dengan rekaman dan diformat untuk langkah dokumen atau aplikasi berikutnya.