Mistral: Voxtral Small 24B 2507 STT

Voxtral Small 1.0 24B 2507 menambah input audio dan pemahaman pertuturan kepada teras model bahasa Mistral Small. Ia menerima audio dan teks serta mengembalikan teks, termasuk transkrip, jawapan tentang rakaman, terjemahan atau ringkasan berstruktur. Ini ialah edisi pemahaman pertuturan 24B yang dinamakan, berbeza daripada Voxtral Mini, varian perkhidmatan yang dioptimumkan untuk transkripsi dan keluaran penjanaan pertuturan atau masa nyata Voxtral yang kemudian.

Transkripsi dan pemahaman audio

Model mempunyai mod transkripsi tulen khusus. Pembuat menyatakan bahawa ia meramal bahasa audio sumber secara automatik secara lalai dan mentranskripsikannya mengikut bahasa tersebut. Gunakan mod ini apabila artifak yang diingini ialah kata-kata yang dituturkan itu sendiri dan bukannya tafsiran atau ringkasan. Kenal pasti sama ada hasil perlu mengekalkan bahasa asal atau diikuti terjemahan yang diminta secara berasingan.

Pemahaman audio membolehkan soalan ditanya secara langsung tentang rakaman, tanpa terlebih dahulu merangkaikan model pengecaman pertuturan dan model teks yang berasingan. Permintaan boleh bertanya topik yang dibincangkan, keputusan yang dinyatakan atau maklumat dalam rakaman yang menjawab soalan tertentu. Hasilnya boleh berupa respons ringkas atau ringkasan tersusun, dan bukannya transkrip penuh setiap perkataan yang dituturkan.

Untuk ringkasan mesyuarat, berikan rakaman dan takrifkan medan yang perlu dikembalikan: topik, keputusan yang dinyatakan secara jelas dan tindakan susulan. Minta nama atau tarikh hanya apabila rakaman benar-benar menyatakannya, dan kekalkan butiran yang belum diselesaikan secara berasingan daripada keputusan. Untuk temu bual, minta jawapan kepada soalan tertentu dan konteks sekeliling yang menjadikannya boleh difahami. Reka bentuk output ini menghubungkan tugas audio kepada dokumen yang boleh digunakan seseorang selepas itu.

Konteks, tempoh dan bahasa

Pembuat mendokumentasikan konteks 32k token dan audio sehingga 30 minit untuk transkripsi, atau 40 minit untuk pemahaman. Kedua-dua angka tempoh mempunyai skop tugas yang berbeza. Pilih operasi yang diingini sebelum memilih rakaman, dan sertakan arahan teks serta perbualan semasa merancang konteks yang tersedia. Rakaman panjang dan jawapan bertulis panjang kedua-duanya menggunakan sumber; pernyataan tempoh bukan janji panjang jawapan tanpa had yang berasingan.

Keluaran ini mengenal pasti bahasa Inggeris, Sepanyol, Perancis, Portugis, Hindi, Jerman, Belanda dan Itali antara bahasa utama yang disokong serta menyediakan pengesanan bahasa automatik. Untuk terjemahan pertuturan, tetapkan bahasa akhir dan sebarang istilah yang perlu mengekalkan bentuk asalnya. Untuk soalan tentang audio dalam satu bahasa, bezakan bahasa rakaman daripada bahasa jawapan yang perlu ditulis.

Berbilang rakaman dan soalan susulan

Kad model menyokong beberapa input audio dalam satu mesej dan audio dalam berbilang giliran pengguna. Berikan setiap rakaman pengecam dan nyatakan peranannya semasa membandingkannya. Permintaan praktikal mungkin membandingkan dua versi penjelasan lisan, bertanya syarat yang berubah dan mengembalikan jadual dengan lajur berasingan untuk setiap rakaman. Pengecam membantu memastikan dapatan model dikaitkan dengan sumber yang betul.

Soalan susulan boleh mengekalkan soalan dan jawapan terdahulu sambil meminta butiran yang lebih sempit atau membekalkan rakaman lain. Contohnya, terlebih dahulu minta keputusan daripada perbincangan, kemudian tanya keputusan yang berkaitan dengan keperluan tertentu. Keluaran yang sama turut menunjukkan permintaan teks sahaja dan audio sahaja. Teras teksnya boleh bekerja pada soalan atau hasil bertulis, manakala keupayaan audio membekalkan bukti daripada pertuturan.

Fungsi berpandukan suara

Pembuat menerangkan panggilan fungsi daripada niat yang dituturkan dan melabelkan contoh panggilan fungsi dalam kad yang dikeluarkan sebagai sokongan eksperimen. Dalam aliran kerja ini, aplikasi mentakrifkan fungsi dan argumennya, model menyediakan panggilan daripada permintaan, dan aplikasi melaksanakannya serta membekalkan hasil. Oleh itu, carian berasaskan suara boleh mengembalikan jawapan bertulis menggunakan maklumat daripada alat yang disambungkan. Panggilan fungsi tidak bermakna model secara automatik memiliki perkhidmatan luaran atau melakukan tindakan hanya dengan menamakannya.

Pastikan tujuan fungsi dan maklumat yang diperlukan jelas. Jika rakaman meminta operasi tetapi tidak menyertakan nilai wajib, aplikasi masih memerlukan nilai itu untuk melaksanakan fungsi. Pisahkan permintaan yang dituturkan, argumen yang dicadangkan dan hasil yang dikembalikan supaya respons seterusnya boleh merujuk hasil operasi sebenar.

Tetapan yang disyorkan dan batas yang berguna

Untuk pemahaman audio dan pelengkapan sembang, kad model mengesyorkan suhu 0.2 dan top-p 0.95. Untuk transkripsi, ia mengesyorkan suhu 0.0. Ia menyatakan secara jelas bahawa prom sistem tidak disokong dalam aliran penggunaan yang dikeluarkan ini, jadi letakkan tugas dan keperluan respons dalam input pengguna dan jangan pindahkan konvensyen prom sistem daripada model Mistral lain.

Pilih rakaman yang mengandungi bahan berkaitan dengan soalan, pastikan pertuturan yang dapat didengar jelas dan nyatakan sama ada hasil perlu berupa transkrip, terjemahan, jawapan atau ringkasan. Output yang didokumentasikan ialah teks. Respons lisan memerlukan komponen teks kepada pertuturan, dan pengecaman penutur, diarisasi terperinci atau cap masa peringkat perkataan tidak patut disimpulkan daripada dakwaan pemahaman audio umum untuk keluaran khusus ini.

Contoh penjanaan 500 token dalam kad model ialah tetapan contoh, bukannya kapasiti output maksimum yang dinyatakan secara berasingan. Kekalkan edisi 2507, panduan tempoh khusus tugas dan bahasa input semasa menyediakan aliran kerja yang boleh diulang. Artifak akhir yang berguna ialah teks yang diminta, dihubungkan dengan rakaman dan diformatkan untuk langkah dokumen atau aplikasi seterusnya.