ElevenLabs: Scribe v2

ElevenLabs Scribe v2 ialah model pengecaman pertuturan secara kelompok untuk audio rakaman, transkripsi, sari kata dan kapsyen. Model ini dibangunkan daripada Scribe v1 dengan pengendalian rakaman panjang, jeda, perubahan nada dan kesenyapan berpanjangan yang ditambah baik. Hasilnya ialah pertuturan bertulis dengan maklumat pemasaan serta anotasi penutur dan peristiwa audio pilihan. Scribe v2 Realtime ialah edisi transkripsi langsung yang berasingan; tujuan model ini ialah pemprosesan rakaman lengkap.

Pembangun mendokumenkan pengecaman merentas lebih daripada 90 bahasa dan pengesanan bahasa automatik, termasuk rakaman yang bertukar bahasa. Petunjuk bahasa yang diketahui boleh membantu model mentafsir audio. Sediakan rakaman jelas, kekalkan bahasa dan nama asal, serta elakkan herotan akibat pemotongan amplitud yang teruk atau pemprosesan tidak perlu yang membuang butiran pertuturan. Input lazim yang didokumenkan merangkumi WAV, MP3, FLAC, M4A, AAC, OGG, Opus dan WebM. Pilih perwakilan input yang disokong oleh pelaksanaan transkripsi dan simpan rakaman sumber untuk semakan.

Respons standard mengandungi teks yang dikenal pasti, maklumat bahasa yang dikesan dan urutan perkataan berpemasa. Rekod perkataan boleh menyertakan masa mula dan tamat, pengenal penutur dan log kebarangkalian pengecaman. Ini menjadikan hasil berguna untuk sari kata, temu bual boleh carian atau penyunting yang melompat kembali ke bunyi berkaitan. Simpan hasil berpemasa bersama audio sumber. Untuk podsiar, sebagai contoh, hasil boleh berupa transkrip boleh sunting dan rekod sejajar perkataan yang membantu mencari pembetulan sebelum menyusun kapsyen.

Diarisasi penutur melabel siapa yang bercakap dan bila dalam audio berbilang penutur, dengan sehingga 32 penutur didokumenkan oleh pembangun. Aktifkannya apabila giliran penutur penting, dan bekalkan bilangan penutur yang munasabah jika maklumat itu diketahui. Bezakan label penutur yang dikesan daripada nama orang yang disahkan. Untuk temu bual atau mesyuarat, semak pertukaran giliran dengan rakaman, khususnya apabila suara bertindih atau kedengaran serupa. Label membantu menyusun transkrip; label itu tidak dengan sendirinya menentukan identiti penutur.

Rakaman dengan satu penutur bagi setiap saluran mempunyai struktur berbeza daripada beberapa suara yang dicampurkan dalam satu saluran. Antara muka pengeluar boleh memproses sehingga lima saluran secara bebas dan mengembalikan transkrip berasingan atau transkrip gabungan mengikut urutan masa, dengan indeks saluran. Kekalkan susunan saluran itu apabila bermakna. Menggabungkan saluran rakaman panggilan yang asalnya diasingkan sebelum transkripsi boleh menghilangkan sumber maklumat penutur yang berguna. Bezakan atribusi berasaskan saluran daripada diarisasi yang diinferenskan daripada audio bercampur. Respons saluran gabungan memerlukan cap masa dan tidak boleh menyertakan pengesanan atau penyamaran entiti.

Prom istilah utama membimbing pengecaman nama, istilah produk dan kosa kata khusus menggunakan konteks. Dokumentasi kelompok semasa membenarkan sehingga 1,000 istilah, dengan setiap istilah kurang daripada 50 aksara dan paling banyak lima perkataan. Berikan ejaan berkaitan, bukan katalog luas yang tidak berkaitan. Untuk temu bual teknikal, bekalkan nama produk dan singkatan yang mungkin disebut, kemudian periksanya pada cap masa dalam hasil. Istilah utama mempengaruhi pengecaman; istilah itu bukan arahan untuk memasukkan sesuatu istilah apabila rakaman tidak menyokongnya.

Pilih tujuan transkrip sebelum mengemaskannya. Rekod kata demi kata mengekalkan ungkapan yang disebut, manakala pilihan no-verbatim yang didokumenkan membuang kata pengisi, permulaan yang terbatal dan ketidaklancaran untuk hasil yang lebih mudah dibaca. Pengetagan audio dinamik boleh mengenal pasti peristiwa bukan pertuturan seperti ketawa atau bunyi langkah kaki. Transkrip yang dikemaskan mungkin berguna untuk kapsyen atau bacaan, tetapi tidak patut menggantikan rekod mentah secara senyap apabila pengulangan, pembetulan atau bunyi bukan pertuturan penting kepada tugasan.

Pembangun turut mendokumenkan pengesanan entiti dan penyuntingan transkrip eksperimen. Penyuntingan transkrip tidak boleh digabungkan dengan pengesanan entiti, penyamaran entiti atau transkripsi berbilang saluran dalam antara muka pengeluar. Entiti yang dikesan membekalkan kedudukan berstruktur untuk maklumat terpilih dalam transkrip. Penyamaran entiti pilihan menutup teks yang dikesan dengan label pengganti; ia bergantung pada pengesanan entiti, dan senarai entiti tidak dikembalikan apabila penyamaran diaktifkan. Penyamaran berlaku semasa transkripsi, menggunakan penanda pengganti umum, label kategori atau label kategori bernombor. Penyamaran automatik boleh terlepas kandungan sensitif, jadi periksa transkrip yang disamarkan sebelum berkongsi. Suntingan bahasa semula jadi mengembalikan teks yang disunting bersama hasil asal, sambil mengekalkan rekod pemasaan dan penutur asal. Bezakan artifak tersebut: ejaan yang dibetulkan atau ayat yang diformat semula mungkin memerlukan semakan baharu sebelum dijajarkan dengan audio atau digunakan dalam pengekstrakan hiliran. Ciri ini memproses transkrip; ciri itu tidak membuktikan bahawa setiap butiran penting dikenal pasti dengan betul.

Untuk transkrip yang selesai, semak nama, nombor, penafian dan pertukaran penutur dengan kembali kepada audio yang sepadan. Beri perhatian kepada bahagian perlahan, pertindihan dan pertukaran bahasa, tanpa menilai kualiti hanya berdasarkan teks yang lancar. Kekalkan ungkapan tidak pasti untuk pembetulan, bukannya melengkapkan petikan yang tidak boleh didengar dengan ayat yang munasabah. Hasil yang berguna ialah rekod teks yang disemak dengan maklumat pemasaan dan penutur yang diperlukan untuk tujuan penggunaannya; transkrip kemudian boleh menjadi input kepada langkah ringkasan, terjemahan atau analisis yang berasingan.