ElevenLabs: Scribe v2

ElevenLabs Scribe v2は、録音済みの音声、文字起こし、字幕作成、キャプション作成向けのバッチ音声認識モデルです。Scribe v1を基盤に、長い録音、間、声の調子の変化、長い無音区間への対応を改善しています。結果は、時刻情報と、任意の話者・音声イベント注釈を含む発話テキストです。Scribe v2 Realtimeは別のライブ文字起こし版であり、このモデルの目的は録音全体の処理です。

メーカーは、90を超える言語での認識と、途中で言語が切り替わる録音を含む自動言語検出を文書化しています。言語がわかっている場合、そのヒントは音声の解釈に役立ちます。明瞭な録音を準備し、元の言語と名前を維持して、深刻なクリッピングや、発話の細部を失わせる不要な処理を避けてください。文書化された一般的な入力には、WAV、MP3、FLAC、M4A、AAC、OGG、Opus、WebMがあります。文字起こしの実装が対応する入力表現を選び、確認用に元の録音を保持します。

標準の応答には、認識したテキスト、検出した言語の情報、時刻付きの単語列が含まれます。単語レコードには、開始・終了時刻、話者識別子、認識の対数確率が含まれることがあります。これらにより、字幕、検索可能なインタビュー、該当する音声に戻れる編集環境で結果を活用できます。時刻情報付きの結果を元の音声とともに保持してください。例えばポッドキャストでは、編集可能な文字起こしと、字幕を配置する前に訂正箇所を見つけられる単語対応の記録を成果物にできます。

話者分離は、複数の話者が含まれる音声で、誰がいつ話したかをラベル付けします。メーカーは最大32人の話者を文書化しています。発話の切り替わりが重要な場合は有効にし、話者数がわかっている場合は妥当な人数を指定してください。検出された話者ラベルと、確認済みの人物名を区別します。インタビューや会議では、特に声が重なる部分や声が似ている部分で、発話の切り替わりを録音と照合してください。ラベルは文字起こしの整理に役立ちますが、それだけで話者の身元を確定するものではありません。

各チャンネルに一人の話者がいる録音は、複数の声を一つのチャンネルに混ぜた録音とは構造が異なります。開発元のインターフェースでは、最大5チャンネルを独立して処理し、個別の文字起こし、またはチャンネル番号付きで時刻順にまとめた文字起こしを返せます。意味のあるチャンネル構成は維持してください。分離した通話録音を文字起こし前に一つに混ぜると、有用な話者情報が失われることがあります。チャンネルに基づく帰属と、混合音声から推定した話者分離を区別します。複数チャンネルをまとめた応答にはタイムスタンプが必要で、エンティティ検出やマスキングは含められません。

キーワードの指定は、名前、製品用語、専門語彙の認識を文脈から導きます。現行のバッチ文書では最大1,000件の用語を認め、各用語は50文字未満、かつ5単語以内とされています。広範で無関係な一覧ではなく、関連する綴りを提供してください。技術インタビューなら、登場しそうな製品名や略語を指定し、結果のタイムスタンプで確認します。キーワードは認識に方向付けを与えるものであり、録音に根拠がない語を挿入する指示ではありません。

読みやすく整える前に、文字起こしの目的を選びます。逐語記録は発話の文言を残し、文書化されたno-verbatimオプションは、フィラー、言いかけ、発話のつかえを除いて読みやすくします。動的な音声タグ付けは、笑い声や足音など、発話以外の音のイベントを識別できます。整えた文字起こしは字幕や閲覧に役立つ場合がありますが、繰り返し、言い直し、発話以外の音が重要な作業では、元の記録を黙って置き換えてはいけません。

メーカーは、エンティティ検出と試験的な文字起こし編集も文書化しています。開発元のインターフェースでは、文字起こし編集と、エンティティ検出、エンティティのマスキング、複数チャンネルの文字起こしを組み合わせることはできません。検出したエンティティは、文字起こし内の選択された情報について、構造化された位置を示します。任意のエンティティのマスキングは、検出したテキストを代替ラベルで隠します。エンティティ検出に依存し、有効時にはエンティティ一覧が返されません。マスキングは文字起こし中に行われ、汎用の置換マーカー、分類ラベル、番号付き分類ラベルを使います。自動マスキングでは機微情報を見落とすことがあるため、共有前にマスキング済みの文字起こしを確認してください。自然言語による編集は、元の結果と並べて編集後のテキストを返し、元の時刻情報と話者記録も利用可能なままにします。これらの成果物は区別して保持します。綴りの訂正や文の再整形は、音声と対応付けたり後続の抽出に使ったりする前に、改めて確認が必要な場合があります。これらの機能は文字起こしを処理するもので、重要な詳細がすべて正しく認識されたことを証明するものではありません。

文字起こしを仕上げるには、対応する音声に戻り、名前、数字、否定、話者の交代を確認します。文章の自然さだけで品質を判断せず、音量の小さい区間、声の重なり、言語の切り替わりに注意してください。聞き取れない部分をもっともらしい文で補うのではなく、不確かな文言を訂正用に残します。有用な結果は、用途に必要な時刻情報と話者情報を備えた、確認済みのテキスト記録です。その後、別の要約、翻訳、分析工程への入力として文字起こしを使えます。