Meta: Muse Voice Transcribe 1.0

Muse Voice Transcribe 1.0は、音声の文字起こし、発話境界の検出、話者への発話の割り当てを行うMetaの音声認識モデルです。Muse Sparkモデルシリーズに属し、認識、話者分離、発話の終端検出をモデル内で組み合わせます。出力は認識したテキストで、選択モードで利用できる時間・話者情報を伴います。

モデルは80ミリ秒のチャンクで音声を処理し、聴取を続けるかテキストを出すかを決めます。適応的な遅延により、語の判定が難しい場合には追加音声を待てます。音声の到着中に部分的なテキストを出し、その後に完成した文字起こし結果を返します。途中の仮説と、完了した発話ターンを、聴取の異なる段階として扱ってください。

モードは三つあります。既定のPush-to-talkは、音声クエリや短い口述など、制御された一つの発話向けです。Endpointingは発話ターンの境界をモデルが検出し、検出区間ごとに完成した文字起こしを一つ返します。Diarizationは認識した発話に話者ラベルを割り当て、最速の音声コマンドの応答よりも、複数話者の録音を対象とします。

録音クリップでは、ファイル文字起こしの流れが1リクエストで完全な文字起こしを返します。既定の結果は文字起こしと音声時間を含むJSONで、endpointingとdiarizationモードではturns配列を伴います。各ターンには識別子、ミリ秒単位の開始・終了、認識したテキストを含められます。話者ラベルはdiarizationモードに含まれます。Push-to-talkは、その配列内の検出ターンなしで完全な文字起こしを返します。メーカーの録音ファイル用インターフェースは、プレーンテキストや文字起こしイベントのストリームも返せます。プレーンテキストは検出ターンを別々の行にし、話者ラベルを含むことがあります。イベントストリームは最後のイベントで終わり、別のJSON要約はありません。deltaの部分モードは差分テキストを返し、最終文字起こしイベントには文言全体が入ります。

モノラル、16ビット整数PCM、16または24 kHzの音声を含むRIFF/WAVEファイルを準備してください。モデル本来のレートは24 kHzで、インターフェースは16 kHzも受け付けます。ほかのコンテナやエンコーディングは、録音を渡す前に対応するWAV形式へ変換します。ファイル文字起こしのプロファイルは最大10分の音声と、合計32 MBまでのリクエスト本体を認めます。後で聴いて確認できるよう、元録音と変換したものを、返された文字起こしに結び付けて保管してください。

ライブ音声の流れは、符号付き16ビット、リトルエンディアン、モノラルの生PCMを使い、16または24 kHzの音声をほぼ実時間の速度で送ります。文書化されたセッション枠は60分です。Metaはモデル本来の音声入力が1時間を超えると説明していますが、文書化されたファイルとライブセッションの上限は、別々のインターフェースの境界です。音声が録音済みか、まだ取得中かによって流れを選び、別セッションの結果はそれぞれの入力区間と関連付けてください。

Muse Voice Transcribeは70を超える言語で学習されていますが、文書化された認識インターフェースは25の対応言語を列挙しています。英語、フランス語、ドイツ語、スペイン語、アラビア語、標準中国語、ヒンディー語、日本語、韓国語、イタリア語、ポルトガル語などです。文の中や文同士の間で言語が切り替わるコードスイッチングも認識します。言語ヒントには予想する言語を指定できますが、認識を誘導するもので、文字起こしを一つの言語に強制するものではありません。

語彙ヒントは、録音で重要な製品用語、略語、名前、地名に役立ちます。実際に聞こえると予想する単語と綴りを提供してください。キーワード一覧は認識を誘導しますが、正確な綴りを保証しないため、重要な語は音声と照合します。言語ヒントとキーワードは文字起こし開始時に選びます。実行中のセッションで意味を変えず、その録音に合うものを保持してください。

モデルは20人を超える話者の会話で話者分離に対応します。AやBなどのラベルは、一つの文字起こし内で話者を識別します。確認済みの名前ではなく、別のセッションの同じラベルが同一人物を指すことも証明しません。独自の会議分析では、話者付きの発話ターンを求め、録音を保存し、周辺の流れで実際の参加者名を割り当てる前に、ラベルで議論を整理できます。

ライブの途中の文字起こしは、音声が増えると変わることがあります。累積モードでは、各部分結果は前の仮説に重ねて加えるのではなく、それを置き換えます。発話終端の検出は境界を示し、完了ターンの結果が最終テキストを返します。最後の部分結果と異なる場合があります。重なるターンはターン識別子に結び付け、完成とみなす前に完了結果を受け取ってください。ライブ入力が終わったら入力終了を通知し、メーカー側が保留結果をすべて送出し終えるまで受信を続けます。すぐに接続を閉じると、それらの結果を失う場合があります。発話境界の検出はターンを終えるもので、セッション全体を終えるものではありません。

時間情報はターン単位です。このプロファイルは単語単位のタイムスタンプや信頼度スコアを返さず、音声処理の進捗も特定の単語の時刻ではありません。音イベント検出、感情検出、文字起こしの整形も、文書化された出力プロファイルの対象外です。返されたターン区間は話者のタイムラインや区間単位の確認に使い、別の編集段階で読みやすいメモを作る場合にも認識語を保持してください。

完成した口述文、音声クエリの文字起こし、話者付きの会話、発話のタイムラインなどを成果物にできます。名前、数値、専門用語を元録音と比較し、モードと時間の対応を保持し、完全なターンを確認できる状態にしてください。文字起こしが示すのは音声から認識した内容です。音声の質問への回答、翻訳、議事メモへの変換は、後続のアプリケーション段階に属します。