Fish Audio: Transcribe 1 Pro

Transcribe 1 Proは、短いクリップ、複数話者の会話、長い録音に対応するFish Audioの音声認識モデルです。録音音声を受け取り、任意の時間情報や構造化された話者ターンとともに文字起こしを返します。特徴は、テキスト内で話者の切り替わりを示すことと、感情や発声イベントの手掛かりを付けることです。単純な単語列よりも、録音の会話構造を多く残せます。

インタビュー、会議、ポッドキャストでは、再び登場する話者が同じ応答内で一貫したラベルを保持できるよう、会話全体を1つのファイルにまとめてください。有用な確認用成果物は、元の録音に結び付き、ターンを分けて表示し、引用を確かめるタイムスタンプを使える文字起こしです。要約やアクションリストは、その後のアプリケーション段階です。発話の原本を比較可能なままにするため、文字起こしとは分けてください。

メーカーは最大60分の録音を受け付け、MP3、Opus、AACなどの圧縮音声で長いファイルを処理する方法を説明しています。対応形式には、WAV、MP3、M4AまたはMP4に格納されたAAC、FLAC、OpusまたはVorbisのOgg、WebM/Matroska、MOVがあります。動画ファイルでは最初の音声トラックを使用します。AIFF、CAF、WMA、AMR、AC-3、ヘッダーのない生PCMには非対応です。リクエストごとに音声ファイルを1つ入力します。録音全体の文字起こしが終わってから結果が届き、長い録音では数分かかる場合があります。約0.08秒より短いクリップは拒否されます。

メーカーの応答は、全文、秒単位の録音時間、segments配列を含みます。Proは、<|speaker:0|>や<|speaker:1|>などの行内ラベルで話者の切り替わりを示します。ラベルは次のマーカーまで、後続のテキストに適用されます。これは1つの応答内の識別子であり、確認済みの名前や、リクエストをまたいで照合できる身元ではありません。文字起こしに話者マーカーがなければ、ガイドは単一話者の結果として扱います。最初のマーカーより前のテキストは、捨てずに最初のターンとともに保持してください。

単語単位のタイムスタンプは任意です。メーカーのリクエストではignore_timestampsの既定値はtrueで、falseにすると、テキストと秒単位の開始・終了時刻を持つsegmentsを要求します。セグメントは通常1単語で、中国語や日本語では1文字または数文字です。セグメントのテキストは、句読点、話者マーカー、イベントの手掛かりを省き、口述された値を全文とは異なる形に正規化することがあります。単語セグメントの開始・終了時刻が同じになる場合もあります。segments配列が空の場合、タイムスタンプを要求していない、発話が見つからない、時間情報が一時的に利用できない、などが考えられます。読みやすい表現には全文、位置合わせにはsegmentsを使い、両方の文字列が1文字ずつ一致すると想定しないでください。

diarizeの既定値はautoです。タイムスタンプを要求し、diarizeがfalseでない場合、Proはspeaker_turnsも返します。各ターンは話者ラベル、テキスト、開始・終了時刻を持ち、行内の話者マーカーを除き、句読点と保持された手掛かりを残します。単語の時間情報がない場合、ターン時刻が概算で録音全体を覆うことがあり、隣り合うターンが連続することや、重ならないことは保証されません。diarizeを無効にすると構造化ターンリストはなくなりますが、全文の話者マーカーは残ります。既知の話者数、または最小・最大数を指定すると、長い録音の話者分離を可能な範囲で誘導できます。正確な人数と人数の上下限は併用できず、diarizeを無効にした場合は人数のヒントを使えません。

感情や発声イベントの手掛かりは、[laughter]のような角括弧付きテキストとして、認識された発話の横に現れます。これは音声からの推定であり、文字起こしの前にユーザーが追加する単語ではありません。Proのtag_audio_eventsの既定値はtrueです。無効にすると、時間情報は変えずに、全文とターンのテキストから手掛かりを除きます。独立した感情フィールドや固定の感情列挙はありません。発言の声の様子が重要なら注釈付きの文字起こしを残し、後続の成果物が発話の言葉だけを必要とするなら、手掛かりのない版を使ってください。

言語は自動検出されます。任意の小文字のISO 639-1ヒントは、翻訳を強制したり、Proの文字起こしを変えたりしません。言語を判断できない場合、返される言語コードは、音声に対して検証せずにヒントを反映することがあります。メーカーが報告するのは1言語であり、混合言語の録音内のすべての言語一覧ではありません。検索可能なアーカイブを準備する際は、特に会話の途中で言語が切り替わる場合、元の表現と言語メタデータを一緒に保持してください。

字幕では、1単語ごとに字幕を作らず、連続する時間付きの単語を読みやすいSRTやWebVTTのキューにまとめてください。発話のポーズに合わせてキューを分け、プレーヤーと視聴者に適した長さと表示時間を選びます。話者ターンの境界を使えば、異なる話者を別のキューにできます。時間情報が空でないか、キューの終了時刻が開始時刻より後になっているかを確認してください。字幕の書式、匿名話者ラベルに付ける名前、その後の要約は、文字起こし結果から作るアプリケーションの成果物です。

実用的な録音ワークフローでは、一般的な読みやすい文字起こし、注釈付きの会話ターン、時間付き字幕のどれが必要かを、文字起こし前に決めてください。音声識別子を結果とともに残し、句読点や手掛かりが重要なら返された全文を保持し、移動には構造化された時間フィールドを使います。Proの長時間録音・複数話者の機能は、一般的な短時間録音向けTranscribe 1モデルとは異なり、上限や制御を互換のものとして扱うべきではありません。