OpenAI: GPT Transcribe

GPT Transcribeは、完成した音声ファイル、ストリーミングするファイルの文字起こし結果、Realtimeセッションでコミットした音声ターンに向けた、OpenAIの音声認識モデルです。任意のテキストの背景情報とともに音声を受け取り、認識したテキストを返します。メーカーは、専門用語、複数言語の録音、発話中の言語切り替えを含め、録音した発話を元の言語で正確に文字起こしする用途に位置付けています。有用な出力は、録音との対応を保つ文字起こし結果です。モデルが信頼できる予測を行える場合は、検出した言語のメタデータも含まれます。

完成した録音を準備する

OpenAIのファイルの文字起こしの流れは、最大25 MBのアップロードを受け付けます。現在のエンドポイントのリファレンスは、FLAC、MP3、MP4、MPEG、MPGA、M4A、OGG、WAV、WebMの入力形式を挙げています。また、適切なファイル名の拡張子とコンテンツタイプなど、形式を特定するのに十分なファイルのメタデータを推奨しています。大きな録音では、圧縮するか、25 MB以下のファイルに分割することをガイドは推奨しています。前後の発話を除くと認識の精度が下がる場合があるため、文の途中で切らないでください。分割した音声の順序を保ち、元の録音内での位置を保持します。

会議、インタビュー、録音したプレゼンテーションでは、実際の音声を提供し、話題と発話されそうな用語を示してください。有用な結果は、話し合いから推測した要約ではなく、認識された言葉です。返されたテキストとともに録音の識別子を保持し、名前、数字、不確かな語句を確認する人が、正しい原資料に戻れるようにしてください。文字起こし結果は、その後の別の要約、翻訳、編集作業の資料にできます。

背景、キーワードのヒント、想定する言語

メーカーは、三種類の手掛かりを分けています。プロンプトは、録音の話題や場面について自由な形式の背景情報を与えます。キーワードは、発話に含まれると想定する実際の単語や語句を指定します。languagesのリストは、想定する発話言語を示します。二言語を使う製品の話し合いでは、プロンプトに場面を記述し、関連する製品名をキーワードとして挙げ、想定する言語を提供してください。これらは認識のヒントであり、誰も発話していない語句を挿入する指示ではありません。

GPT Transcribeは、従来の単数形のlanguageフィールドではなく、複数形のlanguagesフィールドを使います。OpenAIは、両方を送信しないよう指示しています。ガイドは、対応するISO 639-1コード、一部のISO 639-3コード、中国語の地域別ロケールコードを受け付け、未対応の値や形式が不正な値は拒否されると説明しています。各キーワードは一行に収め、山括弧、キャリッジリターン、改行を含めないでください。不正なキーワードや長すぎるプロンプトにより、リクエスト全体が拒否される場合があります。関連する背景に絞り、ヒントのリストを文字起こし結果として扱わず、指定した名前が音声内で実際に発話されているかを確認してください。

JSON出力と検出した言語の予測

文書化されたファイルの結果は、文字起こしと検出した言語を含むJSONです。言語の予測はモデルの出力であり、提供した言語のヒントのコピーではありません。モデルが信頼できる予測を行えない場合、空の言語リストも有効な結果です。録音が無音だったことや、文字起こしに失敗したことを示すものではありません。後の処理でそれぞれの意味に沿って使えるよう、認識したテキストと言語のメタデータを分けて保持してください。

ファイルの文字起こし結果をストリーミングする

完成したファイルでは、処理中に文字起こしのテキストを順次出力できます。OpenAIは、途中のテキストのtranscript.text.deltaイベントと、ファイル全体の文字起こし結果のtranscript.text.doneイベントを文書化しています。最終イベントには、検出した言語も含まれます。これは、すでに提供した録音の出力をストリーミングするものです。長いアップロードの進行状況を表示するのに役立ち、最終イベントが、完了した結果として保持するテキストを確定します。

Realtimeセッションでコミットしたターン

GPT Transcribeには、WebSocketを使う専用のRealtimeの流れもあります。入力バッファに音声を追加した後、アプリケーションが音声ターンを明示的にコミットします。そのコミットしたチャンクの文字起こしが始まり、完了イベントの前に差分を出力する場合があります。検出した言語の情報も含まれます。このメーカーのセッションの流れでは、モデルが、前の文字起こし済みのターンを自動的に背景情報として使います。これは、マイク音声が届くたびにライブ字幕のテキストを連続して出力する流れとは別です。OpenAIは、その連続的な流れにGPT Live Transcribeという名称を使っています。

複数のターンでは、対応する文字起こし結果とともに入力項目の識別子を保持してください。OpenAIは、異なるターンの完了イベントが発話順に届くとは限らないと注意しています。会話を完了時刻だけで並べず、各最終結果をコミットした入力に対応付けてください。有用な成果物は、正しい最終項目から組み立てた、順序の整った文字起こし結果です。途中のテキストは、別の完了した発話ではなく、進行状況として扱います。

専用の出力と内容上の制限

この仕様は、字幕、タイムスタンプ、翻訳、話者ラベルについて、一律の契約を提供するものではありません。OpenAIの移行ガイドは、これらの専用機能を区別しています。ネイティブの字幕形式と単語の時刻情報には対応するモデルと形式が必要であり、話者ラベルにはGPT-4o Transcribe Diarizeを使います。GPT Transcribeのファイルの結果はJSONであり、SRT、VTT、詳細なタイムスタンプを含む応答をそのまま置き換えるものではありません。このモデルのモデルカードは、数値によるコンテキストや最大出力の枠を公開していないため、音声の文字起こしにチャットモデルのトークンウィンドウを仮定しないでください。

難しい用語、数字、アクセント、背景の雑音、言語の切り替えを録音に照らして確認してください。関連するヒントが、発話されていない用語を加えずに認識を改善したか、最終的な文字起こしに音声の末尾まで含まれるかを確認します。複数言語の結果では、翻訳版を準備する前に、発話された言葉を保持してください。これらの確認により、背景のヒント、検出した言語、認識した発話を明確に区別しながら、文字起こし結果を原資料として使えます。