Llama 3.1 8B Instructは、多言語対話と指示に従うアシスタント向けの、Metaの80億パラメータのテキストモデルです。文章での会話と原資料を受け取り、テキストまたはコードを生成します。8BサイズのInstruct版であり、事前学習済みのベースや、ファミリー内の70B・405Bモデルとは別のものです。
アーキテクチャ、コンテキスト、言語
モデルは、Grouped-Query Attentionを備えた自己回帰Transformerアーキテクチャを使います。指示調整済みのファミリーは、教師ありファインチューニングと人間のフィードバックによる強化学習を使い、会話の応答を調整しています。メーカーはこのテキストリリースに128kのコンテキストを記載しています。これは、後のLlama 4モデルにある視覚や長いコンテキストの仕様ではありません。
公式に対応する8言語は、英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語です。事前学習データはより広い言語群にまたがりますが、それはカードで明示的に対応する言語とは異なります。多言語の結果では、最終的な言語と、変更すべきでない名前、変数の識別子、用語を指定してください。
このファミリーは約15兆トークンで事前学習され、データの期限は2023年12月です。ファインチューニングには、指示資料と2,500万件を超える合成例が含まれます。これはモデルの学習を説明するもので、新しい質問が来た際に非公開ナレッジベースや最新情報へアクセスできることを示すものではありません。
具体的なテキスト操作
サポート向けの依頼では、ユーザーのメッセージと関連する参考文を提示し、回答と、それを裏付ける条件を求められます。簡潔なレコードでは、問題、すでに提供された情報、次に必要な手順を分けられます。アプリがその結果を処理する場合は、項目名と欠損値の扱いを定義してください。
要約では、実際の文章ややり取りを提示し、対象読者、長さ、保持する事実を指定してください。関係のない資料を方向性なく要約する代わりに、1つの話題に関連する決定や未解決の質問を求めます。後続の依頼では、同じ原資料の事実を保ちながら、返信を短くしたり、ある条件をより明確に説明したりできます。
編集では、読者と語調を指定し、変更してはならない意味を明示してください。実用的なタスクとして、より明確なメッセージに短い変更一覧を添えるよう依頼したり、直接使う場合は修正済みのメッセージだけを求めたりできます。分類タスクでは、ラベル名だけでルールを定義しようとせず、使用できるラベルと、それらの違いを提示する必要があります。
コードと例の生成
文書化された出力にはコードも含まれます。関数を依頼する前に、言語、必要な入力、期待する結果を提示してください。解説では、既存の関数と具体的な入力を渡し、どの手順が戻り値を決めるかを尋ねます。修正では、観察された不具合と意図する動作を含め、互換性を保つ必要のあるインターフェースを保持してください。
有用な出力では、提案するコード、その前提、入力例を分けられます。実際のコンパイル、実行、リポジトリへの変更は、アプリまたは開発者が行います。書かれたソースコードは確認するための成果物であり、モデルが返したというだけで外部操作が完了したことにはなりません。
このファミリーは、生成された出力を合成例や蒸留に使うことにも対応しています。明確に定めたテキストの依頼では、提示したルールに従い、指定の形式でバリエーションを生成できます。各例を確認できるよう、ルールとラベルを保持してください。生成された例だけでは、学習データセットの正確性は独立に確認されません。
会話のロールとツール使用
モデルカードは、システムメッセージとユーザーメッセージを分けたチャットテンプレートを示しています。システムコンテキストでアシスタントの役割と応答要件を定義し、質問と原資料をタスクとして渡してください。後続の質問や、結果を変える新たな根拠を提示する場合は、関連する過去のメッセージを保持します。
Llama 3.1は、複数のツール使用形式を文書化しています。アプリが関数を説明し、モデルが呼び出し案と引数を生成し、アプリが実行してツールのロールで結果を返します。その後の回答は、返された情報を使えます。会話を通じて、元の操作と結果のつながりを保ってください。
たとえば、検索で文章に欠けている現在の参照値を返したり、計算ツールで解説に必要な数値結果を提供したりできます。ツールを使うアシスタントには、環境からそれらの操作を提供する必要があります。モデルのテキスト生成動作そのものが、外部の出典への接続を作成したり、副作用を伴う操作を完了したりするわけではありません。
実用上の範囲
メーカーの128kというコンテキスト表記は、正確な8B Instructリリースと、適用される構成に結び付けて保持する必要があります。256トークンの生成例は利用上の選択にすぎず、参照した資料では、別の固定された最大回答容量は示されていません。8Bサイズに、ほかのモデルのパラメータ数や、別のファミリーの名称付き推論制御を引き継がせるべきではありません。
これはテキスト専用モデルです。視覚入力、音声理解、音声生成には、別途仕様を定めたコンポーネントが必要です。資料を渡す前に、簡潔な返信、抽出レコード、修正文、解説、コード案など、最終成果物を定義してください。その成果物の意味と形式を確認するために必要な原資料の情報を保持します。
", "aboutText": "Llama 3.1 8B Instructは、多言語対話と指示に従うアシスタント向けの、Metaの80億パラメータのテキストモデルです。文章での会話と原資料を受け取り、テキストまたはコードを生成します。8BサイズのInstruct版であり、事前学習済みのベースや、ファミリー内の70B・405Bモデルとは別のものです。\n\nアーキテクチャ、コンテキスト、言語\n\nモデルは、Grouped-Query Attentionを備えた自己回帰Transformerアーキテクチャを使います。指示調整済みのファミリーは、教師ありファインチューニングと人間のフィードバックによる強化学習を使い、会話の応答を調整しています。メーカーはこのテキストリリースに128kのコンテキストを記載しています。これは、後のLlama 4モデルにある視覚や長いコンテキストの仕様ではありません。\n\n公式に対応する8言語は、英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語です。事前学習データはより広い言語群にまたがりますが、それはカードで明示的に対応する言語とは異なります。多言語の結果では、最終的な言語と、変更すべきでない名前、変数の識別子、用語を指定してください。\n\nこのファミリーは約15兆トークンで事前学習され、データの期限は2023年12月です。ファインチューニングには、指示資料と2,500万件を超える合成例が含まれます。これはモデルの学習を説明するもので、新しい質問が来た際に非公開ナレッジベースや最新情報へアクセスできることを示すものではありません。\n\n具体的なテキスト操作\n\nサポート向けの依頼では、ユーザーのメッセージと関連する参考文を提示し、回答と、それを裏付ける条件を求められます。簡潔なレコードでは、問題、すでに提供された情報、次に必要な手順を分けられます。アプリがその結果を処理する場合は、項目名と欠損値の扱いを定義してください。\n\n要約では、実際の文章ややり取りを提示し、対象読者、長さ、保持する事実を指定してください。関係のない資料を方向性なく要約する代わりに、1つの話題に関連する決定や未解決の質問を求めます。後続の依頼では、同じ原資料の事実を保ちながら、返信を短くしたり、ある条件をより明確に説明したりできます。\n\n編集では、読者と語調を指定し、変更してはならない意味を明示してください。実用的なタスクとして、より明確なメッセージに短い変更一覧を添えるよう依頼したり、直接使う場合は修正済みのメッセージだけを求めたりできます。分類タスクでは、ラベル名だけでルールを定義しようとせず、使用できるラベルと、それらの違いを提示する必要があります。\n\nコードと例の生成\n\n文書化された出力にはコードも含まれます。関数を依頼する前に、言語、必要な入力、期待する結果を提示してください。解説では、既存の関数と具体的な入力を渡し、どの手順が戻り値を決めるかを尋ねます。修正では、観察された不具合と意図する動作を含め、互換性を保つ必要のあるインターフェースを保持してください。\n\n有用な出力では、提案するコード、その前提、入力例を分けられます。実際のコンパイル、実行、リポジトリへの変更は、アプリまたは開発者が行います。書かれたソースコードは確認するための成果物であり、モデルが返したというだけで外部操作が完了したことにはなりません。\n\nこのファミリーは、生成された出力を合成例や蒸留に使うことにも対応しています。明確に定めたテキストの依頼では、提示したルールに従い、指定の形式でバリエーションを生成できます。各例を確認できるよう、ルールとラベルを保持してください。生成された例だけでは、学習データセットの正確性は独立に確認されません。\n\n会話のロールとツール使用\n\nモデルカードは、システムメッセージとユーザーメッセージを分けたチャットテンプレートを示しています。システムコンテキストでアシスタントの役割と応答要件を定義し、質問と原資料をタスクとして渡してください。後続の質問や、結果を変える新たな根拠を提示する場合は、関連する過去のメッセージを保持します。\n\nLlama 3.1は、複数のツール使用形式を文書化しています。アプリが関数を説明し、モデルが呼び出し案と引数を生成し、アプリが実行してツールのロールで結果を返します。その後の回答は、返された情報を使えます。会話を通じて、元の操作と結果のつながりを保ってください。\n\nたとえば、検索で文章に欠けている現在の参照値を返したり、計算ツールで解説に必要な数値結果を提供したりできます。ツールを使うアシスタントには、環境からそれらの操作を提供する必要があります。モデルのテキスト生成動作そのものが、外部の出典への接続を作成したり、副作用を伴う操作を完了したりするわけではありません。\n\n実用上の範囲\n\nメーカーの128kというコンテキスト表記は、正確な8B Instructリリースと、適用される構成に結び付けて保持する必要があります。256トークンの生成例は利用上の選択にすぎず、参照した資料では、別の固定された最大回答容量は示されていません。8Bサイズに、ほかのモデルのパラメータ数や、別のファミリーの名称付き推論制御を引き継がせるべきではありません。\n\nこれはテキスト専用モデルです。視覚入力、音声理解、音声生成には、別途仕様を定めたコンポーネントが必要です。資料を渡す前に、簡潔な返信、抽出レコード、修正文、解説、コード案など、最終成果物を定義してください。その成果物の意味と形式を確認するために必要な原資料の情報を保持します。", "editorialOverlay": { "copy_fields": { "practical_html": "英語の技術例
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instructは、多言語対話、要約、提示された資料に基づく回答向けの、Metaの小型テキスト指示モデルです。パラメータ規模は8Bで、メーカーが示す128kのコンテキスト、Grouped-Query Attention、文書化されたツール使用形式を備え、テキストまたはコードを返します。
この説明はモデルの機能を紹介するものです。Ailootで利用できる入力、出力、オプションは、選択したメソッドごとに以下に記載されています。
Llama 3.1 8B Instructは、多言語対話と指示に従うアシスタント向けの、Metaの80億パラメータのテキストモデルです。文章での会話と原資料を受け取り、テキストまたはコードを生成します。8BサイズのInstruct版であり、事前学習済みのベースや、ファミリー内の70B・405Bモデルとは別のものです。
アーキテクチャ、コンテキスト、言語
モデルは、Grouped-Query Attentionを備えた自己回帰Transformerアーキテクチャを使います。指示調整済みのファミリーは、教師ありファインチューニングと人間のフィードバックによる強化学習を使い、会話の応答を調整しています。メーカーはこのテキストリリースに128kのコンテキストを記載しています。これは、後のLlama 4モデルにある視覚や長いコンテキストの仕様ではありません。
公式に対応する8言語は、英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語です。事前学習データはより広い言語群にまたがりますが、それはカードで明示的に対応する言語とは異なります。多言語の結果では、最終的な言語と、変更すべきでない名前、変数の識別子、用語を指定してください。
このファミリーは約15兆トークンで事前学習され、データの期限は2023年12月です。ファインチューニングには、指示資料と2,500万件を超える合成例が含まれます。これはモデルの学習を説明するもので、新しい質問が来た際に非公開ナレッジベースや最新情報へアクセスできることを示すものではありません。
具体的なテキスト操作
サポート向けの依頼では、ユーザーのメッセージと関連する参考文を提示し、回答と、それを裏付ける条件を求められます。簡潔なレコードでは、問題、すでに提供された情報、次に必要な手順を分けられます。アプリがその結果を処理する場合は、項目名と欠損値の扱いを定義してください。
要約では、実際の文章ややり取りを提示し、対象読者、長さ、保持する事実を指定してください。関係のない資料を方向性なく要約する代わりに、1つの話題に関連する決定や未解決の質問を求めます。後続の依頼では、同じ原資料の事実を保ちながら、返信を短くしたり、ある条件をより明確に説明したりできます。
編集では、読者と語調を指定し、変更してはならない意味を明示してください。実用的なタスクとして、より明確なメッセージに短い変更一覧を添えるよう依頼したり、直接使う場合は修正済みのメッセージだけを求めたりできます。分類タスクでは、ラベル名だけでルールを定義しようとせず、使用できるラベルと、それらの違いを提示する必要があります。
コードと例の生成
文書化された出力にはコードも含まれます。関数を依頼する前に、言語、必要な入力、期待する結果を提示してください。解説では、既存の関数と具体的な入力を渡し、どの手順が戻り値を決めるかを尋ねます。修正では、観察された不具合と意図する動作を含め、互換性を保つ必要のあるインターフェースを保持してください。
有用な出力では、提案するコード、その前提、入力例を分けられます。実際のコンパイル、実行、リポジトリへの変更は、アプリまたは開発者が行います。書かれたソースコードは確認するための成果物であり、モデルが返したというだけで外部操作が完了したことにはなりません。
このファミリーは、生成された出力を合成例や蒸留に使うことにも対応しています。明確に定めたテキストの依頼では、提示したルールに従い、指定の形式でバリエーションを生成できます。各例を確認できるよう、ルールとラベルを保持してください。生成された例だけでは、学習データセットの正確性は独立に確認されません。
会話のロールとツール使用
モデルカードは、システムメッセージとユーザーメッセージを分けたチャットテンプレートを示しています。システムコンテキストでアシスタントの役割と応答要件を定義し、質問と原資料をタスクとして渡してください。後続の質問や、結果を変える新たな根拠を提示する場合は、関連する過去のメッセージを保持します。
Llama 3.1は、複数のツール使用形式を文書化しています。アプリが関数を説明し、モデルが呼び出し案と引数を生成し、アプリが実行してツールのロールで結果を返します。その後の回答は、返された情報を使えます。会話を通じて、元の操作と結果のつながりを保ってください。
たとえば、検索で文章に欠けている現在の参照値を返したり、計算ツールで解説に必要な数値結果を提供したりできます。ツールを使うアシスタントには、環境からそれらの操作を提供する必要があります。モデルのテキスト生成動作そのものが、外部の出典への接続を作成したり、副作用を伴う操作を完了したりするわけではありません。
実用上の範囲
メーカーの128kというコンテキスト表記は、正確な8B Instructリリースと、適用される構成に結び付けて保持する必要があります。256トークンの生成例は利用上の選択にすぎず、参照した資料では、別の固定された最大回答容量は示されていません。8Bサイズに、ほかのモデルのパラメータ数や、別のファミリーの名称付き推論制御を引き継がせるべきではありません。
これはテキスト専用モデルです。視覚入力、音声理解、音声生成には、別途仕様を定めたコンポーネントが必要です。資料を渡す前に、簡潔な返信、抽出レコード、修正文、解説、コード案など、最終成果物を定義してください。その成果物の意味と形式を確認するために必要な原資料の情報を保持します。
POST /v1/chat/completionstexttext| フィールド | 種類 | 要件 | 値と制限 | デフォルト |
|---|---|---|---|---|
フィールドmodel | 種類string | 要件必須 | 値と制限 meta-llama/llama-3.1-8b-instruct | デフォルト— |
フィールドmessages | 種類message[] | 要件必須 | 値と制限 最小項目数: 1 | デフォルト— |
フィールドmessages[].role | 種類string | 要件必須 | 値と制限 例：system, user, assistant, tool, function 条件: これらのロールはソースコードの互換型で明示されています。正確なロールの集合はモデルごとに異なります。 モデルによる | デフォルト— |
フィールドmessages[].content | 種類string|content_part[]|null | 要件任意 | 値と制限 | デフォルト— |
フィールドmessages[].tool_calls | 種類tool_call[] | 要件任意 | 値と制限 | デフォルト— |
フィールドmessages[].tool_call_id | 種類string | 要件任意 | 値と制限 適用条件: role=tool。実際に返されたIDを使ってください | デフォルト— |
フィールドmessages[].name | 種類string | 要件任意 | 値と制限 | デフォルト— |
フィールドmessages[].reasoning_content | 種類string | 要件任意 | 値と制限 適用条件: このモデルが使用する場合は、実際に返された推論をそのまま次のリクエストへ戻してください | デフォルト— |
フィールドmessages[].reasoning_details | 種類object|array | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドmax_tokens | 種類integer | 要件任意 | 値と制限 最小値: 1 モデルによる | デフォルト— |
フィールドmax_completion_tokens | 種類integer | 要件任意 | 値と制限 最小値: 1 モデルによる | デフォルト— |
フィールドstream | 種類boolean | 要件任意 | 値と制限 | デフォルトfalse |
フィールドstream_options.include_usage | 種類boolean | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドtemperature | 種類number | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドtop_p | 種類number | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドstop | 種類string|string[] | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドtools | 種類function_tool[] | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドtools[].type | 種類string | 要件任意 | 値と制限 function モデルによる | デフォルト— |
フィールドtools[].function.name | 種類string | 要件必須 | 値と制限 適用条件: 関数ツールの指定あり | デフォルト— |
フィールドtools[].function.description | 種類string | 要件任意 | 値と制限 | デフォルト— |
フィールドtools[].function.parameters | 種類JSON_schema | 要件任意 | 値と制限 | デフォルト— |
フィールドtool_choice | 種類string|object | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドparallel_tool_calls | 種類boolean | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドresponse_format | 種類object | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドreasoning_effort | 種類string | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドreasoning | 種類object | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドservice_tier | 種類string | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドinstructions | 種類string | 要件任意 | 値と制限 互換性用のフィールド | デフォルト— |
フィールドfunctions | 種類function[] | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドfunction_call | 種類string|object | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドprompt_cache_options | 種類object | 要件任意 | 値と制限 モデルによる | デフォルト— |
フィールドmodalities | 種類string[] | 要件任意 | 値と制限 text | デフォルト— |
フィールドprovider | 種類object | 要件任意 | 値と制限 条件: このUltraテキストルートではprovider.optionsは拒否されます | デフォルト— |
フィールドcache_control.ttl | 種類string | 要件任意 | 値と制限 条件: 実際のプロンプトキャッシュの指定箇所では1hは拒否されます | デフォルト— |
テキスト · UTF8テキスト
messages[].content
| パラメータ | 仕様 |
|---|---|
パラメータcontent_type | 仕様application/json |
パラメータrequired | 仕様model, messages |
パラメータmaterial_types | 仕様text |
パラメータmessages | 仕様role/content形式のメッセージ配列 |
パラメータfile_material | 仕様実際のUTF-8文書をテキストとしてそのまま挿入します。ファイルIDは推定しません |
パラメータoptional_controls | 仕様stream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
パラメータcontrol_scope | 仕様モデル固有。ユーザーの関数ツールとホスト側のツールは異なります |
パラメータoutput_modalities | 仕様text |
パラメータhosted_operations | 仕様false |
パラメータmultimodal_input_binding | 仕様null |
ライフサイクル: synchronous_or_streamed
正確なモデルIDをmessagesとともに送ってください。
コンテキスト長は出力上限ではありません。
テキストファイルはテキストをそのまま提供できます。画像／音声／ファイルオブジェクトの入力には正確なバインディングが必要です。
料金情報はリクエストの機能を追加しません。対応するパラメーターは選択したメソッドに記載されています。
各料金を表示された条件と照合してください。選択肢となる設定の各組には、いずれか1つの料金を適用します。
| 設定 | 料金表 | コンテキストトークン数が次の値を超える場合 | コンテキストトークン数が次の値以下の場合 | 料金 |
|---|---|---|---|---|
| 設定トークンの基本単価 | 料金表基本料金 | コンテキストトークン数が次の値を超える場合— | コンテキストトークン数が次の値以下の場合上限なし | 料金 入力 · 入力トークン $0.00044 / 1K トークン 出力 · 出力トークン $0.00044 / 1K トークン 入力 · キャッシュ読み取り $0.00044 / 1K トークン 入力 · キャッシュ書き込み — / 1K トークン 入力 · キャッシュ書き込み、1時間 — / 1K トークン |
| 設定リクエスト長に応じた料金区分 1 | 料金表— | コンテキストトークン数が次の値を超える場合0 | コンテキストトークン数が次の値以下の場合上限なし | 料金 入力 · 入力トークン $0.00044 / 1K トークン 出力 · 出力トークン $0.00044 / 1K トークン 入力 · キャッシュ読み取り $0.00044 / 1K トークン 入力 · キャッシュ書き込み — / 1K トークン 入力 · キャッシュ書き込み、1時間 — / 1K トークン |
Ailootはリクエスト前に見積額を確保します。結果の取得後、実測使用量に基づいて最終料金を精算します。ストリーミング時の精算には最終の使用量記録を使用します。金額の確保と精算の仕組み →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njsonまたはSSE
返された完全なレスポンス、ファイル、コンテンツ部分をすべて保存してください。
すべての選択肢と、その内容・ツール呼び出し・推論を保持してください。SSEでは選択肢／ツールのインデックスごとに差分を組み立て、最終的な終了理由と使用量を残します。
リクエスト／応答IDとヘッダーを保持してください。テキストジョブを取得する汎用URLは提供されません。
| フィールド | 種類 |
|---|---|
フィールドchoices[].index | 種類integer |
フィールドchoices[].message.content | 種類string|null |
フィールドchoices[].message.tool_calls | 種類tool_call[] |
フィールドchoices[].message.reasoning_content | 種類string |
フィールドchoices[].message.reasoning_details | 種類object|array |
フィールドchoices[].finish_reason | 種類string|null |
フィールドusage | 種類object |
| レスポンス | 条件 | 次の手順 |
|---|---|---|
レスポンス400 · invalid_request_error | 条件必須フィールド、素材の表現形式、またはパラメーター値が不正です | 次の手順新しい生成リクエストを送る前に、指定されたフィールドを修正してください。 |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
上記に表示されたメソッドパスを使用してください。
meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instructは、多言語対話、要約、提示された資料に基づく回答向けの、Metaの小型テキスト指示モデルです。パラメータ規模は8Bで、メーカーが示す128kのコンテキスト、Grouped-Query Attention、文書化されたツール使用形式を備え、テキストまたはコードを返します。
この説明はモデルの機能を紹介するものです。Ailootで利用できる入力、出力、オプションは、選択したメソッドごとに以下に記載されています。
Llama 3.1 8B Instructは、多言語対話と指示に従うアシスタント向けの、Metaの80億パラメータのテキストモデルです。文章での会話と原資料を受け取り、テキストまたはコードを生成します。8BサイズのInstruct版であり、事前学習済みのベースや、ファミリー内の70B・405Bモデルとは別のものです。
アーキテクチャ、コンテキスト、言語
モデルは、Grouped-Query Attentionを備えた自己回帰Transformerアーキテクチャを使います。指示調整済みのファミリーは、教師ありファインチューニングと人間のフィードバックによる強化学習を使い、会話の応答を調整しています。メーカーはこのテキストリリースに128kのコンテキストを記載しています。これは、後のLlama 4モデルにある視覚や長いコンテキストの仕様ではありません。
公式に対応する8言語は、英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語です。事前学習データはより広い言語群にまたがりますが、それはカードで明示的に対応する言語とは異なります。多言語の結果では、最終的な言語と、変更すべきでない名前、変数の識別子、用語を指定してください。
このファミリーは約15兆トークンで事前学習され、データの期限は2023年12月です。ファインチューニングには、指示資料と2,500万件を超える合成例が含まれます。これはモデルの学習を説明するもので、新しい質問が来た際に非公開ナレッジベースや最新情報へアクセスできることを示すものではありません。
具体的なテキスト操作
サポート向けの依頼では、ユーザーのメッセージと関連する参考文を提示し、回答と、それを裏付ける条件を求められます。簡潔なレコードでは、問題、すでに提供された情報、次に必要な手順を分けられます。アプリがその結果を処理する場合は、項目名と欠損値の扱いを定義してください。
要約では、実際の文章ややり取りを提示し、対象読者、長さ、保持する事実を指定してください。関係のない資料を方向性なく要約する代わりに、1つの話題に関連する決定や未解決の質問を求めます。後続の依頼では、同じ原資料の事実を保ちながら、返信を短くしたり、ある条件をより明確に説明したりできます。
編集では、読者と語調を指定し、変更してはならない意味を明示してください。実用的なタスクとして、より明確なメッセージに短い変更一覧を添えるよう依頼したり、直接使う場合は修正済みのメッセージだけを求めたりできます。分類タスクでは、ラベル名だけでルールを定義しようとせず、使用できるラベルと、それらの違いを提示する必要があります。
コードと例の生成
文書化された出力にはコードも含まれます。関数を依頼する前に、言語、必要な入力、期待する結果を提示してください。解説では、既存の関数と具体的な入力を渡し、どの手順が戻り値を決めるかを尋ねます。修正では、観察された不具合と意図する動作を含め、互換性を保つ必要のあるインターフェースを保持してください。
有用な出力では、提案するコード、その前提、入力例を分けられます。実際のコンパイル、実行、リポジトリへの変更は、アプリまたは開発者が行います。書かれたソースコードは確認するための成果物であり、モデルが返したというだけで外部操作が完了したことにはなりません。
このファミリーは、生成された出力を合成例や蒸留に使うことにも対応しています。明確に定めたテキストの依頼では、提示したルールに従い、指定の形式でバリエーションを生成できます。各例を確認できるよう、ルールとラベルを保持してください。生成された例だけでは、学習データセットの正確性は独立に確認されません。
会話のロールとツール使用
モデルカードは、システムメッセージとユーザーメッセージを分けたチャットテンプレートを示しています。システムコンテキストでアシスタントの役割と応答要件を定義し、質問と原資料をタスクとして渡してください。後続の質問や、結果を変える新たな根拠を提示する場合は、関連する過去のメッセージを保持します。
Llama 3.1は、複数のツール使用形式を文書化しています。アプリが関数を説明し、モデルが呼び出し案と引数を生成し、アプリが実行してツールのロールで結果を返します。その後の回答は、返された情報を使えます。会話を通じて、元の操作と結果のつながりを保ってください。
たとえば、検索で文章に欠けている現在の参照値を返したり、計算ツールで解説に必要な数値結果を提供したりできます。ツールを使うアシスタントには、環境からそれらの操作を提供する必要があります。モデルのテキスト生成動作そのものが、外部の出典への接続を作成したり、副作用を伴う操作を完了したりするわけではありません。
実用上の範囲
メーカーの128kというコンテキスト表記は、正確な8B Instructリリースと、適用される構成に結び付けて保持する必要があります。256トークンの生成例は利用上の選択にすぎず、参照した資料では、別の固定された最大回答容量は示されていません。8Bサイズに、ほかのモデルのパラメータ数や、別のファミリーの名称付き推論制御を引き継がせるべきではありません。
これはテキスト専用モデルです。視覚入力、音声理解、音声生成には、別途仕様を定めたコンポーネントが必要です。資料を渡す前に、簡潔な返信、抽出レコード、修正文、解説、コード案など、最終成果物を定義してください。その成果物の意味と形式を確認するために必要な原資料の情報を保持します。
POST /v1/messagestextjson, sse| フィールド | 種類 | 要件 | 値と制限 | デフォルト |
|---|---|---|---|---|
フィールドmodel | 種類string | 要件必須 | 値と制限 meta-llama/llama-3.1-8b-instruct | デフォルト— |
フィールドmessages | 種類message[] | 要件必須 | 値と制限 | デフォルト— |
フィールドmessages[].role | 種類string | 要件必須 | 値と制限 user, assistant | デフォルト— |
フィールドmessages[].content | 種類string | 要件必須 | 値と制限 | デフォルト— |
フィールドmax_tokens | 種類integer | 要件必須 | 値と制限 | デフォルト— |
フィールドstream | 種類boolean | 要件任意 | 値と制限 | デフォルトfalse |
テキスト · UTF-8テキスト
messages[].contentの文字列
| パラメータ | 仕様 |
|---|---|
パラメータcontent_type | 仕様application/json |
パラメータrequired | 仕様model, messages, max_tokens |
パラメータoptional_controls | 仕様stream |
パラメータmaterial_types | 仕様text |
パラメータtext_file_material | 仕様実際のUTF-8文書を読み、その本文を指定された入力またはメッセージ内容の文字列に入れてください。 |
ライフサイクル: synchronous_or_streamed
料金情報はリクエストの機能を追加しません。対応するパラメーターは選択したメソッドに記載されています。
各料金を表示された条件と照合してください。選択肢となる設定の各組には、いずれか1つの料金を適用します。
| 設定 | 料金表 | コンテキストトークン数が次の値を超える場合 | コンテキストトークン数が次の値以下の場合 | 料金 |
|---|---|---|---|---|
| 設定トークンの基本単価 | 料金表基本料金 | コンテキストトークン数が次の値を超える場合— | コンテキストトークン数が次の値以下の場合上限なし | 料金 入力 · 入力トークン $0.00044 / 1K トークン 出力 · 出力トークン $0.00044 / 1K トークン 入力 · キャッシュ読み取り $0.00044 / 1K トークン 入力 · キャッシュ書き込み — / 1K トークン 入力 · キャッシュ書き込み、1時間 — / 1K トークン |
| 設定リクエスト長に応じた料金区分 1 | 料金表— | コンテキストトークン数が次の値を超える場合0 | コンテキストトークン数が次の値以下の場合上限なし | 料金 入力 · 入力トークン $0.00044 / 1K トークン 出力 · 出力トークン $0.00044 / 1K トークン 入力 · キャッシュ読み取り $0.00044 / 1K トークン 入力 · キャッシュ書き込み — / 1K トークン 入力 · キャッシュ書き込み、1時間 — / 1K トークン |
Ailootはリクエスト前に見積額を確保します。結果の取得後、実測使用量に基づいて最終料金を精算します。ストリーミング時の精算には最終の使用量記録を使用します。金額の確保と精算の仕組み →
{\n "model": "meta-llama/llama-3.1-8b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSONまたはSSE
返された完全なレスポンス、ファイル、コンテンツ部分をすべて保存してください。
すべてのコンテンツブロック、思考署名、実際のツール利用IDを保持してください。SSEのすべてのブロック差分を組み立てます。最初のテキストブロックだけでは完全な出力になりません。
リクエスト／応答IDとヘッダーを保持してください。テキストジョブを取得する汎用URLは提供されません。
| フィールド | 種類 |
|---|---|
フィールドid | 種類string |
フィールドmodel | 種類string |
フィールドcontent[] | 種類text|thinking|tool_use|other content block |
フィールドstop_reason | 種類string|null |
フィールドusage | 種類object |
| レスポンス | 条件 | 次の手順 |
|---|---|---|
レスポンス400 · invalid_request_error | 条件必須フィールド、素材の表現形式、またはパラメーター値が不正です | 次の手順新しい生成リクエストを送る前に、指定されたフィールドを修正してください。 |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
上記に表示されたメソッドパスを使用してください。
英語の技術例
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.