OpenAI: gpt-oss-120b (batch)
OpenAI 較大型的 gpt-oss 開放權重模型使用混合專家推理,處理文字、程式設計和代理任務。在連接工具的環境中,它支援 low、medium 和 high 推理強度、函式呼叫及 Structured Outputs。
關於模型
此說明介紹模型的能力。Ailoot 可用的輸入、輸出與選項,依所選方法列於下方。
gpt-oss-120b 是 OpenAI 較大型的開放權重語言模型,適用於通用推理、程式設計和代理任務。它接收並產生文字。開發者公布的混合專家架構總參數量為 1170 億,每個 token 啟用的參數量為 51 億。這是此系列的 120b 版本,與 gpt-oss-20b 及專門的 Safeguard 模型不同。
發布資料描述了以 STEM、程式設計和一般知識為主、主要使用英文的純文字訓練資料。一個示例任務是根據程式碼和明確條件分析演算法:解釋重要關係、比較可行方法,並提出具體實作提案。針對文件中的決策,請提供資料和標準,再要求依所提供證據得出結論。
OpenAI 公開的架構有 36 層、128 個專家,每個 token 啟用四個專家。最初發布的版本對混合專家權重使用 MXFP4,並描述模型可在單張 80 GB GPU 中運行。OpenAI 以 Apache 2.0 授權發布權重,並支援針對專門用途進行微調。這些是開發者公開模型和格式的特性,不是某個應用程式特定部署方式的描述。
模型文件列出 131,072 token 的上下文視窗和最多 131,072 token 的生成輸出,知識截至 2024年6月1日。輸入、推理和輸出必須容納於可用上下文中。支援的推理等級為 low、medium 和 high,讓任務能要求簡短的對話回應或更深入的分析。OpenAI 要求使用 Harmony 格式,將內部分析與最終回應分開;開發者指出,原始分析供開發者使用,而非直接顯示給終端使用者。
開發者記載了函式呼叫、網頁瀏覽、透過工具執行 Python 程式碼,以及 Structured Outputs。模型卡也列出串流功能,文件中的工具環境具有函式、程式碼解譯器、MCP 和搜尋功能。應用程式提供操作、執行動作,並回傳實際結果。計算或查詢便能成為下一步推理的證據,而提議的工具請求仍與已執行操作有所區別。
請準備明確目標、定義,以及有用的最終成果:解釋、程式碼提案、公式或結構化發現。指出哪些事實必須在轉換後保留,以及應如何表示缺少的資訊。有用的最終回應會將結論連結到所提供的條件和實際工具結果。後續提問時,請將重要證據和仍待作出的決定帶入下一個請求。
Ailoot Ultra · 批次處理(Batch) POST /v1/batches openai/gpt-oss-120b:batch
openai/gpt-oss-120b:batch入門
OpenAI 較大型的 gpt-oss 開放權重模型使用混合專家推理,處理文字、程式設計和代理任務。在連接工具的環境中,它支援 low、medium 和 high 推理強度、函式呼叫及 Structured Outputs。
- 接受的輸入
- 文字
- 結果
- 文字
Ailoot 可用 · 輸入與方法
Ailoot Ultra · 批次處理(Batch) POST /v1/batches
- 輸入
text- 輸出
text- 輸出格式
- 內嵌的 results[].response.body JSON
| 欄位 | 類型 | 要求 | 值與限制 | 預設值 |
|---|---|---|---|---|
欄位endpoint | 類型string | 要求必填 | 值與限制 /v1/chat/completions | 預設值— |
欄位model | 類型string | 要求必填 | 值與限制 openai/gpt-oss-120b:batch | 預設值— |
欄位requests | 類型batch_item[] | 要求必填 | 值與限制 項目數下限: 1 | 預設值— |
欄位requests[].custom_id | 類型string | 要求必填 | 值與限制 | 預設值— |
欄位requests[].body.messages | 類型message[] | 要求必填 | 值與限制 | 預設值— |
欄位completion_window | 類型string | 要求選填 | 值與限制 24h | 預設值— |
欄位provider | 類型object|null | 要求選填 | 值與限制 | 預設值— |
欄位requests[].body.model | 類型string | 要求選填 | 值與限制 openai/gpt-oss-120b:batch, openai/gpt-oss-120b | 預設值— |
欄位provider.only | 類型string[] | 要求選填 | 值與限制 deepinfra/bf16 | 預設值— |
欄位provider.allow_fallbacks | 類型boolean|null | 要求選填 | 值與限制 false, null | 預設值— |
方法參數與生命週期
| 參數 | 規格 |
|---|---|
參數content_type | 規格application/json |
參數required | 規格endpoint, model, requests |
參數material_types | 規格text |
參數representation | 規格內嵌的 requests[];每個項目皆含 custom_id 與 body |
參數request_endpoint_profile | 規格/v1/chat/completions |
參數file_material | 規格呼叫端可在本機將實際的 UTF-8 JSONL 讀入 requests[]。此流程不使用上傳用途、input_file_id 或檔案參照。若缺少客戶素材或素材為空,應在 POST 前停止準備。 |
參數serialization_order | 規格endpoint, model, provider(如有提供), completion_window(如有提供), requests 放在最後 |
參數optional_controls | 規格provider.only, provider.allow_fallbacks, completion_window |
參數schema_scope | 規格依文件規定的內嵌 Batch 封裝格式提供文字 Chat Completions 請求主體。 |
生命週期: asynchronous
GET /v1/batches/{operation_id} · 原始建立回應中實際回傳的 response.id;使用相同使用者/金鑰/群組
方案
費率資訊不會增加請求選項。支援的參數列於所選方法中。
- 快速模式
- 未指定 選取快速模式時
- flex 模式
- 未指定 選取 flex 模式時
- 最高推理強度
- 未指定 最高推理強度採用 default 調整值時
- 顯式快取計價
- 未啟用 請求顯式快取時
Ailoot 費率
各設定的價格
請逐一核對各項費用與所列條件。每組互為替代選項的設定只套用一種費率。
| 設定 | 費率表 | 上下文 Token 數大於 | 上下文 Token 數小於或等於 | 費用 |
|---|---|---|---|---|
| 設定詞元基本費率 | 費率表基本費率 | 上下文 Token 數大於— | 上下文 Token 數小於或等於無上限 | 費用 輸入 · 輸入 Token $0.0000592 / 1K Token 輸出 · 輸出 Token $0.000272 / 1K Token 輸入 · 讀取快取 — / 1K Token 輸入 · 寫入快取 — / 1K Token 輸入 · 寫入快取,1 小時 — / 1K Token |
| 設定請求長度級距 1 | 費率表— | 上下文 Token 數大於0 | 上下文 Token 數小於或等於無上限 | 費用 輸入 · 輸入 Token $0.0000592 / 1K Token 輸出 · 輸出 Token $0.000272 / 1K Token 輸入 · 讀取快取 — / 1K Token 輸入 · 寫入快取 — / 1K Token 輸入 · 寫入快取,1 小時 — / 1K Token |
Ailoot 會在請求前預留估算金額。取得結果後,依實測用量結算最終費用。串流結算採用最終用量紀錄。預留金額與結算的運作方式 →
請求範例
Ailoot Ultra · 批次處理(Batch)
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json
from pathlib import Path
body=json.loads('{"endpoint":"/v1/chat/completions","model":"openai/gpt-oss-120b:batch","requests":[{"custom_id":"req-0001","body":{"messages":[{"role":"user","content":"Hello!"}],"max_tokens":16}}]}')
Path("batch-request.json").write_text(json.dumps(body,ensure_ascii=False),encoding="utf-8")
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/batches \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @batch-request.json -D batch-response-headers.txt -o batch-create-response.json
import json, os
from pathlib import Path
from urllib.request import Request, urlopen
def prepare_requests(customer_path):
path = Path(customer_path)
if not path.is_file(): raise ValueError("Customer JSONL file is missing")
items = [json.loads(line) for line in path.read_text(encoding="utf-8").splitlines() if line.strip()]
if not items: raise ValueError("Customer JSONL contains no requests")
ids = set()
for item in items:
if set(item) != {"custom_id", "body"}: raise ValueError("Each item needs custom_id and body")
cid = item["custom_id"]
if not isinstance(cid, str) or not cid.strip() or cid in ids: raise ValueError("custom_id must be nonempty and unique")
ids.add(cid)
if not isinstance(item["body"], dict) or not item["body"].get("messages"): raise ValueError("Supply actual text messages")
supplied_model = item["body"].get("model")
if supplied_model is not None and supplied_model not in ['openai/gpt-oss-120b:batch', 'openai/gpt-oss-120b']: raise ValueError("body.model must be an exact documented caller or wire ID")
return {"endpoint":"/v1/chat/completions", "model":"openai/gpt-oss-120b:batch", "requests":items}
if __name__ == "__main__":
material = os.environ.get("AILOOT_BATCH_REQUESTS_JSONL", "")
if not material: raise SystemExit("Set AILOOT_BATCH_REQUESTS_JSONL to your actual customer file")
body = prepare_requests(material)
key = os.environ.get("AILOOT_API_KEY", "")
if not key: raise SystemExit("Set AILOOT_API_KEY")
request = Request("https://api.ailoot.ai/v1/batches", data=json.dumps(body, ensure_ascii=False).encode("utf-8"), headers={"Authorization":"Bearer " + key, "Content-Type":"application/json"}, method="POST")
with urlopen(request) as response:
raw = response.read()
Path("batch-create-response.json").write_bytes(raw)
print(raw.decode("utf-8"))
import json
from pathlib import Path
raw = Path("batch-status-response.json").read_bytes()
response = json.loads(raw)
if response.get("status") != "completed":
raise SystemExit("Keep the original operation; read its status without resubmitting")
results = response.get("results")
if not isinstance(results, list) or not results:
raise SystemExit("Preserve the original response; completed results are missing")
Path("batch-results.jsonl").write_text("".join(json.dumps(item, ensure_ascii=False) + "\n" for item in results), encoding="utf-8")
# Preserve batch-status-response.json with aggregate usage and every result/error.
接收並儲存結果
Ailoot Ultra · 批次處理(Batch)
內嵌的 results[].response.body JSON
GET /v1/batches/{operation_id}
查看工作狀態
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
BATCH_OPERATION_ID="$(python3 - <<'PY_ID'
import json
from pathlib import Path
from urllib.parse import quote
response = json.loads(Path("batch-create-response.json").read_text(encoding="utf-8"))
operation = response.get("id")
if not isinstance(operation, str) or not operation: raise SystemExit("No actual original operation ID; preserve the response and do not resubmit")
print(quote(operation, safe=""))
PY_ID
)"
curl --fail-with-body --silent --show-error "https://api.ailoot.ai/v1/batches/$BATCH_OPERATION_ID" \
-H "Authorization: Bearer $AILOOT_API_KEY" -o batch-status-response.json
保留所有已完成的結果
請保留所有完整傳回的回應、檔案與內容區塊。
保留完整的原始狀態 JSON、每個結果/custom_id,以及完整的回應或錯誤主體。將已完成的 results[] 儲存為 JSONL,不得篩除任何項目。
需要檢查原始回應時
保留原始作業 ID。503 result_pending_check 回應帶有 X-Should-Retry:false;請勿重新提交狀態不明的原始批次。
回應欄位
| 欄位 | 類型 |
|---|---|
欄位results[].custom_id | 類型string |
欄位results[].response.body.choices[].message.content | 類型string|null |
欄位results[].error | 類型object|null |
欄位usage | 類型object|null |
欄位id | 類型string |
欄位model | 類型string |
欄位endpoint | 類型string |
欄位status | 類型string |
欄位request_counts | 類型object |
欄位results[].id | 類型string |
欄位results[].response.status_code | 類型integer |
欄位results[].response.request_id | 類型string |
錯誤與後續步驟
| 回應 | 條件 | 下一步 |
|---|---|---|
回應400 · invalid_request_error | 條件文件規定的內嵌封裝格式無效、索引鍵重複、項目識別有誤,或與已設定的模型能力衝突。 | 下一步再次提交前,請先修正指出的欄位。 |
回應401 · authentication_error | 條件API 金鑰無效。 | 下一步使用已獲授權的 Ailoot 金鑰。 |
回應403 · permission_error | 條件批次處理群組無法使用。 | 下一步檢查金鑰/群組的使用權限。 |
回應422 · invalid_request_error | 條件批次處理採用餘額計費;透過訂閱建立批次的請求會遭拒絕。 | 下一步使用已獲授權、以餘額計費的群組。 |
回應422 · price_unavailable | 條件無法為批次輸入估價。 | 下一步保留回應;使用文件規定的該 API 家族輸入格式。 |
回應402 · billing_error | 條件批次處理的預留額度無法取得。 | 下一步提交新請求前,請先解決請求受理問題。 |
回應503 · price_unavailable | 條件批次處理方法的價格/原生費率無法取得。 | 下一步保留回應;請勿替換價格。 |
回應503 · api_error | 條件指定的供應商路由無法使用。 | 下一步保留回應,以供修復路由。 |
回應503 · result_pending_check | 條件原始結果需要檢查;X-Should-Retry:false。 | 下一步保留原始 operation_id/id 並讀取其狀態;請勿重複原始 POST。 |
回應404 · not_found | 條件查詢批次狀態所需的作業不存在,或屬於其他身分。 | 下一步使用完全相同的原始 id,以及相同的使用者/金鑰/群組。 |
別名
模型別名
Ailoot Ultra openai/gpt-oss-120b:batch
方法路徑別名
請使用上方列出的 API 方法路徑。
相關呼叫用 ID
FAQ · OpenAI: gpt-oss-120b (batch)
- 可以使用哪些輸入與結果?
POST /v1/batches·openai/gpt-oss-120b:batch:text→text- 請求使用哪些欄位?
POST /v1/batches·openai/gpt-oss-120b:batch:endpoint,model,requests,completion_window,provider- 適用哪些限制?
POST /v1/batches·openai/gpt-oss-120b:batch:requests.min_items:1