部落格

Gemini API 平衡成本與可靠性的新方式

Markdown

Google 的 Gemini API 提供 Flex 和 Priority 推論層級,可因應不同工作負載,在成本與可靠性之間取得平衡。

Google 為 Gemini API 推出兩種服務層級:Flex 和 Priority。開發者可根據工作負載對成本、延遲和可靠性的需求選擇層級。

Flex 推論

Flex 是針對可接受較高延遲和較低可靠性的工作負載所設計的成本最佳化層級。Google 表示,其費用比 Standard API 低 50%。Flex 使用同步要求,因此開發者可以沿用熟悉的端點,不必管理輸入和輸出檔案,也不必輪詢工作是否完成。

可能的用途包括背景 CRM 更新、研究模擬,以及在背景中瀏覽或思考的代理工作流程。若要使用 Flex,請將 service_tier 參數設為 flex:

# Using the Flex tier for background summarization
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Summarize this massive transcript...",
    config={"service_tier": "flex"},
)

# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))

付費層級可透過 GenerateContent 和 Interactions API 要求使用 Flex。

Priority 推論

Priority 是為關鍵流量設計的進階層級。Google 表示,它提供最高等級的保障,包括在尖峰使用期間提升可靠性。當流量超過 Priority 限額時,超出的要求會改由 Standard 層級處理,而不會失敗。回應會指出處理該要求的層級,讓您掌握效能和計費資訊。

可能的用途包括即時客戶支援、即時內容審核,以及其他有時效要求的請求。請將 service_tier 設為 priority:

# Using the Priority tier for a critical alert
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Triage this incoming security alert immediately.",
    config={"service_tier": "priority"},
)

Tier 2 或 Tier 3 付費專案的使用者可透過 `GenerateContent` API 和 Interactions API 使用 Priority。

價格詳情請參閱 Gemini API 說明文件。來源也提供了指向 cookbook 的連結,其中包含可執行的程式碼範例。

透過 Ailoot 將本指南付諸實踐

透過單一 Ailoot API,將 AI 模型連接至您的應用程式、代理和自動化流程。選擇適合任務的模型,並依照 Ailoot 說明文件開始使用。