บล็อก

วิธีใหม่ในการสร้างสมดุลระหว่างค่าใช้จ่ายและความน่าเชื่อถือใน Gemini API

Markdown

Gemini API ของ Google มีระดับการอนุมาน Flex และ Priority เพื่อสร้างสมดุลระหว่างค่าใช้จ่ายและความน่าเชื่อถือสำหรับเวิร์กโหลดที่แตกต่างกัน

Google เปิดตัวระดับบริการสองระดับสำหรับ Gemini API ได้แก่ Flex และ Priority ช่วยให้นักพัฒนาสามารถเลือกระดับตามความต้องการด้านค่าใช้จ่าย เวลาแฝง และความน่าเชื่อถือของเวิร์กโหลดได้

การอนุมานแบบ Flex

Flex เป็นระดับที่ปรับให้เหมาะกับค่าใช้จ่ายสำหรับเวิร์กโหลดที่รองรับเวลาแฝงและความน่าเชื่อถือที่ลดลงได้ Google ระบุว่ามีค่าใช้จ่ายต่ำกว่า Standard API 50% โดยใช้คำขอแบบซิงโครนัส นักพัฒนาจึงใช้ endpoint ที่คุ้นเคยได้โดยไม่ต้องจัดการไฟล์อินพุตและเอาต์พุตหรือคอยตรวจสอบว่างานเสร็จหรือไม่

การใช้งานที่เป็นไปได้ ได้แก่ การอัปเดต CRM ในเบื้องหลัง การจำลองการวิจัย และเวิร์กโฟลว์ของเอเจนต์ที่เรียกดูหรือประมวลผลข้อมูลในเบื้องหลัง ตั้งค่าพารามิเตอร์ service_tier เป็น flex เพื่อใช้งาน:

# Using the Flex tier for background summarization
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Summarize this massive transcript...",
    config={"service_tier": "flex"},
)

# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))

Flex ใช้ได้กับระดับแบบชำระเงินสำหรับคำขอ GenerateContent และ Interactions API

การอนุมานแบบ Priority

Priority เป็นระดับพรีเมียมที่ออกแบบมาสำหรับทราฟฟิกที่สำคัญ Google ระบุว่าระดับนี้ให้การรับประกันในระดับสูงสุด รวมถึงความน่าเชื่อถือที่สูงขึ้นในช่วงที่มีการใช้งานสูงสุด เมื่อทราฟฟิกเกินขีดจำกัดของ Priority คำขอส่วนเกินจะได้รับบริการในระดับ Standard แทนที่จะล้มเหลว การตอบกลับจะแสดงระดับที่จัดการคำขอ ทำให้ตรวจสอบประสิทธิภาพและการเรียกเก็บเงินได้

การใช้งานที่เป็นไปได้ ได้แก่ การสนับสนุนลูกค้าแบบเรียลไทม์ การกลั่นกรองเนื้อหาสด และคำขออื่น ๆ ที่คำนึงถึงเวลา ตั้งค่า service_tier เป็น priority:

# Using the Priority tier for a critical alert
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Triage this incoming security alert immediately.",
    config={"service_tier": "priority"},
)

Priority ใช้ได้สำหรับผู้ใช้โปรเจ็กต์แบบชำระเงิน Tier 2 หรือ Tier 3 ผ่าน API `GenerateContent` และ Interactions API

ดูรายละเอียดราคาได้ที่ เอกสาร Gemini API แหล่งข้อมูลยังชี้ไปยัง cookbook ซึ่งมีตัวอย่างโค้ดที่เรียกใช้งานได้

ใช้คู่มือนี้กับ Ailoot

เชื่อมต่อโมเดล AI เข้ากับแอปพลิเคชัน เอเจนต์ และระบบอัตโนมัติของคุณผ่าน Ailoot API เดียว เลือกโมเดลที่เหมาะกับงานของคุณ แล้วทำตาม เอกสาร Ailoot เพื่อเริ่มต้น