Blog

Cara baharu mengimbangi kos dan kebolehpercayaan dalam API Gemini

Markdown

API Gemini Google menawarkan peringkat inferens Flex dan Priority untuk mengimbangi kos dan kebolehpercayaan merentas beban kerja yang berbeza.

Google memperkenalkan dua peringkat perkhidmatan untuk API Gemini: Flex dan Priority. Peringkat ini membolehkan pembangun memilih peringkat berdasarkan keperluan kos, kependaman dan kebolehpercayaan sesuatu beban kerja.

Inferens Flex

Flex ialah peringkat yang dioptimumkan untuk kos bagi beban kerja yang boleh menerima kependaman dan kebolehpercayaan yang lebih rendah. Menurut Google, kosnya 50% lebih rendah daripada API Standard. Peringkat ini menggunakan permintaan segerak, jadi pembangun boleh menggunakan titik akhir yang biasa tanpa mengurus fail input dan output atau membuat tinjauan untuk mengetahui sama ada tugas telah selesai.

Kegunaan yang berpotensi termasuk kemas kini CRM latar belakang, simulasi penyelidikan dan aliran kerja ejen yang melayari atau berfikir di latar belakang. Tetapkan parameter service_tier kepada flex untuk menggunakannya:

# Using the Flex tier for background summarization
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Summarize this massive transcript...",
    config={"service_tier": "flex"},
)

# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))

Flex tersedia untuk peringkat berbayar dengan permintaan GenerateContent dan Interactions API.

Inferens Priority

Priority ialah peringkat premium yang ditujukan untuk trafik kritikal. Menurut Google, peringkat ini memberikan tahap jaminan tertinggi, termasuk kebolehpercayaan yang lebih tinggi semasa penggunaan puncak. Apabila trafik melebihi had Priority, permintaan limpahan akan dilayan pada peringkat Standard dan bukannya gagal. Respons menunjukkan peringkat yang mengendalikan permintaan itu, sekali gus memberikan keterlihatan terhadap prestasi dan pengebilan.

Kegunaan yang berpotensi termasuk sokongan pelanggan masa nyata, moderasi kandungan langsung dan permintaan lain yang sensitif terhadap masa. Tetapkan service_tier kepada priority:

# Using the Priority tier for a critical alert
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Triage this incoming security alert immediately.",
    config={"service_tier": "priority"},
)

Priority tersedia kepada pengguna dengan projek berbayar Tier 2 atau Tier 3 merentas API `GenerateContent` dan API Interactions.

Lihat dokumentasi API Gemini untuk butiran harga. Sumber tersebut turut merujuk kepada cookbook yang menyediakan contoh kod boleh laksana.

Gunakan panduan ini dengan Ailoot

Sambungkan model AI kepada aplikasi, ejen dan automasi anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas anda dan ikuti dokumentasi Ailoot untuk bermula.