Blog

Cara baru untuk menyeimbangkan biaya dan keandalan di Gemini API

Markdown

Gemini API dari Google menawarkan tingkat inferensi Flex dan Priority untuk menyeimbangkan biaya dan keandalan di berbagai beban kerja.

Google memperkenalkan dua tingkat layanan untuk Gemini API: Flex dan Priority. Keduanya memungkinkan pengembang memilih tingkat berdasarkan kebutuhan biaya, latensi, dan keandalan suatu beban kerja.

Inferensi Flex

Flex adalah tingkat yang dioptimalkan untuk biaya bagi beban kerja yang dapat menoleransi latensi dan keandalan yang lebih rendah. Google menyatakan biayanya 50% lebih rendah daripada API Standard. Flex menggunakan permintaan sinkron, sehingga pengembang dapat menggunakan endpoint yang sudah familier tanpa mengelola file input dan output atau melakukan polling untuk mengetahui penyelesaian tugas.

Potensi penggunaannya mencakup pembaruan CRM di latar belakang, simulasi penelitian, dan alur kerja agen yang menjelajah atau berpikir di latar belakang. Atur parameter service_tier ke flex untuk menggunakannya:

# Using the Flex tier for background summarization
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Summarize this massive transcript...",
    config={"service_tier": "flex"},
)

# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))

Flex tersedia untuk tingkat berbayar dengan permintaan GenerateContent dan Interactions API.

Inferensi Priority

Priority adalah tingkat premium yang ditujukan untuk lalu lintas penting. Google menyatakan bahwa tingkat ini memberikan jaminan tertinggi, termasuk keandalan yang lebih tinggi saat penggunaan puncak. Jika lalu lintas melampaui batas Priority, permintaan yang melebihi batas akan dilayani pada tingkat Standard, bukan gagal. Respons menunjukkan tingkat yang menangani permintaan, sehingga memberikan visibilitas terhadap kinerja dan penagihan.

Potensi penggunaannya mencakup dukungan pelanggan real-time, moderasi konten langsung, dan permintaan lain yang sensitif terhadap waktu. Atur service_tier ke priority:

# Using the Priority tier for a critical alert
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Triage this incoming security alert immediately.",
    config={"service_tier": "priority"},
)

Priority tersedia bagi pengguna dengan proyek berbayar Tier 2 atau Tier 3 di seluruh `GenerateContent` API dan Interactions API.

Lihat dokumentasi Gemini API untuk mengetahui detail harga. Sumbernya juga merujuk ke cookbook untuk contoh kode yang dapat dijalankan.

Terapkan panduan ini dengan Ailoot

Hubungkan model AI ke aplikasi, agen, dan otomatisasi Anda melalui satu API Ailoot. Pilih model yang sesuai dengan tugas Anda dan ikuti dokumentasi Ailoot untuk memulai.