Nye måter å balansere kostnader og pålitelighet i Gemini API på
MarkdownGoogles Gemini API tilbyr Flex- og Priority-inferensnivåer for å balansere kostnader og pålitelighet på tvers av ulike arbeidsbelastninger.
Google introduserte to tjenestenivåer for Gemini API: Flex og Priority. De lar utviklere velge et nivå basert på arbeidsbelastningens behov for kostnad, forsinkelse og pålitelighet.
Flex-inferens
Flex er et kostnadsoptimalisert nivå for arbeidsbelastninger som tåler forsinkelse og redusert pålitelighet. Google sier at det koster 50 % mindre enn Standard API. Det bruker synkrone forespørsler, slik at utviklere kan bruke velkjente endepunkter uten å håndtere inndata- og utdatafiler eller spørre om jobben er fullført.
Mulige bruksområder omfatter bakgrunnsoppdateringer av CRM, forskningssimuleringer og agentarbeidsflyter som surfer eller tenker i bakgrunnen. Sett parameteren service_tier til flex for å bruke det:
# Using the Flex tier for background summarization
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Summarize this massive transcript...",
config={"service_tier": "flex"},
)
# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))
Flex er tilgjengelig for betalte nivåer med forespørsler til GenerateContent og Interactions API.
Priority-inferens
Priority er et premium-nivå beregnet på kritisk trafikk. Google sier at det gir det høyeste nivået av sikkerhet, inkludert høyere pålitelighet ved toppbelastning. Når trafikken overskrider Priority-grensene, behandles forespørsler utover grensene på Standard-nivået i stedet for å mislykkes. Svaret angir hvilket nivå som håndterte forespørselen, slik at du får innsyn i ytelse og fakturering.
Mulige bruksområder omfatter kundestøtte i sanntid, moderering av direktesendt innhold og andre tidskritiske forespørsler. Sett service_tier til priority:
# Using the Priority tier for a critical alert
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Triage this incoming security alert immediately.",
config={"service_tier": "priority"},
)
Priority er tilgjengelig for brukere med betalte prosjekter på Tier 2 eller Tier 3 via `GenerateContent` API og Interactions API.
Se Gemini API-dokumentasjonen for prisdetaljer. Kilden viser også til kokeboken for kjørbare kodeeksempler.
Ta denne veiledningen i bruk med Ailoot
Koble AI-modeller til applikasjonene, agentene og automatiseringene dine gjennom ett Ailoot API. Velg modellen som passer til oppgaven din, og følg Ailoot-dokumentasjonen for å komme i gang.