Nya sätt att balansera kostnad och tillförlitlighet i Gemini API
MarkdownGoogles Gemini API erbjuder inferensnivåerna Flex och Priority för att balansera kostnad och tillförlitlighet för olika arbetsbelastningar.
Google har introducerat två servicenivåer för Gemini API: Flex och Priority. De låter utvecklare välja nivå utifrån en arbetsbelastnings behov av kostnad, svarstid och tillförlitlighet.
Flex-inferens
Flex är en kostnadsoptimerad nivå för arbetsbelastningar som kan tåla svarstider och lägre tillförlitlighet. Google uppger att den kostar 50 % mindre än Standard API. Den använder synkrona förfrågningar, så utvecklare kan använda välbekanta endpoints utan att hantera in- och utdatafiler eller kontrollera om jobb har slutförts.
Möjliga användningsområden är bakgrundsuppdateringar av CRM, forskningssimuleringar och agentarbetsflöden som surfar eller tänker i bakgrunden. Ange parametern service_tier som flex för att använda den:
# Using the Flex tier for background summarization
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Summarize this massive transcript...",
config={"service_tier": "flex"},
)
# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))
Flex är tillgänglig för betalnivåer med förfrågningar till GenerateContent och Interactions API.
Priority-inferens
Priority är en premiumnivå avsedd för kritisk trafik. Google uppger att den ger högsta möjliga garantinivå, bland annat högre tillförlitlighet vid hög belastning. När trafiken överskrider Priority-gränserna hanteras överskjutande förfrågningar på Standard-nivån i stället för att misslyckas. Svaret visar vilken nivå som hanterade förfrågan, vilket ger insyn i prestanda och fakturering.
Möjliga användningsområden är kundsupport i realtid, innehållsmoderering live och andra tidskritiska förfrågningar. Ange service_tier som priority:
# Using the Priority tier for a critical alert
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Triage this incoming security alert immediately.",
config={"service_tier": "priority"},
)
Priority är tillgänglig för användare med betalprojekt på nivå 2 eller nivå 3 via `GenerateContent` API och Interactions API.
Se dokumentationen för Gemini API för prisuppgifter. Källan hänvisar också till kokboken för körbara kodexempel.
Använd den här guiden med Ailoot
Anslut AI-modeller till dina appar, agenter och automatiseringar via ett enda Ailoot API. Välj den modell som passar din uppgift och följ Ailoot-dokumentationen för att komma igång.