Nye måder at afbalancere omkostninger og pålidelighed i Gemini API
MarkdownGoogles Gemini API tilbyder inferensniveauerne Flex og Priority, så omkostninger og pålidelighed kan afbalanceres på tværs af forskellige arbejdsbelastninger.
Google har introduceret to serviceniveauer til Gemini API: Flex og Priority. De giver udviklere mulighed for at vælge niveau ud fra en arbejdsbelastnings behov for omkostninger, svartid og pålidelighed.
Flex-inferens
Flex er et omkostningsoptimeret niveau til arbejdsbelastninger, der kan tåle forsinkelse og lavere pålidelighed. Google oplyser, at det koster 50 % mindre end Standard API. Det bruger synkrone anmodninger, så udviklere kan benytte velkendte endpoints uden at administrere input- og outputfiler eller afvente, at job bliver færdige.
Mulige anvendelser omfatter CRM-opdateringer i baggrunden, forskningssimulationer og agentarbejdsgange, der browser eller tænker i baggrunden. Angiv parameteren service_tier som flex for at bruge det:
# Using the Flex tier for background summarization
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Summarize this massive transcript...",
config={"service_tier": "flex"},
)
# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))
Flex er tilgængeligt for betalte niveauer med anmodninger til GenerateContent og Interactions API.
Priority-inferens
Priority er et premiumniveau beregnet til kritisk trafik. Google oplyser, at det giver det højeste niveau af sikkerhed, herunder større pålidelighed ved spidsbelastning. Når trafikken overskrider Priority-grænserne, håndteres de overskydende anmodninger på Standard-niveauet i stedet for at fejle. Svaret angiver, hvilket niveau der håndterede anmodningen, så du får indsigt i ydeevne og fakturering.
Mulige anvendelser omfatter kundesupport i realtid, liveindholdsmoderering og andre tidskritiske anmodninger. Angiv service_tier som priority:
# Using the Priority tier for a critical alert
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Triage this incoming security alert immediately.",
config={"service_tier": "priority"},
)
Priority er tilgængeligt for brugere med betalte projekter på niveau 2 eller niveau 3 via `GenerateContent` API og Interactions API.
Se dokumentationen til Gemini API for prisoplysninger. Kilden henviser også til kogebogen med eksempler på kode, der kan køres.
Brug denne guide sammen med Ailoot
Forbind AI-modeller med dine applikationer, agenter og automatiseringer via ét Ailoot API. Vælg den model, der passer til din opgave, og følg Ailoot-dokumentationen for at komme i gang.