Nuovi modi per bilanciare costi e affidabilità nell’API Gemini
MarkdownL’API Gemini di Google offre i livelli di inferenza Flex e Priority per bilanciare costi e affidabilità in diversi carichi di lavoro.
Google ha introdotto due livelli di servizio per l’API Gemini: Flex e Priority. Consentono agli sviluppatori di scegliere un livello in base alle esigenze di costo, latenza e affidabilità di un carico di lavoro.
Inferenza Flex
Flex è un livello ottimizzato per i costi, pensato per i carichi di lavoro che possono tollerare latenza e affidabilità ridotta. Secondo Google, costa il 50% in meno rispetto all’API Standard. Utilizza richieste sincrone, quindi gli sviluppatori possono usare endpoint familiari senza gestire file di input e output né interrogare il sistema per sapere quando il lavoro è terminato.
Tra i possibili utilizzi ci sono gli aggiornamenti CRM in background, le simulazioni di ricerca e i flussi di lavoro degli agenti che navigano o ragionano in background. Per usarlo, imposta il parametro service_tier su flex:
# Using the Flex tier for background summarization
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Summarize this massive transcript...",
config={"service_tier": "flex"},
)
# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))
Flex è disponibile nei livelli a pagamento per le richieste alle API GenerateContent e Interactions.
Inferenza Priority
Priority è un livello premium destinato al traffico critico. Secondo Google, offre il massimo livello di garanzia, inclusa una maggiore affidabilità durante i picchi di utilizzo. Quando il traffico supera i limiti di Priority, le richieste in eccesso vengono servite al livello Standard invece di fallire. La risposta indica quale livello ha gestito la richiesta, offrendo visibilità su prestazioni e fatturazione.
Tra i possibili utilizzi ci sono l’assistenza clienti in tempo reale, la moderazione dei contenuti in diretta e altre richieste sensibili al fattore tempo. Imposta service_tier su priority:
# Using the Priority tier for a critical alert
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Triage this incoming security alert immediately.",
config={"service_tier": "priority"},
)
Priority è disponibile per gli utenti con progetti a pagamento di livello 2 o 3 tramite l’API `GenerateContent` e l’API Interactions.
Per i dettagli sui prezzi, consulta la documentazione dell’API Gemini. La fonte rimanda anche al cookbook per esempi di codice eseguibili.
Metti in pratica questa guida con Ailoot
Collega modelli di IA alle tue applicazioni, ai tuoi agenti e alle tue automazioni tramite un’unica API Ailoot. Scegli il modello più adatto alla tua attività e consulta la documentazione di Ailoot per iniziare.