Blogue

Novas formas de equilibrar o custo e a fiabilidade na API Gemini

Markdown

A API Gemini da Google oferece os níveis de inferência Flex e Priority para equilibrar o custo e a fiabilidade em diferentes cargas de trabalho.

A Google introduziu dois níveis de serviço para a API Gemini: Flex e Priority. Permitem aos programadores escolher um nível com base nas necessidades de custo, latência e fiabilidade de uma carga de trabalho.

Inferência Flex

Flex é um nível otimizado em termos de custo para cargas de trabalho que podem tolerar latência e fiabilidade reduzida. A Google afirma que custa menos 50% do que a API Standard. Utiliza pedidos síncronos, pelo que os programadores podem usar pontos finais conhecidos sem gerir ficheiros de entrada e saída nem verificar se uma tarefa foi concluída.

As utilizações potenciais incluem atualizações de CRM em segundo plano, simulações de investigação e fluxos de trabalho de agentes que navegam ou processam informação em segundo plano. Para o utilizar, defina o parâmetro service_tier como flex:

# Using the Flex tier for background summarization
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Summarize this massive transcript...",
    config={"service_tier": "flex"},
)

# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))

Flex está disponível nos níveis pagos para pedidos da GenerateContent e da Interactions API.

Inferência Priority

Priority é um nível premium destinado a tráfego crítico. A Google afirma que oferece o nível mais elevado de garantia, incluindo maior fiabilidade durante os períodos de pico de utilização. Quando o tráfego excede os limites de Priority, os pedidos excedentes são servidos no nível Standard em vez de falharem. A resposta indica que nível tratou o pedido, dando visibilidade ao desempenho e à faturação.

As utilizações potenciais incluem apoio ao cliente em tempo real, moderação de conteúdo em direto e outros pedidos sensíveis ao tempo. Defina service_tier como priority:

# Using the Priority tier for a critical alert
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Triage this incoming security alert immediately.",
    config={"service_tier": "priority"},
)

Priority está disponível para utilizadores com projetos pagos Tier 2 ou Tier 3 nas APIs `GenerateContent` e Interactions.

Consulte a documentação da API Gemini para obter detalhes sobre os preços. A fonte também remete para o cookbook, que contém exemplos de código executáveis.

Ponha este guia em prática com a Ailoot

Ligue modelos de IA às suas aplicações, agentes e automatizações através de uma única API da Ailoot. Escolha o modelo adequado à sua tarefa e consulte a documentação da Ailoot para começar.