Nowe sposoby równoważenia kosztów i niezawodności w interfejsie API Gemini
MarkdownInterfejs API Gemini firmy Google oferuje poziomy wnioskowania Flex i Priority, które pozwalają równoważyć koszty i niezawodność w różnych obciążeniach.
Google wprowadziło dwa poziomy usług dla interfejsu API Gemini: Flex i Priority. Pozwalają one programistom wybrać poziom odpowiedni do wymagań danego obciążenia pod względem kosztów, opóźnień i niezawodności.
Wnioskowanie Flex
Flex to poziom zoptymalizowany pod kątem kosztów, przeznaczony dla obciążeń, które tolerują opóźnienia i niższą niezawodność. Google podaje, że kosztuje o 50% mniej niż standardowy interfejs API. Korzysta z żądań synchronicznych, dzięki czemu programiści mogą używać znanych punktów końcowych bez zarządzania plikami wejściowymi i wyjściowymi ani sprawdzania, czy zadanie zostało ukończone.
Możliwe zastosowania obejmują aktualizacje CRM w tle, symulacje badawcze oraz przepływy pracy agentów, które przeglądają zasoby lub przetwarzają informacje w tle. Aby z niego korzystać, ustaw parametr service_tier na flex:
# Using the Flex tier for background summarization
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Summarize this massive transcript...",
config={"service_tier": "flex"},
)
# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))
Flex jest dostępny w płatnych planach dla żądań GenerateContent i Interactions API.
Wnioskowanie Priority
Priority to poziom premium przeznaczony dla krytycznego ruchu. Google podaje, że zapewnia najwyższy poziom gwarancji, w tym większą niezawodność w okresach szczytowego obciążenia. Gdy ruch przekroczy limity Priority, nadmiarowe żądania są obsługiwane na poziomie Standard zamiast kończyć się niepowodzeniem. Odpowiedź wskazuje, który poziom obsłużył żądanie, zapewniając wgląd w wydajność i rozliczenia.
Możliwe zastosowania obejmują obsługę klienta w czasie rzeczywistym, moderację treści na żywo i inne żądania wrażliwe na czas. Ustaw service_tier na priority:
# Using the Priority tier for a critical alert
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Triage this incoming security alert immediately.",
config={"service_tier": "priority"},
)
Priority jest dostępny dla użytkowników płatnych projektów Tier 2 lub Tier 3 w interfejsach API `GenerateContent` i Interactions API.
Szczegóły cenowe można znaleźć w dokumentacji interfejsu API Gemini. Źródło odsyła również do cookbook z przykładami kodu gotowymi do uruchomienia.
Wykorzystaj ten przewodnik w Ailoot
Połącz modele AI ze swoimi aplikacjami, agentami i automatyzacjami za pomocą jednego interfejsu API Ailoot. Wybierz model odpowiedni do swojego zadania i rozpocznij od dokumentacji Ailoot.