Neue Möglichkeiten, Kosten und Zuverlässigkeit in der Gemini API auszubalancieren
MarkdownDie Gemini API von Google bietet die Inferenzstufen Flex und Priority, um Kosten und Zuverlässigkeit für verschiedene Workloads auszubalancieren.
Google hat zwei Dienststufen für die Gemini API eingeführt: Flex und Priority. Damit können Entwickler eine Stufe auswählen, die zu den Anforderungen eines Workloads hinsichtlich Kosten, Latenz und Zuverlässigkeit passt.
Flex-Inferenz
Flex ist eine kostenoptimierte Stufe für Workloads, die Latenz und eine geringere Zuverlässigkeit tolerieren können. Laut Google kostet sie 50 % weniger als die Standard API. Sie verwendet synchrone Anfragen, sodass Entwickler vertraute Endpunkte nutzen können, ohne Ein- und Ausgabedateien verwalten oder den Abschluss eines Jobs abfragen zu müssen.
Mögliche Einsatzbereiche sind Hintergrundaktualisierungen im CRM, Forschungssimulationen und Agenten-Workflows, die im Hintergrund suchen oder nachdenken. Setze den Parameter service_tier auf flex, um die Stufe zu verwenden:
# Using the Flex tier for background summarization
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Summarize this massive transcript...",
config={"service_tier": "flex"},
)
# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))
Flex ist für kostenpflichtige Stufen bei Anfragen an die GenerateContent API und die Interactions API verfügbar.
Priority-Inferenz
Priority ist eine Premium-Stufe für kritischen Datenverkehr. Laut Google bietet sie die höchste Verlässlichkeit, einschließlich höherer Zuverlässigkeit bei Spitzenlast. Wenn der Datenverkehr die Priority-Grenzwerte überschreitet, werden zusätzliche Anfragen stattdessen auf der Standard-Stufe bearbeitet, anstatt fehlzuschlagen. Die Antwort gibt an, welche Stufe die Anfrage bearbeitet hat, und bietet so Einblick in Leistung und Abrechnung.
Mögliche Einsatzbereiche sind Kundensupport in Echtzeit, die Moderation von Live-Inhalten und andere zeitkritische Anfragen. Setze service_tier auf priority:
# Using the Priority tier for a critical alert
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Triage this incoming security alert immediately.",
config={"service_tier": "priority"},
)
Priority ist für Nutzer mit kostenpflichtigen Projekten der Tier 2 oder Tier 3 über die `GenerateContent` API und die Interactions API verfügbar.
Weitere Informationen zu den Preisen findest du in der Dokumentation zur Gemini API. Die Quelle verweist außerdem auf das Cookbook mit ausführbaren Codebeispielen.
Setze diesen Leitfaden mit Ailoot um
Verbinde KI-Modelle über eine einzige Ailoot API mit deinen Anwendungen, Agenten und Automatisierungen. Wähle das Modell, das zu deiner Aufgabe passt, und folge der Ailoot-Dokumentation, um loszulegen.