Blog

Nové spôsoby vyváženia nákladov a spoľahlivosti v Gemini API

Markdown

Gemini API od spoločnosti Google ponúka úrovne inferencie Flex a Priority na vyváženie nákladov a spoľahlivosti pri rôznych pracovných zaťaženiach.

Google predstavil pre Gemini API dve úrovne služby: Flex a Priority. Vývojárom umožňujú vybrať si úroveň podľa potrieb pracovného zaťaženia z hľadiska nákladov, latencie a spoľahlivosti.

Inferencia Flex

Flex je úroveň optimalizovaná z hľadiska nákladov pre pracovné zaťaženia, ktoré znesú latenciu a nižšiu spoľahlivosť. Google uvádza, že stojí o 50 % menej ako štandardné API. Používa synchrónne požiadavky, takže vývojári môžu využívať známe koncové body bez správy vstupných a výstupných súborov či zisťovania, či sa úloha dokončila.

Medzi možné využitia patria aktualizácie CRM na pozadí, výskumné simulácie a pracovné postupy agentov, ktorí na pozadí prehliadajú web alebo premýšľajú. Ak chcete túto úroveň použiť, nastavte parameter service_tier na hodnotu flex:

# Using the Flex tier for background summarization
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Summarize this massive transcript...",
    config={"service_tier": "flex"},
)

# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))

Flex je dostupná v platených úrovniach pre požiadavky GenerateContent a Interactions API.

Inferencia Priority

Priority je prémiová úroveň určená pre kritickú prevádzku. Google uvádza, že poskytuje najvyššiu mieru záruk vrátane vyššej spoľahlivosti v čase špičky. Ak prevádzka prekročí limity Priority, nadbytočné požiadavky sa vybavia na štandardnej úrovni namiesto toho, aby zlyhali. Odpoveď uvádza, ktorá úroveň požiadavku spracovala, čím poskytuje prehľad o výkone a účtovaní.

Medzi možné využitia patria zákaznícka podpora v reálnom čase, moderovanie živého obsahu a ďalšie časovo citlivé požiadavky. Nastavte service_tier na hodnotu priority:

# Using the Priority tier for a critical alert
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Triage this incoming security alert immediately.",
    config={"service_tier": "priority"},
)

Priority je dostupná používateľom platených projektov úrovne Tier 2 alebo Tier 3 prostredníctvom API `GenerateContent` a Interactions API.

Podrobnosti o cenách nájdete v dokumentácii Gemini API. Zdroj odkazuje aj na cookbook s príkladmi kódu, ktoré možno spustiť.

Využite túto príručku s Ailoot

Prepojte modely umelej inteligencie so svojimi aplikáciami, agentmi a automatizáciami prostredníctvom jediného rozhrania API Ailoot. Vyberte model, ktorý vyhovuje vašej úlohe, a začnite podľa dokumentácie Ailoot.