Blogi

Uusia tapoja tasapainottaa kustannuksia ja luotettavuutta Gemini API:ssa

Markdown

Googlen Gemini API tarjoaa Flex- ja Priority-päättelytasot kustannusten ja luotettavuuden tasapainottamiseen erilaisissa työkuormissa.

Google esitteli Gemini API:lle kaksi palvelutasoa: Flexin ja Priorityn. Niiden avulla kehittäjät voivat valita tason työkuorman kustannus-, viive- ja luotettavuustarpeiden perusteella.

Flex-päättely

Flex on kustannusoptimoitu taso työkuormille, jotka sietävät viivettä ja heikompaa luotettavuutta. Googlen mukaan se maksaa 50 % vähemmän kuin Standard API. Se käyttää synkronisia pyyntöjä, joten kehittäjät voivat käyttää tuttuja päätepisteitä ilman syöte- ja tulostiedostojen hallintaa tai työn valmistumisen kyselyä.

Mahdollisia käyttötarkoituksia ovat CRM-järjestelmän taustapäivitykset, tutkimussimulaatiot ja agenttityönkulut, jotka selaavat tai ajattelevat taustalla. Ota se käyttöön asettamalla service_tier-parametriksi flex:

# Using the Flex tier for background summarization
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Summarize this massive transcript...",
    config={"service_tier": "flex"},
)

# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))

Flex on saatavilla maksullisilla tasoilla GenerateContent- ja Interactions API -pyyntöihin.

Priority-päättely

Priority on premium-taso, joka on tarkoitettu kriittiselle liikenteelle. Googlen mukaan se tarjoaa korkeimman varmuustason, mukaan lukien paremman luotettavuuden ruuhkahuippujen aikana. Kun liikenne ylittää Priorityn rajat, ylimenevät pyynnöt käsitellään Standard-tasolla sen sijaan, että ne epäonnistuisivat. Vastaus kertoo, mikä taso käsitteli pyynnön, joten suorituskykyä ja laskutusta voi seurata.

Mahdollisia käyttötarkoituksia ovat reaaliaikainen asiakastuki, reaaliaikainen sisällön moderointi ja muut aikakriittiset pyynnöt. Aseta service_tier-parametriksi priority:

# Using the Priority tier for a critical alert
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Triage this incoming security alert immediately.",
    config={"service_tier": "priority"},
)

Priority on saatavilla käyttäjille, joilla on maksullinen Tier 2- tai Tier 3 -projekti, sekä `GenerateContent`-rajapinnan että Interactions API:n kautta.

Katso hinnoittelutiedot Gemini API -dokumentaatiosta. Lähde viittaa myös cookbook-kokoelmaan, josta löytyy suoritettavia koodiesimerkkejä.

Ota tämä opas käyttöön Ailootin avulla

Yhdistä tekoälymalleja sovelluksiisi, agentteihisi ja automaatioihisi yhden Ailoot API:n kautta. Valitse tehtävääsi sopiva malli ja aloita Ailoot-dokumentaation avulla.