Blog

Új lehetőségek a költségek és a megbízhatóság egyensúlyozására a Gemini API-ban

Markdown

A Google Gemini API-ja Flex és Priority következtetési szinteket kínál a költségek és a megbízhatóság különböző munkaterhelések közötti egyensúlyozására.

A Google két szolgáltatási szintet vezetett be a Gemini API-hoz: a Flexet és a Priorityt. Ezek lehetővé teszik a fejlesztőknek, hogy a munkaterhelés költség-, késleltetési és megbízhatósági igényei alapján válasszanak szintet.

Flex következtetés

A Flex költségoptimalizált szint olyan munkaterhelésekhez, amelyek elviselik a késleltetést és az alacsonyabb megbízhatóságot. A Google szerint 50%-kal kevesebbe kerül, mint a Standard API. Szinkron kéréseket használ, ezért a fejlesztők ismerős végpontokat használhatnak anélkül, hogy bemeneti és kimeneti fájlokat kellene kezelniük vagy lekérdezésekkel kellene ellenőrizniük a feladat befejezését.

Lehetséges felhasználási területei közé tartoznak a háttérben végzett CRM-frissítések, a kutatási szimulációk, valamint a háttérben böngésző vagy gondolkodó ügynöki munkafolyamatok. A használatához állítsd a service_tier paramétert flex értékre:

# Using the Flex tier for background summarization
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Summarize this massive transcript...",
    config={"service_tier": "flex"},
)

# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))

A Flex fizetős csomagokban érhető el a GenerateContent és az Interactions API-n keresztül küldött kérésekhez.

Priority következtetés

A Priority prémium szint, amelyet kritikus forgalomra terveztek. A Google szerint ez nyújtja a legmagasabb szintű garanciát, beleértve a nagyobb megbízhatóságot csúcsterhelés idején. Ha a forgalom meghaladja a Priority korlátait, a túllépő kéréseket a Standard szint szolgálja ki, ahelyett hogy meghiúsulnának. A válasz jelzi, melyik szint kezelte a kérést, így rálátást biztosít a teljesítményre és a számlázásra.

Lehetséges felhasználási területei közé tartozik a valós idejű ügyfélszolgálat, az élő tartalommoderálás és más időérzékeny kérések. Állítsd a service_tier értékét priority értékre:

# Using the Priority tier for a critical alert
response = client.models.generate_content(
    model="gemini-3-flash-preview",
    contents="Triage this incoming security alert immediately.",
    config={"service_tier": "priority"},
)

A Priority a Tier 2 vagy Tier 3 fizetős projekttel rendelkező felhasználók számára érhető el a `GenerateContent` API-n és az Interactions API-n keresztül.

Az árakkal kapcsolatos részletekért tekintsd meg a Gemini API dokumentációját. A forrás a cookbookra is hivatkozik, ahol futtatható kódpéldák találhatók.

Használd ezt az útmutatót az Ailoot segítségével

Kapcsold össze az AI-modelleket az alkalmazásaiddal, ügynökeiddel és automatizálásaiddal egyetlen Ailoot API-n keresztül. Válaszd ki a feladatodhoz illő modellt, és a kezdéshez kövesd az Ailoot dokumentációját.