Új lehetőségek a költségek és a megbízhatóság egyensúlyozására a Gemini API-ban
MarkdownA Google Gemini API-ja Flex és Priority következtetési szinteket kínál a költségek és a megbízhatóság különböző munkaterhelések közötti egyensúlyozására.
A Google két szolgáltatási szintet vezetett be a Gemini API-hoz: a Flexet és a Priorityt. Ezek lehetővé teszik a fejlesztőknek, hogy a munkaterhelés költség-, késleltetési és megbízhatósági igényei alapján válasszanak szintet.
Flex következtetés
A Flex költségoptimalizált szint olyan munkaterhelésekhez, amelyek elviselik a késleltetést és az alacsonyabb megbízhatóságot. A Google szerint 50%-kal kevesebbe kerül, mint a Standard API. Szinkron kéréseket használ, ezért a fejlesztők ismerős végpontokat használhatnak anélkül, hogy bemeneti és kimeneti fájlokat kellene kezelniük vagy lekérdezésekkel kellene ellenőrizniük a feladat befejezését.
Lehetséges felhasználási területei közé tartoznak a háttérben végzett CRM-frissítések, a kutatási szimulációk, valamint a háttérben böngésző vagy gondolkodó ügynöki munkafolyamatok. A használatához állítsd a service_tier paramétert flex értékre:
# Using the Flex tier for background summarization
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Summarize this massive transcript...",
config={"service_tier": "flex"},
)
# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))
A Flex fizetős csomagokban érhető el a GenerateContent és az Interactions API-n keresztül küldött kérésekhez.
Priority következtetés
A Priority prémium szint, amelyet kritikus forgalomra terveztek. A Google szerint ez nyújtja a legmagasabb szintű garanciát, beleértve a nagyobb megbízhatóságot csúcsterhelés idején. Ha a forgalom meghaladja a Priority korlátait, a túllépő kéréseket a Standard szint szolgálja ki, ahelyett hogy meghiúsulnának. A válasz jelzi, melyik szint kezelte a kérést, így rálátást biztosít a teljesítményre és a számlázásra.
Lehetséges felhasználási területei közé tartozik a valós idejű ügyfélszolgálat, az élő tartalommoderálás és más időérzékeny kérések. Állítsd a service_tier értékét priority értékre:
# Using the Priority tier for a critical alert
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Triage this incoming security alert immediately.",
config={"service_tier": "priority"},
)
A Priority a Tier 2 vagy Tier 3 fizetős projekttel rendelkező felhasználók számára érhető el a `GenerateContent` API-n és az Interactions API-n keresztül.
Az árakkal kapcsolatos részletekért tekintsd meg a Gemini API dokumentációját. A forrás a cookbookra is hivatkozik, ahol futtatható kódpéldák találhatók.
Használd ezt az útmutatót az Ailoot segítségével
Kapcsold össze az AI-modelleket az alkalmazásaiddal, ügynökeiddel és automatizálásaiddal egyetlen Ailoot API-n keresztül. Válaszd ki a feladatodhoz illő modellt, és a kezdéshez kövesd az Ailoot dokumentációját.