Νέοι τρόποι εξισορρόπησης κόστους και αξιοπιστίας στο Gemini API
MarkdownΤο Gemini API της Google προσφέρει βαθμίδες inference Flex και Priority για την εξισορρόπηση κόστους και αξιοπιστίας σε διαφορετικούς φόρτους εργασίας.
Η Google παρουσίασε δύο βαθμίδες υπηρεσίας για το Gemini API: τις Flex και Priority. Επιτρέπουν στους προγραμματιστές να επιλέγουν βαθμίδα ανάλογα με τις ανάγκες ενός φόρτου εργασίας ως προς το κόστος, την καθυστέρηση και την αξιοπιστία.
Inference Flex
Η Flex είναι μια βαθμίδα βελτιστοποιημένη ως προς το κόστος, για φόρτους εργασίας που μπορούν να ανεχθούν καθυστέρηση και μειωμένη αξιοπιστία. Σύμφωνα με την Google, κοστίζει 50% λιγότερο από το Standard API. Χρησιμοποιεί σύγχρονα αιτήματα, επομένως οι προγραμματιστές μπορούν να χρησιμοποιούν τα γνώριμα endpoints χωρίς να διαχειρίζονται αρχεία εισόδου και εξόδου ή να ελέγχουν αν ολοκληρώθηκε μια εργασία.
Πιθανές χρήσεις περιλαμβάνουν ενημερώσεις CRM στο παρασκήνιο, προσομοιώσεις έρευνας και ροές εργασίας agent που περιηγούνται ή συλλογίζονται στο παρασκήνιο. Για να τη χρησιμοποιήσετε, ορίστε την παράμετρο service_tier σε flex:
# Using the Flex tier for background summarization
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Summarize this massive transcript...",
config={"service_tier": "flex"},
)
# Check which tier actually served your request
print(response.sdk_http_response.headers.get("x-gemini-service-tier"))
Η Flex είναι διαθέσιμη στα επί πληρωμή επίπεδα για αιτήματα GenerateContent και Interactions API.
Inference Priority
Η Priority είναι μια premium βαθμίδα που προορίζεται για κρίσιμη κίνηση. Σύμφωνα με την Google, παρέχει το υψηλότερο επίπεδο διασφάλισης, συμπεριλαμβανομένης μεγαλύτερης αξιοπιστίας κατά τις περιόδους αιχμής. Όταν η κίνηση υπερβαίνει τα όρια της Priority, τα επιπλέον αιτήματα εξυπηρετούνται στη βαθμίδα Standard αντί να αποτυγχάνουν. Η απόκριση υποδεικνύει ποια βαθμίδα χειρίστηκε το αίτημα, παρέχοντας εικόνα για την απόδοση και τη χρέωση.
Πιθανές χρήσεις περιλαμβάνουν υποστήριξη πελατών σε πραγματικό χρόνο, ζωντανή εποπτεία περιεχομένου και άλλα αιτήματα ευαίσθητα ως προς τον χρόνο. Ορίστε το service_tier σε priority:
# Using the Priority tier for a critical alert
response = client.models.generate_content(
model="gemini-3-flash-preview",
contents="Triage this incoming security alert immediately.",
config={"service_tier": "priority"},
)
Η Priority είναι διαθέσιμη σε χρήστες με επί πληρωμή έργα Tier 2 ή Tier 3 μέσω του API `GenerateContent` και του Interactions API.
Για λεπτομέρειες σχετικά με τις τιμές, δείτε την τεκμηρίωση του Gemini API. Η πηγή παραπέμπει επίσης στο cookbook για παραδείγματα κώδικα που μπορούν να εκτελεστούν.
Αξιοποιήστε αυτόν τον οδηγό με το Ailoot
Συνδέστε μοντέλα τεχνητής νοημοσύνης με τις εφαρμογές, τους agent και τους αυτοματισμούς σας μέσω ενός API του Ailoot. Επιλέξτε το μοντέλο που ταιριάζει στην εργασία σας και ακολουθήστε την τεκμηρίωση του Ailoot για να ξεκινήσετε.