OpenAI: GPT-4o (batch)

Το GPT-4o είναι το ευέλικτο μοντέλο GPT της OpenAI για κατανόηση κειμένου και εικόνων, συγγραφή και εργασία σε εφαρμογές. Το «o» σημαίνει «omni», ενώ αυτό το τεκμηριωμένο μοντέλο δέχεται κείμενο και εικόνες και επιστρέφει κείμενο, συμπεριλαμβανομένων Structured Outputs. Ένα πρακτικό αίτημα μπορεί να συνδυάζει μια γραπτή περιγραφή με φωτογραφίες, στιγμιότυπα οθόνης ή σελίδες εγγράφων και να ζητά μια σαφή εξήγηση, ένα επεξεργασμένο παραδοτέο ή καθορισμένα πεδία για ένα άλλο στάδιο της εφαρμογής.

Για μια αναφορά, δώστε τα αρχικά έγγραφα και την απόφαση που πρέπει να υποστηρίζει η αναφορά. Προσδιορίστε τις σχετικές ημερομηνίες, μονάδες και ετικέτες τεκμηρίων και έπειτα ζητήστε μια σύγκριση που διαχωρίζει παρατηρήσεις, παραδοχές και πληροφορίες που λείπουν. Για μια οπτική εργασία, επισημάνετε το αντικείμενο, το γράφημα ή την κατάσταση διεπαφής που έχει σημασία και συμπεριλάβετε το περιβάλλον πλαίσιο. Για μια αλλαγή κώδικα, δώστε τον επηρεαζόμενο κώδικα, την επιθυμητή συμπεριφορά και τους περιορισμούς που πρέπει να παραμείνουν άθικτοι. Αυτοί είναι συγκεκριμένοι τρόποι χρήσης των δυνατοτήτων κειμένου και εικόνας του μοντέλου χωρίς να βασίζεστε στις οδηγίες για να υπονοήσουν ολόκληρη την εργασία.

Το τρέχον προφίλ GPT-4o της OpenAI αναφέρει παράθυρο συμφραζομένων 128.000 tokens, μέγιστη έξοδο 16.384 tokens και όριο γνώσεων την 1η Οκτωβρίου 2023. Ο πάροχος αναφέρει χωριστά αρκετά χρονολογημένα στιγμιότυπα GPT-4o. Η συνομιλία, το υλικό εισόδου και η παραγόμενη απάντηση μοιράζονται τον προϋπολογισμό συμφραζομένων, επομένως μια μεγάλη συλλογή εγγράφων εξακολουθεί να χρειάζεται οργάνωση και χώρο για το τελικό παραδοτέο της. Πραγματικά στοιχεία που αλλάζουν ή προέρχονται από ιδιωτικό σύστημα πρέπει να δίνονται απευθείας ή να λαμβάνονται μέσω ρητά διαμορφωμένου εργαλείου.

Ο οδηγός οπτικής κατανόησης δέχεται PNG, JPEG, WebP και μη κινούμενα GIF. Το GPT-4o υποστηρίζει λεπτομέρεια εικόνας low, high και auto· τα high και auto ακολουθούν επεξεργασία με πλακίδια εικόνας. Μεγεθύνετε μικρές ετικέτες, διατηρείτε το κείμενο στον σωστό προσανατολισμό και διατηρήστε το υπόμνημα ή το περιβάλλον διάγραμμα όταν ερμηνεύετε ένα γράφημα. Οι τεκμηριωμένοι περιορισμοί περιλαμβάνουν ακριβή χωρικό εντοπισμό, κατά προσέγγιση καταμετρήσεις αντικειμένων, ορισμένα μη λατινικά συστήματα γραφής και πανοραμικές λήψεις ή λήψεις με φακό fisheye. Το μοντέλο μπορεί επίσης να περιγράψει λανθασμένα μια εικόνα, επομένως διατηρήστε την πηγή και ζητήστε τις συγκεκριμένες παρατηρήσεις που στηρίζουν μια ερμηνεία. Στην τεκμηριωμένη ροή οπτικής κατανόησης της OpenAI, το συνολικό μέγεθος δεδομένων του αιτήματος περιορίζεται σε 512 MB και ένα αίτημα μπορεί να περιλαμβάνει έως 1.500 εικόνες· οι εικόνες και το κείμενο πρέπει επίσης να χωρούν στα συμφραζόμενα του μοντέλου.

Η ροή εισόδου αρχείων της OpenAI παρέχει σε ένα μοντέλο με οπτική κατανόηση τόσο το εξαγόμενο κείμενο όσο και εικόνες σελίδων από PDF. Τα έγγραφα γραφείου εκτός PDF παρέχουν εξαγόμενο κείμενο αντί για τα ενσωματωμένα γραφήματά τους, ενώ τα υπολογιστικά φύλλα εμπλουτίζονται με δεδομένα από έως τις πρώτες 1.000 γραμμές ανά φύλλο. Κάθε αρχείο πρέπει να είναι μικρότερο από 50 MB, με συνολικό όριο 50 MB ανά αίτημα. Το Chat Completions υποστηρίζει μέρη αρχείων PDF· η τεκμηριωμένη ροή Responses δέχεται επιπλέον μορφές αρχείων. Επιλέξτε αναπαράσταση PDF όπου έχει σημασία η οπτική πιστότητα και διατηρήστε ορατά τα αναγνωριστικά πηγών στο αποτέλεσμα.

Η συνεχής ροή μπορεί να επιστρέφει την απάντηση καθώς παράγεται. Τα Structured Outputs περιορίζουν μια ολοκληρωμένη απάντηση στο υποστηριζόμενο υποσύνολο του JSON Schema, καθιστώντας τα χρήσιμα για εξαγωγή στοιχείων από έγγραφα ή για ένα αντικείμενο εφαρμογής με καθορισμένα πεδία. Η λειτουργία JSON αφορά μόνο την εγκυρότητα JSON. Ορίστε τους αναμενόμενους τύπους, τις επιτρεπόμενες τιμές και την αντιμετώπιση των τεκμηρίων που λείπουν και έπειτα χειριστείτε χωριστά τις ρητές αρνήσεις ή τις ελλιπείς απαντήσεις. Ένα σχήμα δεν αποδεικνύει αν μια τιμή είναι πραγματικά σωστή, επομένως τα ζητούμενα πεδία πρέπει να παραμένουν ανιχνεύσιμα στο δοσμένο υλικό.

Ο πάροχος υποστηρίζει κλήσεις συναρτήσεων, αναζήτηση στον ιστό, αναζήτηση σε αρχεία, ερμηνεία κώδικα και συνδέσεις MCP. Οι προσαρμοσμένες συναρτήσεις χρειάζονται ουσιαστικές περιγραφές και σχήματα ορισμάτων· η εφαρμογή εκτελεί τη ζητούμενη ενέργεια και επιστρέφει το αποτέλεσμά της για το επόμενο βήμα του μοντέλου. Το GPT-4o μπορεί επίσης να κατευθύνει ξεχωριστό εργαλείο δημιουργίας εικόνων σε μια διαμορφωμένη ροή Responses. Μια εικόνα που δημιουργείται από εργαλείο είναι δικό της παραδοτέο, ενώ η εγγενής τεκμηριωμένη απάντηση του GPT-4o είναι κείμενο. Η τελική εξήγηση ενός πράκτορα πρέπει να χρησιμοποιεί πραγματικές παρατηρήσεις που ανακτήθηκαν ή υπολογίστηκαν, αντί να αντιμετωπίζει μια προτεινόμενη κλήση εργαλείου ως ολοκληρωμένη λειτουργία.

Τα Predicted Outputs είναι διαθέσιμα για το GPT-4o όταν αναπαράγεται σε μεγάλο βαθμό γνωστό κείμενο ή κώδικας με μικρές αλλαγές. Δώστε το υπάρχον περιεχόμενο και μια ακριβή τροποποίηση και έπειτα εξετάστε το επιστρεφόμενο παραδοτέο. Αυτή η διαδρομή μόνο κειμένου δεν συνδυάζεται με κλήσεις συναρτήσεων και εξαιρεί τα logprobs, max_completion_tokens και αρκετούς άλλους ελέγχους. Ένα αίτημα που χρησιμοποιεί εργαλεία είναι ξεχωριστή επιλογή όταν η απάντηση εξαρτάται από νέες πληροφορίες από εξωτερική λειτουργία.

Η OpenAI τεκμηριώνει προσαρμογή μέσω περαιτέρω εκπαίδευσης (fine-tuning) για το GPT-4o, ενώ ο οδηγός βελτιστοποίησής της κατονομάζει ειδικά το στιγμιότυπο της 6ης Αυγούστου 2024 για οπτική προσαρμογή με παραδείγματα εικόνων. Αυτή η ροή προσαρμογής του συγκεκριμένου στιγμιότυπου διαφέρει από ένα συνηθισμένο αίτημα προς το ψευδώνυμο του μοντέλου. Για καθημερινή συγγραφή, ανάλυση ή εξαγωγή στοιχείων, ξεκινήστε με μια χρήσιμη περιγραφή εργασίας και ένα παράδειγμα της επιθυμητής εξόδου. Μια επόμενη παρέμβαση μπορεί να διευκρινίσει ένα στοιχείο που λείπει, να αναθεωρήσει ένα πεδίο ή να βελτιώσει το ίδιο παραδοτέο διατηρώντας τα τεκμήρια και τους περιορισμούς της εργασίας.