Το Qwen2-VL-72B-Instruct είναι η οπτικογλωσσική έκδοση 72B, προσαρμοσμένη σε οδηγίες και βασισμένη στο Qwen2. Δέχεται κείμενο μαζί με εικόνες ή βίντεο και παράγει μια απάντηση σε κείμενο. Ο δημιουργός του επισημαίνει την κατανόηση εικόνων διαφορετικής ανάλυσης και αναλογίας πλευρών, την ερμηνεία κειμένου μέσα σε εικόνες, τον συλλογισμό για ορατές σχέσεις και την απάντηση σε ερωτήσεις για βίντεο διάρκειας άνω των 20 λεπτών.
Δυνατότητες εικόνας και βίντεο
Για μια σελίδα εγγράφου, ζητήστε το συγκεκριμένο περιεχόμενο που χρειάζεστε: μια παράγραφο, μια γραμμή πίνακα, έναν τύπο ή τις προϋποθέσεις που συνοδεύουν μια δήλωση. Διατηρήστε τη σελίδα ευανάγνωστη και προσδιορίστε αν το αποτέλεσμα πρέπει να μεταγράψει τη διατύπωση, να τη συνοψίσει ή να εξηγήσει το νόημά της. Ένα χρήσιμο αποτέλεσμα για έγγραφο μπορεί να διατηρεί την αρχική ετικέτα ενότητας δίπλα στο περιεχόμενο που εξάγεται. Για ένα διάγραμμα, ζητήστε πώς συνδέονται τα στοιχεία με ετικέτες και προσδιορίστε τη σχέση που χρειάζεται εξήγηση.
Η τεκμηριωμένη χρήση βίντεο περιλαμβάνει ερωτήσεις, διάλογο και γραπτό περιεχόμενο που βασίζονται στην ορατή ακολουθία. Ορίστε το γεγονός ή την αλλαγή που θέλετε να εξετάσετε: πότε εμφανίζεται ένα αντικείμενο, τι συμβαίνει πριν από ένα συγκεκριμένο βήμα ή πώς μια ενέργεια που παρουσιάζεται σχετίζεται με μια γραπτή διαδικασία. Ζητήστε μια περιγραφή γεγονότων με τη σειρά ή μια σύγκριση των ορατών βημάτων με τη διαδικασία που παρέχεται. Η αναφορά του δημιουργού σε διάρκεια άνω των 20 λεπτών περιγράφει την κατανόηση μεγάλων βίντεο· δεν αποτελεί σταθερή μέγιστη διάρκεια βίντεο ούτε εγγύηση ότι κάθε μη επεξεργασμένο κλιπ χωρά σε μια αμετάβλητη διαμόρφωση εισόδου.
Χρήση σε οπτικούς πράκτορες
Η κυκλοφορία τοποθετεί επίσης το Qwen2-VL ως μοντέλο για οπτικούς πράκτορες που συνδέονται με κινητές συσκευές, ρομπότ και άλλα εργαλεία. Η ανακοίνωσή του περιγράφει σενάρια κλήσης συναρτήσεων και διερμηνευτή κώδικα, όπως παραγωγή κώδικα από ένα διάγραμμα ή χρήση μιας οπτικής ερώτησης για να ζητηθεί εξωτερική αναζήτηση. Η εφαρμογή που το περιβάλλει παρέχει αυτά τα εργαλεία, εκτελεί την προτεινόμενη ενέργεια και επιστρέφει το αποτέλεσμα. Η απάντηση κειμένου του μοντέλου από μόνη της δεν κάνει κλικ σε ένα στοιχείο ελέγχου, δεν κινεί μια συσκευή και δεν εκτελεί το παραγόμενο πρόγραμμα.
Μια πρακτική εργασία σε περιβάλλον χρήστη μπορεί να παρέχει ένα στιγμιότυπο οθόνης και τον στόχο του χρήστη και έπειτα να ζητά το ορατό στοιχείο ελέγχου που σχετίζεται με το επόμενο βήμα και τα στοιχεία που στηρίζουν αυτή την επιλογή. Διατηρήστε την παρατήρηση, την προτεινόμενη ενέργεια και την πραγματική εκτέλεση ως χωριστά μέρη της ροής εργασίας. Έτσι αξιοποιείται η εστίαση σε οπτικούς πράκτορες και το ζητούμενο αποτέλεσμα γίνεται αρκετά συγκεκριμένο ώστε η εφαρμογή να μπορεί να ενεργήσει βάσει αυτού.
Πολυγλωσσικό κείμενο μέσα σε εικόνες
Ο δημιουργός περιγράφει αναγνώριση κειμένου μέσα σε εικόνες στα αγγλικά και στα κινεζικά, στις περισσότερες ευρωπαϊκές γλώσσες και σε γλώσσες όπως τα ιαπωνικά, τα κορεατικά, τα αραβικά και τα βιετναμέζικα. Μια πολυγλωσσική σελίδα μπορεί επομένως να αντιμετωπιστεί ως εργασία οπτικής ανάγνωσης. Ζητήστε πρώτα την αρχική μεταγραφή όταν έχει σημασία η ακριβής διατύπωση και έπειτα μετάφραση ή εξήγηση στην επιλεγμένη γλώσσα. Διατηρήστε τις ετικέτες και τους αριθμούς αντί να συνδυάζετε την αναγνώριση με μια απροσδιόριστη αναδιατύπωση.
Δυναμική ανάλυση και πληροφορίες θέσης
Το Qwen2-VL συνδυάζει έναν κωδικοποιητή όρασης με το γλωσσικό μοντέλο Qwen2. Το Naive Dynamic Resolution αντιστοιχίζει διαφορετικά μεγέθη εικόνων σε διαφορετικό αριθμό οπτικών token. Το Multimodal Rotary Position Embedding διαχωρίζει τις πληροφορίες θέσης, ώστε το μοντέλο να μπορεί να αναπαριστά τη σειρά του κειμένου, τις δισδιάστατες εικόνες και τη χρονική και χωρική δομή του βίντεο. Αυτά τα χαρακτηριστικά εξηγούν πώς η ίδια οικογένεια διαχειρίζεται μια σελίδα, πολλές εικόνες ή μια ακολουθία βίντεο.
Ο επεξεργαστής εικόνων της κάρτας του μοντέλου τεκμηριώνει ένα προεπιλεγμένο εύρος από 4 έως 16.384 οπτικά token ανά εικόνα. Η εφαρμογή μπορεί να προσαρμόζει τα ελάχιστα και μέγιστα pixel διατηρώντας την αναλογία πλευρών ή να ζητά διαστάσεις που στρογγυλοποιούνται σε πολλαπλάσιο του 28. Το ενδεικτικό εύρος από 256 έως 1.280 token είναι μια ρυθμιζόμενη απεικόνιση, όχι ένα χωριστό καθολικό όριο εικόνας. Η μεγαλύτερη λεπτομέρεια εικόνας απαιτεί περισσότερο υπολογισμό και περισσότερα οπτικά token, γι’ αυτό διατηρήστε τις ετικέτες, τις επικεφαλίδες και τα μικρά αντικείμενα που χρειάζονται για την ερώτηση κατά την προετοιμασία της εικόνας.
Προετοιμασία εισόδου και πλαίσιο
Ο δημιουργός παρουσιάζει μία εικόνα, πολλές εικόνες, βίντεο που παρέχεται ως ακολουθία καρέ ή τοπικό αρχείο και συνομιλίες σε παρτίδες. Η προετοιμασία εικόνων περιλαμβάνει τοπικά αρχεία, κωδικοποιημένα δεδομένα εικόνας και αναφορές εικόνων. Το παράδειγμα βίντεο της κάρτας χρησιμοποιεί έναν επιλεγμένο ρυθμό καρέ· αυτό το παράδειγμα δεν ορίζει έναν υποχρεωτικό ρυθμό δειγματοληψίας για κάθε βίντεο. Προσδιορίστε τη σειρά και τον ρόλο των πολλών εικόνων και δώστε τις πληροφορίες που χρειάζονται για την ερμηνεία μιας ακολουθίας αντί να αντιμετωπίζετε άσχετα καρέ ως μία σκηνή.
Η διαμόρφωση που κυκλοφόρησε ορίζει μέγιστο αριθμό θέσεων 32.768. Το οπτικό υλικό και οι οδηγίες κειμένου πρέπει να σχεδιάζονται μέσα στο πραγματικά διαμορφωμένο πλαίσιο. Το παράδειγμα παραγωγής 128 token της κάρτας αποτελεί μόνο ενδεικτική ρύθμιση· δεν δημοσιεύει χωριστή μέγιστη χωρητικότητα εξόδου. Η έκδοση 72B πρέπει να διατηρεί τη δική της διαμόρφωση αντί να κληρονομεί τις ρυθμίσεις μεγάλου πλαισίου του Qwen2.5-VL ή ενός διαφορετικού μοντέλου Qwen.
Ουσιαστικοί περιορισμοί
Ο δημιουργός δηλώνει ρητά ότι το Qwen2-VL δεν κατανοεί τον ήχο που περιέχεται στα βίντεο. Οι πληροφορίες που εκφωνούνται πρέπει επομένως να παρέχονται χωριστά, αν η ερώτηση εξαρτάται από αυτές. Το σύνολο δεδομένων εκπαίδευσης εικόνων περιγράφεται ως ενημερωμένο έως τον Ιούνιο του 2023· αυτό αφορά το συγκεκριμένο σύνολο δεδομένων και δεν αποτελεί υπόσχεση επίκαιρης οπτικής γνώσης.
Οι τεκμηριωμένοι περιορισμοί περιλαμβάνουν επίσης ελλιπή αναγνώριση συγκεκριμένων προσώπων ή κατονομασμένων έργων πνευματικής ιδιοκτησίας, δυσκολία με περίπλοκες οδηγίες πολλών βημάτων, αδύναμη καταμέτρηση σε σύνθετες σκηνές και περιορισμούς στον τρισδιάστατο χωρικό συλλογισμό. Όταν η εργασία εξαρτάται από μία από αυτές τις ικανότητες, εστιάστε την ερώτηση στα απαιτούμενα αντικείμενα ή στη σχέση και διατηρήστε τα οπτικά στοιχεία δίπλα στην απάντηση. Το σαφές αρχικό υλικό και μια καθορισμένη έξοδος διευκολύνουν την εξέταση του αποτελέσματος χωρίς να αντικαθιστούν αυτούς τους δηλωμένους περιορισμούς με εγγύηση ακρίβειας.
", "aboutText": "Το Qwen2-VL-72B-Instruct είναι η οπτικογλωσσική έκδοση 72B, προσαρμοσμένη σε οδηγίες και βασισμένη στο Qwen2. Δέχεται κείμενο μαζί με εικόνες ή βίντεο και παράγει μια απάντηση σε κείμενο. Ο δημιουργός του επισημαίνει την κατανόηση εικόνων διαφορετικής ανάλυσης και αναλογίας πλευρών, την ερμηνεία κειμένου μέσα σε εικόνες, τον συλλογισμό για ορατές σχέσεις και την απάντηση σε ερωτήσεις για βίντεο διάρκειας άνω των 20 λεπτών.\n\nΔυνατότητες εικόνας και βίντεο\n\nΓια μια σελίδα εγγράφου, ζητήστε το συγκεκριμένο περιεχόμενο που χρειάζεστε: μια παράγραφο, μια γραμμή πίνακα, έναν τύπο ή τις προϋποθέσεις που συνοδεύουν μια δήλωση. Διατηρήστε τη σελίδα ευανάγνωστη και προσδιορίστε αν το αποτέλεσμα πρέπει να μεταγράψει τη διατύπωση, να τη συνοψίσει ή να εξηγήσει το νόημά της. Ένα χρήσιμο αποτέλεσμα για έγγραφο μπορεί να διατηρεί την αρχική ετικέτα ενότητας δίπλα στο περιεχόμενο που εξάγεται. Για ένα διάγραμμα, ζητήστε πώς συνδέονται τα στοιχεία με ετικέτες και προσδιορίστε τη σχέση που χρειάζεται εξήγηση.\n\nΗ τεκμηριωμένη χρήση βίντεο περιλαμβάνει ερωτήσεις, διάλογο και γραπτό περιεχόμενο που βασίζονται στην ορατή ακολουθία. Ορίστε το γεγονός ή την αλλαγή που θέλετε να εξετάσετε: πότε εμφανίζεται ένα αντικείμενο, τι συμβαίνει πριν από ένα συγκεκριμένο βήμα ή πώς μια ενέργεια που παρουσιάζεται σχετίζεται με μια γραπτή διαδικασία. Ζητήστε μια περιγραφή γεγονότων με τη σειρά ή μια σύγκριση των ορατών βημάτων με τη διαδικασία που παρέχεται. Η αναφορά του δημιουργού σε διάρκεια άνω των 20 λεπτών περιγράφει την κατανόηση μεγάλων βίντεο· δεν αποτελεί σταθερή μέγιστη διάρκεια βίντεο ούτε εγγύηση ότι κάθε μη επεξεργασμένο κλιπ χωρά σε μια αμετάβλητη διαμόρφωση εισόδου.\n\nΧρήση σε οπτικούς πράκτορες\n\nΗ κυκλοφορία τοποθετεί επίσης το Qwen2-VL ως μοντέλο για οπτικούς πράκτορες που συνδέονται με κινητές συσκευές, ρομπότ και άλλα εργαλεία. Η ανακοίνωσή του περιγράφει σενάρια κλήσης συναρτήσεων και διερμηνευτή κώδικα, όπως παραγωγή κώδικα από ένα διάγραμμα ή χρήση μιας οπτικής ερώτησης για να ζητηθεί εξωτερική αναζήτηση. Η εφαρμογή που το περιβάλλει παρέχει αυτά τα εργαλεία, εκτελεί την προτεινόμενη ενέργεια και επιστρέφει το αποτέλεσμα. Η απάντηση κειμένου του μοντέλου από μόνη της δεν κάνει κλικ σε ένα στοιχείο ελέγχου, δεν κινεί μια συσκευή και δεν εκτελεί το παραγόμενο πρόγραμμα.\n\nΜια πρακτική εργασία σε περιβάλλον χρήστη μπορεί να παρέχει ένα στιγμιότυπο οθόνης και τον στόχο του χρήστη και έπειτα να ζητά το ορατό στοιχείο ελέγχου που σχετίζεται με το επόμενο βήμα και τα στοιχεία που στηρίζουν αυτή την επιλογή. Διατηρήστε την παρατήρηση, την προτεινόμενη ενέργεια και την πραγματική εκτέλεση ως χωριστά μέρη της ροής εργασίας. Έτσι αξιοποιείται η εστίαση σε οπτικούς πράκτορες και το ζητούμενο αποτέλεσμα γίνεται αρκετά συγκεκριμένο ώστε η εφαρμογή να μπορεί να ενεργήσει βάσει αυτού.\n\nΠολυγλωσσικό κείμενο μέσα σε εικόνες\n\nΟ δημιουργός περιγράφει αναγνώριση κειμένου μέσα σε εικόνες στα αγγλικά και στα κινεζικά, στις περισσότερες ευρωπαϊκές γλώσσες και σε γλώσσες όπως τα ιαπωνικά, τα κορεατικά, τα αραβικά και τα βιετναμέζικα. Μια πολυγλωσσική σελίδα μπορεί επομένως να αντιμετωπιστεί ως εργασία οπτικής ανάγνωσης. Ζητήστε πρώτα την αρχική μεταγραφή όταν έχει σημασία η ακριβής διατύπωση και έπειτα μετάφραση ή εξήγηση στην επιλεγμένη γλώσσα. Διατηρήστε τις ετικέτες και τους αριθμούς αντί να συνδυάζετε την αναγνώριση με μια απροσδιόριστη αναδιατύπωση.\n\nΔυναμική ανάλυση και πληροφορίες θέσης\n\nΤο Qwen2-VL συνδυάζει έναν κωδικοποιητή όρασης με το γλωσσικό μοντέλο Qwen2. Το Naive Dynamic Resolution αντιστοιχίζει διαφορετικά μεγέθη εικόνων σε διαφορετικό αριθμό οπτικών token. Το Multimodal Rotary Position Embedding διαχωρίζει τις πληροφορίες θέσης, ώστε το μοντέλο να μπορεί να αναπαριστά τη σειρά του κειμένου, τις δισδιάστατες εικόνες και τη χρονική και χωρική δομή του βίντεο. Αυτά τα χαρακτηριστικά εξηγούν πώς η ίδια οικογένεια διαχειρίζεται μια σελίδα, πολλές εικόνες ή μια ακολουθία βίντεο.\n\nΟ επεξεργαστής εικόνων της κάρτας του μοντέλου τεκμηριώνει ένα προεπιλεγμένο εύρος από 4 έως 16.384 οπτικά token ανά εικόνα. Η εφαρμογή μπορεί να προσαρμόζει τα ελάχιστα και μέγιστα pixel διατηρώντας την αναλογία πλευρών ή να ζητά διαστάσεις που στρογγυλοποιούνται σε πολλαπλάσιο του 28. Το ενδεικτικό εύρος από 256 έως 1.280 token είναι μια ρυθμιζόμενη απεικόνιση, όχι ένα χωριστό καθολικό όριο εικόνας. Η μεγαλύτερη λεπτομέρεια εικόνας απαιτεί περισσότερο υπολογισμό και περισσότερα οπτικά token, γι’ αυτό διατηρήστε τις ετικέτες, τις επικεφαλίδες και τα μικρά αντικείμενα που χρειάζονται για την ερώτηση κατά την προετοιμασία της εικόνας.\n\nΠροετοιμασία εισόδου και πλαίσιο\n\nΟ δημιουργός παρουσιάζει μία εικόνα, πολλές εικόνες, βίντεο που παρέχεται ως ακολουθία καρέ ή τοπικό αρχείο και συνομιλίες σε παρτίδες. Η προετοιμασία εικόνων περιλαμβάνει τοπικά αρχεία, κωδικοποιημένα δεδομένα εικόνας και αναφορές εικόνων. Το παράδειγμα βίντεο της κάρτας χρησιμοποιεί έναν επιλεγμένο ρυθμό καρέ· αυτό το παράδειγμα δεν ορίζει έναν υποχρεωτικό ρυθμό δειγματοληψίας για κάθε βίντεο. Προσδιορίστε τη σειρά και τον ρόλο των πολλών εικόνων και δώστε τις πληροφορίες που χρειάζονται για την ερμηνεία μιας ακολουθίας αντί να αντιμετωπίζετε άσχετα καρέ ως μία σκηνή.\n\nΗ διαμόρφωση που κυκλοφόρησε ορίζει μέγιστο αριθμό θέσεων 32.768. Το οπτικό υλικό και οι οδηγίες κειμένου πρέπει να σχεδιάζονται μέσα στο πραγματικά διαμορφωμένο πλαίσιο. Το παράδειγμα παραγωγής 128 token της κάρτας αποτελεί μόνο ενδεικτική ρύθμιση· δεν δημοσιεύει χωριστή μέγιστη χωρητικότητα εξόδου. Η έκδοση 72B πρέπει να διατηρεί τη δική της διαμόρφωση αντί να κληρονομεί τις ρυθμίσεις μεγάλου πλαισίου του Qwen2.5-VL ή ενός διαφορετικού μοντέλου Qwen.\n\nΟυσιαστικοί περιορισμοί\n\nΟ δημιουργός δηλώνει ρητά ότι το Qwen2-VL δεν κατανοεί τον ήχο που περιέχεται στα βίντεο. Οι πληροφορίες που εκφωνούνται πρέπει επομένως να παρέχονται χωριστά, αν η ερώτηση εξαρτάται από αυτές. Το σύνολο δεδομένων εκπαίδευσης εικόνων περιγράφεται ως ενημερωμένο έως τον Ιούνιο του 2023· αυτό αφορά το συγκεκριμένο σύνολο δεδομένων και δεν αποτελεί υπόσχεση επίκαιρης οπτικής γνώσης.\n\nΟι τεκμηριωμένοι περιορισμοί περιλαμβάνουν επίσης ελλιπή αναγνώριση συγκεκριμένων προσώπων ή κατονομασμένων έργων πνευματικής ιδιοκτησίας, δυσκολία με περίπλοκες οδηγίες πολλών βημάτων, αδύναμη καταμέτρηση σε σύνθετες σκηνές και περιορισμούς στον τρισδιάστατο χωρικό συλλογισμό. Όταν η εργασία εξαρτάται από μία από αυτές τις ικανότητες, εστιάστε την ερώτηση στα απαιτούμενα αντικείμενα ή στη σχέση και διατηρήστε τα οπτικά στοιχεία δίπλα στην απάντηση. Το σαφές αρχικό υλικό και μια καθορισμένη έξοδος διευκολύνουν την εξέταση του αποτελέσματος χωρίς να αντικαθιστούν αυτούς τους δηλωμένους περιορισμούς με εγγύηση ακρίβειας.", "editorialOverlay": { "copy_fields": { "practical_html": "Τεχνικό παράδειγμα στα αγγλικά
Read a supplied document transcription\n\nUse this text transcription of page P2, section Limits: 'Store below 25 C. Once opened, use within seven days. Do not freeze.' Return the original wording first, then a plain-English explanation separating the temperature, time and freezing conditions. Preserve P2 as the source label. No image or video is attached.A labelled transcription followed by three source-grounded explanations of the conditions.Below 25 C is not rewritten as at or below 25 C, and the seven-day period starts at opening.Qwen/Qwen2-VL-72B-InstructΤο Qwen2-VL-72B-Instruct συνδυάζει κείμενο, εικόνες και βίντεο για οπτικές ερωτήσεις, ανάγνωση εγγράφων και πολυγλωσσικό κείμενο μέσα σε εικόνες. Ο δημιουργός του περιγράφει κατανόηση βίντεο διάρκειας άνω των 20 λεπτών, δυναμική ανάλυση εικόνων και ενσωματώσεις σε οπτικούς πράκτορες· η απάντηση είναι κείμενο.
Αυτή η περιγραφή καλύπτει τις δυνατότητες του μοντέλου. Οι είσοδοι, έξοδοι και επιλογές που διατίθενται στο Ailoot παρατίθενται παρακάτω για την επιλεγμένη μέθοδο.
Το Qwen2-VL-72B-Instruct είναι η οπτικογλωσσική έκδοση 72B, προσαρμοσμένη σε οδηγίες και βασισμένη στο Qwen2. Δέχεται κείμενο μαζί με εικόνες ή βίντεο και παράγει μια απάντηση σε κείμενο. Ο δημιουργός του επισημαίνει την κατανόηση εικόνων διαφορετικής ανάλυσης και αναλογίας πλευρών, την ερμηνεία κειμένου μέσα σε εικόνες, τον συλλογισμό για ορατές σχέσεις και την απάντηση σε ερωτήσεις για βίντεο διάρκειας άνω των 20 λεπτών.
Δυνατότητες εικόνας και βίντεο
Για μια σελίδα εγγράφου, ζητήστε το συγκεκριμένο περιεχόμενο που χρειάζεστε: μια παράγραφο, μια γραμμή πίνακα, έναν τύπο ή τις προϋποθέσεις που συνοδεύουν μια δήλωση. Διατηρήστε τη σελίδα ευανάγνωστη και προσδιορίστε αν το αποτέλεσμα πρέπει να μεταγράψει τη διατύπωση, να τη συνοψίσει ή να εξηγήσει το νόημά της. Ένα χρήσιμο αποτέλεσμα για έγγραφο μπορεί να διατηρεί την αρχική ετικέτα ενότητας δίπλα στο περιεχόμενο που εξάγεται. Για ένα διάγραμμα, ζητήστε πώς συνδέονται τα στοιχεία με ετικέτες και προσδιορίστε τη σχέση που χρειάζεται εξήγηση.
Η τεκμηριωμένη χρήση βίντεο περιλαμβάνει ερωτήσεις, διάλογο και γραπτό περιεχόμενο που βασίζονται στην ορατή ακολουθία. Ορίστε το γεγονός ή την αλλαγή που θέλετε να εξετάσετε: πότε εμφανίζεται ένα αντικείμενο, τι συμβαίνει πριν από ένα συγκεκριμένο βήμα ή πώς μια ενέργεια που παρουσιάζεται σχετίζεται με μια γραπτή διαδικασία. Ζητήστε μια περιγραφή γεγονότων με τη σειρά ή μια σύγκριση των ορατών βημάτων με τη διαδικασία που παρέχεται. Η αναφορά του δημιουργού σε διάρκεια άνω των 20 λεπτών περιγράφει την κατανόηση μεγάλων βίντεο· δεν αποτελεί σταθερή μέγιστη διάρκεια βίντεο ούτε εγγύηση ότι κάθε μη επεξεργασμένο κλιπ χωρά σε μια αμετάβλητη διαμόρφωση εισόδου.
Χρήση σε οπτικούς πράκτορες
Η κυκλοφορία τοποθετεί επίσης το Qwen2-VL ως μοντέλο για οπτικούς πράκτορες που συνδέονται με κινητές συσκευές, ρομπότ και άλλα εργαλεία. Η ανακοίνωσή του περιγράφει σενάρια κλήσης συναρτήσεων και διερμηνευτή κώδικα, όπως παραγωγή κώδικα από ένα διάγραμμα ή χρήση μιας οπτικής ερώτησης για να ζητηθεί εξωτερική αναζήτηση. Η εφαρμογή που το περιβάλλει παρέχει αυτά τα εργαλεία, εκτελεί την προτεινόμενη ενέργεια και επιστρέφει το αποτέλεσμα. Η απάντηση κειμένου του μοντέλου από μόνη της δεν κάνει κλικ σε ένα στοιχείο ελέγχου, δεν κινεί μια συσκευή και δεν εκτελεί το παραγόμενο πρόγραμμα.
Μια πρακτική εργασία σε περιβάλλον χρήστη μπορεί να παρέχει ένα στιγμιότυπο οθόνης και τον στόχο του χρήστη και έπειτα να ζητά το ορατό στοιχείο ελέγχου που σχετίζεται με το επόμενο βήμα και τα στοιχεία που στηρίζουν αυτή την επιλογή. Διατηρήστε την παρατήρηση, την προτεινόμενη ενέργεια και την πραγματική εκτέλεση ως χωριστά μέρη της ροής εργασίας. Έτσι αξιοποιείται η εστίαση σε οπτικούς πράκτορες και το ζητούμενο αποτέλεσμα γίνεται αρκετά συγκεκριμένο ώστε η εφαρμογή να μπορεί να ενεργήσει βάσει αυτού.
Πολυγλωσσικό κείμενο μέσα σε εικόνες
Ο δημιουργός περιγράφει αναγνώριση κειμένου μέσα σε εικόνες στα αγγλικά και στα κινεζικά, στις περισσότερες ευρωπαϊκές γλώσσες και σε γλώσσες όπως τα ιαπωνικά, τα κορεατικά, τα αραβικά και τα βιετναμέζικα. Μια πολυγλωσσική σελίδα μπορεί επομένως να αντιμετωπιστεί ως εργασία οπτικής ανάγνωσης. Ζητήστε πρώτα την αρχική μεταγραφή όταν έχει σημασία η ακριβής διατύπωση και έπειτα μετάφραση ή εξήγηση στην επιλεγμένη γλώσσα. Διατηρήστε τις ετικέτες και τους αριθμούς αντί να συνδυάζετε την αναγνώριση με μια απροσδιόριστη αναδιατύπωση.
Δυναμική ανάλυση και πληροφορίες θέσης
Το Qwen2-VL συνδυάζει έναν κωδικοποιητή όρασης με το γλωσσικό μοντέλο Qwen2. Το Naive Dynamic Resolution αντιστοιχίζει διαφορετικά μεγέθη εικόνων σε διαφορετικό αριθμό οπτικών token. Το Multimodal Rotary Position Embedding διαχωρίζει τις πληροφορίες θέσης, ώστε το μοντέλο να μπορεί να αναπαριστά τη σειρά του κειμένου, τις δισδιάστατες εικόνες και τη χρονική και χωρική δομή του βίντεο. Αυτά τα χαρακτηριστικά εξηγούν πώς η ίδια οικογένεια διαχειρίζεται μια σελίδα, πολλές εικόνες ή μια ακολουθία βίντεο.
Ο επεξεργαστής εικόνων της κάρτας του μοντέλου τεκμηριώνει ένα προεπιλεγμένο εύρος από 4 έως 16.384 οπτικά token ανά εικόνα. Η εφαρμογή μπορεί να προσαρμόζει τα ελάχιστα και μέγιστα pixel διατηρώντας την αναλογία πλευρών ή να ζητά διαστάσεις που στρογγυλοποιούνται σε πολλαπλάσιο του 28. Το ενδεικτικό εύρος από 256 έως 1.280 token είναι μια ρυθμιζόμενη απεικόνιση, όχι ένα χωριστό καθολικό όριο εικόνας. Η μεγαλύτερη λεπτομέρεια εικόνας απαιτεί περισσότερο υπολογισμό και περισσότερα οπτικά token, γι’ αυτό διατηρήστε τις ετικέτες, τις επικεφαλίδες και τα μικρά αντικείμενα που χρειάζονται για την ερώτηση κατά την προετοιμασία της εικόνας.
Προετοιμασία εισόδου και πλαίσιο
Ο δημιουργός παρουσιάζει μία εικόνα, πολλές εικόνες, βίντεο που παρέχεται ως ακολουθία καρέ ή τοπικό αρχείο και συνομιλίες σε παρτίδες. Η προετοιμασία εικόνων περιλαμβάνει τοπικά αρχεία, κωδικοποιημένα δεδομένα εικόνας και αναφορές εικόνων. Το παράδειγμα βίντεο της κάρτας χρησιμοποιεί έναν επιλεγμένο ρυθμό καρέ· αυτό το παράδειγμα δεν ορίζει έναν υποχρεωτικό ρυθμό δειγματοληψίας για κάθε βίντεο. Προσδιορίστε τη σειρά και τον ρόλο των πολλών εικόνων και δώστε τις πληροφορίες που χρειάζονται για την ερμηνεία μιας ακολουθίας αντί να αντιμετωπίζετε άσχετα καρέ ως μία σκηνή.
Η διαμόρφωση που κυκλοφόρησε ορίζει μέγιστο αριθμό θέσεων 32.768. Το οπτικό υλικό και οι οδηγίες κειμένου πρέπει να σχεδιάζονται μέσα στο πραγματικά διαμορφωμένο πλαίσιο. Το παράδειγμα παραγωγής 128 token της κάρτας αποτελεί μόνο ενδεικτική ρύθμιση· δεν δημοσιεύει χωριστή μέγιστη χωρητικότητα εξόδου. Η έκδοση 72B πρέπει να διατηρεί τη δική της διαμόρφωση αντί να κληρονομεί τις ρυθμίσεις μεγάλου πλαισίου του Qwen2.5-VL ή ενός διαφορετικού μοντέλου Qwen.
Ουσιαστικοί περιορισμοί
Ο δημιουργός δηλώνει ρητά ότι το Qwen2-VL δεν κατανοεί τον ήχο που περιέχεται στα βίντεο. Οι πληροφορίες που εκφωνούνται πρέπει επομένως να παρέχονται χωριστά, αν η ερώτηση εξαρτάται από αυτές. Το σύνολο δεδομένων εκπαίδευσης εικόνων περιγράφεται ως ενημερωμένο έως τον Ιούνιο του 2023· αυτό αφορά το συγκεκριμένο σύνολο δεδομένων και δεν αποτελεί υπόσχεση επίκαιρης οπτικής γνώσης.
Οι τεκμηριωμένοι περιορισμοί περιλαμβάνουν επίσης ελλιπή αναγνώριση συγκεκριμένων προσώπων ή κατονομασμένων έργων πνευματικής ιδιοκτησίας, δυσκολία με περίπλοκες οδηγίες πολλών βημάτων, αδύναμη καταμέτρηση σε σύνθετες σκηνές και περιορισμούς στον τρισδιάστατο χωρικό συλλογισμό. Όταν η εργασία εξαρτάται από μία από αυτές τις ικανότητες, εστιάστε την ερώτηση στα απαιτούμενα αντικείμενα ή στη σχέση και διατηρήστε τα οπτικά στοιχεία δίπλα στην απάντηση. Το σαφές αρχικό υλικό και μια καθορισμένη έξοδος διευκολύνουν την εξέταση του αποτελέσματος χωρίς να αντικαθιστούν αυτούς τους δηλωμένους περιορισμούς με εγγύηση ακρίβειας.
POST /v1/chat/completionstexttext| Πεδίο | Τύπος | Απαίτηση | Τιμές και όρια | Προεπιλογή |
|---|---|---|---|---|
Πεδίοmodel | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια Qwen/Qwen2-VL-72B-Instruct | Προεπιλογή— |
Πεδίοmessages | Τύποςmessage[] | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια Ελάχιστο πλήθος στοιχείων: 1 | Προεπιλογή— |
Πεδίοmessages[].role | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια Παραδείγματα: system, user, assistant, tool, function Συνθήκες: Αυτοί οι ρόλοι αναπαρίστανται ρητά από τους τύπους συμβατότητας του πηγαίου κώδικα· το ακριβές σύνολο ρόλων παραμένει ειδικό για κάθε μοντέλο. Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοmessages[].content | Τύποςstring|content_part[]|null | ΑπαίτησηΠροαιρετικό | Τιμές και όρια | Προεπιλογή— |
Πεδίοmessages[].tool_calls | Τύποςtool_call[] | ΑπαίτησηΠροαιρετικό | Τιμές και όρια | Προεπιλογή— |
Πεδίοmessages[].tool_call_id | Τύποςstring | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εφαρμόζεται όταν: role=tool· χρησιμοποιήστε το πραγματικό ID που επιστράφηκε | Προεπιλογή— |
Πεδίοmessages[].name | Τύποςstring | ΑπαίτησηΠροαιρετικό | Τιμές και όρια | Προεπιλογή— |
Πεδίοmessages[].reasoning_content | Τύποςstring | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εφαρμόζεται όταν: Επαναποστείλετε το πραγματικό περιεχόμενο συλλογιστικής που επιστράφηκε, όταν το μοντέλο το χρησιμοποιεί | Προεπιλογή— |
Πεδίοmessages[].reasoning_details | Τύποςobject|array | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοmax_tokens | Τύποςinteger | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Ελάχιστο: 1 Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοmax_completion_tokens | Τύποςinteger | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Ελάχιστο: 1 Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοstream | Τύποςboolean | ΑπαίτησηΠροαιρετικό | Τιμές και όρια | Προεπιλογήfalse |
Πεδίοstream_options.include_usage | Τύποςboolean | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοtemperature | Τύποςnumber | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοtop_p | Τύποςnumber | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοstop | Τύποςstring|string[] | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοtools | Τύποςfunction_tool[] | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοtools[].type | Τύποςstring | ΑπαίτησηΠροαιρετικό | Τιμές και όρια function Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοtools[].function.name | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια Εφαρμόζεται όταν: Παρεχόμενο εργαλείο τύπου συνάρτησης | Προεπιλογή— |
Πεδίοtools[].function.description | Τύποςstring | ΑπαίτησηΠροαιρετικό | Τιμές και όρια | Προεπιλογή— |
Πεδίοtools[].function.parameters | ΤύποςJSON_schema | ΑπαίτησηΠροαιρετικό | Τιμές και όρια | Προεπιλογή— |
Πεδίοtool_choice | Τύποςstring|object | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοparallel_tool_calls | Τύποςboolean | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοresponse_format | Τύποςobject | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοreasoning_effort | Τύποςstring | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοreasoning | Τύποςobject | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοservice_tier | Τύποςstring | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοinstructions | Τύποςstring | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Πεδίο συμβατότητας | Προεπιλογή— |
Πεδίοfunctions | Τύποςfunction[] | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοfunction_call | Τύποςstring|object | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοprompt_cache_options | Τύποςobject | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Εξαρτάται από το μοντέλο | Προεπιλογή— |
Πεδίοmodalities | Τύποςstring[] | ΑπαίτησηΠροαιρετικό | Τιμές και όρια text | Προεπιλογή— |
Πεδίοprovider | Τύποςobject | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Το provider.options απορρίπτεται σε αυτή τη διαδρομή κειμένου Ultra | Προεπιλογή— |
Πεδίοcache_control.ttl | Τύποςstring | ΑπαίτησηΠροαιρετικό | Τιμές και όρια Συνθήκες: Το 1h απορρίπτεται στα πραγματικά πεδία κρυφής μνήμης προτροπών | Προεπιλογή— |
Κείμενο · Κείμενο UTF8
messages[].content
| Παράμετρος | Σύμβαση |
|---|---|
Παράμετροςcontent_type | Σύμβασηapplication/json |
Παράμετροςrequired | Σύμβασηmodel, messages |
Παράμετροςmaterial_types | Σύμβασηtext |
Παράμετροςmessages | ΣύμβασηΠίνακας μηνυμάτων με δομή role/content |
Παράμετροςfile_material | Σύμβασηπραγματικό έγγραφο UTF-8 που εισάγεται ως αυτούσιο κείμενο· δεν συνάγεται ID αρχείου |
Παράμετροςoptional_controls | Σύμβασηstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Παράμετροςcontrol_scope | Σύμβασηεξαρτάται από το μοντέλο· τα εργαλεία συναρτήσεων του χρήστη διαφέρουν από τα φιλοξενούμενα εργαλεία |
Παράμετροςoutput_modalities | Σύμβασηtext |
Παράμετροςhosted_operations | Σύμβασηfalse |
Παράμετροςmultimodal_input_binding | Σύμβασηnull |
Κύκλος ζωής: synchronous_or_streamed
Στείλτε το ακριβές ID μοντέλου μαζί με το messages.
Το μήκος συμφραζομένων δεν είναι ανώτατο όριο εξόδου.
Ένα αρχείο κειμένου μπορεί να παρέχει αυτούσιο κείμενο· οι είσοδοι εικόνας/ήχου/αντικειμένων αρχείων χρειάζονται ακριβή αντιστοίχιση.
Οι τιμολογιακές αναφορές δεν προσθέτουν επιλογές αιτήματος. Οι υποστηριζόμενες παράμετροι αναφέρονται στην επιλεγμένη μέθοδο.
| Διαμόρφωση | Πίνακας χρεώσεων | Χρέωση |
|---|---|---|
| ΔιαμόρφωσηΒασικές χρεώσεις ανά token | Πίνακας χρεώσεωνΒασική χρέωση | Χρέωση Είσοδος · Token εισόδου $0.00118 / 1K token Έξοδος · Token εξόδου $0.00118 / 1K token Είσοδος · Ανάγνωση από την κρυφή μνήμη $0 / 1K token Είσοδος · Εγγραφή στην κρυφή μνήμη $0 / 1K token Είσοδος · Εγγραφή στην κρυφή μνήμη, 1 ώρα — / 1K token |
Το Ailoot δεσμεύει ένα εκτιμώμενο ποσό πριν από το αίτημα. Μετά το αποτέλεσμα, εκκαθαρίζει την τελική χρέωση βάσει της μετρημένης χρήσης. Η εκκαθάριση ροής χρησιμοποιεί την τελική καταγραφή χρήσης. Πώς λειτουργούν η δέσμευση και η εκκαθάριση →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "Qwen/Qwen2-VL-72B-Instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='Qwen/Qwen2-VL-72B-Instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='Qwen/Qwen2-VL-72B-Instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ή SSE
Διατηρήστε κάθε πλήρη απάντηση, αρχείο και τμήμα περιεχομένου που επιστρέφεται.
Διατηρήστε κάθε επιλογή και το περιεχόμενο/τις κλήσεις εργαλείων/το περιεχόμενο συλλογιστικής της. Στο SSE συνθέστε τις διαφορικές ενημερώσεις ανά δείκτη επιλογής/εργαλείου και κρατήστε την τελική αιτία τερματισμού και τα στοιχεία χρήσης.
Διατηρήστε τα ID αιτήματος/απάντησης και τις κεφαλίδες. Δεν παρέχεται γενικό URL ανάκτησης εργασιών κειμένου.
| Πεδίο | Τύπος |
|---|---|
Πεδίοchoices[].index | Τύποςinteger |
Πεδίοchoices[].message.content | Τύποςstring|null |
Πεδίοchoices[].message.tool_calls | Τύποςtool_call[] |
Πεδίοchoices[].message.reasoning_content | Τύποςstring |
Πεδίοchoices[].message.reasoning_details | Τύποςobject|array |
Πεδίοchoices[].finish_reason | Τύποςstring|null |
Πεδίοusage | Τύποςobject |
| Απάντηση | Συνθήκη | Επόμενο βήμα |
|---|---|---|
Απάντηση400 · invalid_request_error | ΣυνθήκηΜη έγκυρα υποχρεωτικά πεδία, μη έγκυρη αναπαράσταση υλικού ή μη έγκυρη τιμή παραμέτρου | Επόμενο βήμαΔιορθώστε τα υποδεικνυόμενα πεδία πριν από νέο αίτημα δημιουργίας. |
Ailoot Ultra Qwen/Qwen2-VL-72B-Instruct
Χρησιμοποιήστε τις διαδρομές μεθόδων που εμφανίζονται παραπάνω.
Qwen/Qwen2-VL-72B-InstructΤο Qwen2-VL-72B-Instruct συνδυάζει κείμενο, εικόνες και βίντεο για οπτικές ερωτήσεις, ανάγνωση εγγράφων και πολυγλωσσικό κείμενο μέσα σε εικόνες. Ο δημιουργός του περιγράφει κατανόηση βίντεο διάρκειας άνω των 20 λεπτών, δυναμική ανάλυση εικόνων και ενσωματώσεις σε οπτικούς πράκτορες· η απάντηση είναι κείμενο.
Αυτή η περιγραφή καλύπτει τις δυνατότητες του μοντέλου. Οι είσοδοι, έξοδοι και επιλογές που διατίθενται στο Ailoot παρατίθενται παρακάτω για την επιλεγμένη μέθοδο.
Το Qwen2-VL-72B-Instruct είναι η οπτικογλωσσική έκδοση 72B, προσαρμοσμένη σε οδηγίες και βασισμένη στο Qwen2. Δέχεται κείμενο μαζί με εικόνες ή βίντεο και παράγει μια απάντηση σε κείμενο. Ο δημιουργός του επισημαίνει την κατανόηση εικόνων διαφορετικής ανάλυσης και αναλογίας πλευρών, την ερμηνεία κειμένου μέσα σε εικόνες, τον συλλογισμό για ορατές σχέσεις και την απάντηση σε ερωτήσεις για βίντεο διάρκειας άνω των 20 λεπτών.
Δυνατότητες εικόνας και βίντεο
Για μια σελίδα εγγράφου, ζητήστε το συγκεκριμένο περιεχόμενο που χρειάζεστε: μια παράγραφο, μια γραμμή πίνακα, έναν τύπο ή τις προϋποθέσεις που συνοδεύουν μια δήλωση. Διατηρήστε τη σελίδα ευανάγνωστη και προσδιορίστε αν το αποτέλεσμα πρέπει να μεταγράψει τη διατύπωση, να τη συνοψίσει ή να εξηγήσει το νόημά της. Ένα χρήσιμο αποτέλεσμα για έγγραφο μπορεί να διατηρεί την αρχική ετικέτα ενότητας δίπλα στο περιεχόμενο που εξάγεται. Για ένα διάγραμμα, ζητήστε πώς συνδέονται τα στοιχεία με ετικέτες και προσδιορίστε τη σχέση που χρειάζεται εξήγηση.
Η τεκμηριωμένη χρήση βίντεο περιλαμβάνει ερωτήσεις, διάλογο και γραπτό περιεχόμενο που βασίζονται στην ορατή ακολουθία. Ορίστε το γεγονός ή την αλλαγή που θέλετε να εξετάσετε: πότε εμφανίζεται ένα αντικείμενο, τι συμβαίνει πριν από ένα συγκεκριμένο βήμα ή πώς μια ενέργεια που παρουσιάζεται σχετίζεται με μια γραπτή διαδικασία. Ζητήστε μια περιγραφή γεγονότων με τη σειρά ή μια σύγκριση των ορατών βημάτων με τη διαδικασία που παρέχεται. Η αναφορά του δημιουργού σε διάρκεια άνω των 20 λεπτών περιγράφει την κατανόηση μεγάλων βίντεο· δεν αποτελεί σταθερή μέγιστη διάρκεια βίντεο ούτε εγγύηση ότι κάθε μη επεξεργασμένο κλιπ χωρά σε μια αμετάβλητη διαμόρφωση εισόδου.
Χρήση σε οπτικούς πράκτορες
Η κυκλοφορία τοποθετεί επίσης το Qwen2-VL ως μοντέλο για οπτικούς πράκτορες που συνδέονται με κινητές συσκευές, ρομπότ και άλλα εργαλεία. Η ανακοίνωσή του περιγράφει σενάρια κλήσης συναρτήσεων και διερμηνευτή κώδικα, όπως παραγωγή κώδικα από ένα διάγραμμα ή χρήση μιας οπτικής ερώτησης για να ζητηθεί εξωτερική αναζήτηση. Η εφαρμογή που το περιβάλλει παρέχει αυτά τα εργαλεία, εκτελεί την προτεινόμενη ενέργεια και επιστρέφει το αποτέλεσμα. Η απάντηση κειμένου του μοντέλου από μόνη της δεν κάνει κλικ σε ένα στοιχείο ελέγχου, δεν κινεί μια συσκευή και δεν εκτελεί το παραγόμενο πρόγραμμα.
Μια πρακτική εργασία σε περιβάλλον χρήστη μπορεί να παρέχει ένα στιγμιότυπο οθόνης και τον στόχο του χρήστη και έπειτα να ζητά το ορατό στοιχείο ελέγχου που σχετίζεται με το επόμενο βήμα και τα στοιχεία που στηρίζουν αυτή την επιλογή. Διατηρήστε την παρατήρηση, την προτεινόμενη ενέργεια και την πραγματική εκτέλεση ως χωριστά μέρη της ροής εργασίας. Έτσι αξιοποιείται η εστίαση σε οπτικούς πράκτορες και το ζητούμενο αποτέλεσμα γίνεται αρκετά συγκεκριμένο ώστε η εφαρμογή να μπορεί να ενεργήσει βάσει αυτού.
Πολυγλωσσικό κείμενο μέσα σε εικόνες
Ο δημιουργός περιγράφει αναγνώριση κειμένου μέσα σε εικόνες στα αγγλικά και στα κινεζικά, στις περισσότερες ευρωπαϊκές γλώσσες και σε γλώσσες όπως τα ιαπωνικά, τα κορεατικά, τα αραβικά και τα βιετναμέζικα. Μια πολυγλωσσική σελίδα μπορεί επομένως να αντιμετωπιστεί ως εργασία οπτικής ανάγνωσης. Ζητήστε πρώτα την αρχική μεταγραφή όταν έχει σημασία η ακριβής διατύπωση και έπειτα μετάφραση ή εξήγηση στην επιλεγμένη γλώσσα. Διατηρήστε τις ετικέτες και τους αριθμούς αντί να συνδυάζετε την αναγνώριση με μια απροσδιόριστη αναδιατύπωση.
Δυναμική ανάλυση και πληροφορίες θέσης
Το Qwen2-VL συνδυάζει έναν κωδικοποιητή όρασης με το γλωσσικό μοντέλο Qwen2. Το Naive Dynamic Resolution αντιστοιχίζει διαφορετικά μεγέθη εικόνων σε διαφορετικό αριθμό οπτικών token. Το Multimodal Rotary Position Embedding διαχωρίζει τις πληροφορίες θέσης, ώστε το μοντέλο να μπορεί να αναπαριστά τη σειρά του κειμένου, τις δισδιάστατες εικόνες και τη χρονική και χωρική δομή του βίντεο. Αυτά τα χαρακτηριστικά εξηγούν πώς η ίδια οικογένεια διαχειρίζεται μια σελίδα, πολλές εικόνες ή μια ακολουθία βίντεο.
Ο επεξεργαστής εικόνων της κάρτας του μοντέλου τεκμηριώνει ένα προεπιλεγμένο εύρος από 4 έως 16.384 οπτικά token ανά εικόνα. Η εφαρμογή μπορεί να προσαρμόζει τα ελάχιστα και μέγιστα pixel διατηρώντας την αναλογία πλευρών ή να ζητά διαστάσεις που στρογγυλοποιούνται σε πολλαπλάσιο του 28. Το ενδεικτικό εύρος από 256 έως 1.280 token είναι μια ρυθμιζόμενη απεικόνιση, όχι ένα χωριστό καθολικό όριο εικόνας. Η μεγαλύτερη λεπτομέρεια εικόνας απαιτεί περισσότερο υπολογισμό και περισσότερα οπτικά token, γι’ αυτό διατηρήστε τις ετικέτες, τις επικεφαλίδες και τα μικρά αντικείμενα που χρειάζονται για την ερώτηση κατά την προετοιμασία της εικόνας.
Προετοιμασία εισόδου και πλαίσιο
Ο δημιουργός παρουσιάζει μία εικόνα, πολλές εικόνες, βίντεο που παρέχεται ως ακολουθία καρέ ή τοπικό αρχείο και συνομιλίες σε παρτίδες. Η προετοιμασία εικόνων περιλαμβάνει τοπικά αρχεία, κωδικοποιημένα δεδομένα εικόνας και αναφορές εικόνων. Το παράδειγμα βίντεο της κάρτας χρησιμοποιεί έναν επιλεγμένο ρυθμό καρέ· αυτό το παράδειγμα δεν ορίζει έναν υποχρεωτικό ρυθμό δειγματοληψίας για κάθε βίντεο. Προσδιορίστε τη σειρά και τον ρόλο των πολλών εικόνων και δώστε τις πληροφορίες που χρειάζονται για την ερμηνεία μιας ακολουθίας αντί να αντιμετωπίζετε άσχετα καρέ ως μία σκηνή.
Η διαμόρφωση που κυκλοφόρησε ορίζει μέγιστο αριθμό θέσεων 32.768. Το οπτικό υλικό και οι οδηγίες κειμένου πρέπει να σχεδιάζονται μέσα στο πραγματικά διαμορφωμένο πλαίσιο. Το παράδειγμα παραγωγής 128 token της κάρτας αποτελεί μόνο ενδεικτική ρύθμιση· δεν δημοσιεύει χωριστή μέγιστη χωρητικότητα εξόδου. Η έκδοση 72B πρέπει να διατηρεί τη δική της διαμόρφωση αντί να κληρονομεί τις ρυθμίσεις μεγάλου πλαισίου του Qwen2.5-VL ή ενός διαφορετικού μοντέλου Qwen.
Ουσιαστικοί περιορισμοί
Ο δημιουργός δηλώνει ρητά ότι το Qwen2-VL δεν κατανοεί τον ήχο που περιέχεται στα βίντεο. Οι πληροφορίες που εκφωνούνται πρέπει επομένως να παρέχονται χωριστά, αν η ερώτηση εξαρτάται από αυτές. Το σύνολο δεδομένων εκπαίδευσης εικόνων περιγράφεται ως ενημερωμένο έως τον Ιούνιο του 2023· αυτό αφορά το συγκεκριμένο σύνολο δεδομένων και δεν αποτελεί υπόσχεση επίκαιρης οπτικής γνώσης.
Οι τεκμηριωμένοι περιορισμοί περιλαμβάνουν επίσης ελλιπή αναγνώριση συγκεκριμένων προσώπων ή κατονομασμένων έργων πνευματικής ιδιοκτησίας, δυσκολία με περίπλοκες οδηγίες πολλών βημάτων, αδύναμη καταμέτρηση σε σύνθετες σκηνές και περιορισμούς στον τρισδιάστατο χωρικό συλλογισμό. Όταν η εργασία εξαρτάται από μία από αυτές τις ικανότητες, εστιάστε την ερώτηση στα απαιτούμενα αντικείμενα ή στη σχέση και διατηρήστε τα οπτικά στοιχεία δίπλα στην απάντηση. Το σαφές αρχικό υλικό και μια καθορισμένη έξοδος διευκολύνουν την εξέταση του αποτελέσματος χωρίς να αντικαθιστούν αυτούς τους δηλωμένους περιορισμούς με εγγύηση ακρίβειας.
POST /v1/messagestextjson, sse| Πεδίο | Τύπος | Απαίτηση | Τιμές και όρια | Προεπιλογή |
|---|---|---|---|---|
Πεδίοmodel | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια Qwen/Qwen2-VL-72B-Instruct | Προεπιλογή— |
Πεδίοmessages | Τύποςmessage[] | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια | Προεπιλογή— |
Πεδίοmessages[].role | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια user, assistant | Προεπιλογή— |
Πεδίοmessages[].content | Τύποςstring | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια | Προεπιλογή— |
Πεδίοmax_tokens | Τύποςinteger | ΑπαίτησηΥποχρεωτικό | Τιμές και όρια | Προεπιλογή— |
Πεδίοstream | Τύποςboolean | ΑπαίτησηΠροαιρετικό | Τιμές και όρια | Προεπιλογήfalse |
Κείμενο · Κείμενο UTF-8
Συμβολοσειρά messages[].content
| Παράμετρος | Σύμβαση |
|---|---|
Παράμετροςcontent_type | Σύμβασηapplication/json |
Παράμετροςrequired | Σύμβασηmodel, messages, max_tokens |
Παράμετροςoptional_controls | Σύμβασηstream |
Παράμετροςmaterial_types | Σύμβασηtext |
Παράμετροςtext_file_material | ΣύμβασηΔιαβάστε το πραγματικό έγγραφο UTF-8 και τοποθετήστε το κείμενό του στην υποδεικνυόμενη συμβολοσειρά εισόδου ή περιεχομένου του μηνύματος. |
Κύκλος ζωής: synchronous_or_streamed
Οι τιμολογιακές αναφορές δεν προσθέτουν επιλογές αιτήματος. Οι υποστηριζόμενες παράμετροι αναφέρονται στην επιλεγμένη μέθοδο.
| Διαμόρφωση | Πίνακας χρεώσεων | Χρέωση |
|---|---|---|
| ΔιαμόρφωσηΒασικές χρεώσεις ανά token | Πίνακας χρεώσεωνΒασική χρέωση | Χρέωση Είσοδος · Token εισόδου $0.00118 / 1K token Έξοδος · Token εξόδου $0.00118 / 1K token Είσοδος · Ανάγνωση από την κρυφή μνήμη $0 / 1K token Είσοδος · Εγγραφή στην κρυφή μνήμη $0 / 1K token Είσοδος · Εγγραφή στην κρυφή μνήμη, 1 ώρα — / 1K token |
Το Ailoot δεσμεύει ένα εκτιμώμενο ποσό πριν από το αίτημα. Μετά το αποτέλεσμα, εκκαθαρίζει την τελική χρέωση βάσει της μετρημένης χρήσης. Η εκκαθάριση ροής χρησιμοποιεί την τελική καταγραφή χρήσης. Πώς λειτουργούν η δέσμευση και η εκκαθάριση →
{\n "model": "Qwen/Qwen2-VL-72B-Instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'Qwen/Qwen2-VL-72B-Instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'Qwen/Qwen2-VL-72B-Instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ή SSE
Διατηρήστε κάθε πλήρη απάντηση, αρχείο και τμήμα περιεχομένου που επιστρέφεται.
Διατηρήστε όλα τα μπλοκ περιεχομένου, τις υπογραφές συλλογιστικής και τα πραγματικά ID χρήσης εργαλείων. Συνθέστε όλες τις διαφορικές ενημερώσεις μπλοκ SSE· το πρώτο μπλοκ κειμένου δεν είναι η πλήρης έξοδος.
Διατηρήστε τα ID αιτήματος/απάντησης και τις κεφαλίδες. Δεν παρέχεται γενικό URL ανάκτησης εργασιών κειμένου.
| Πεδίο | Τύπος |
|---|---|
Πεδίοid | Τύποςstring |
Πεδίοmodel | Τύποςstring |
Πεδίοcontent[] | Τύποςtext|thinking|tool_use|other content block |
Πεδίοstop_reason | Τύποςstring|null |
Πεδίοusage | Τύποςobject |
| Απάντηση | Συνθήκη | Επόμενο βήμα |
|---|---|---|
Απάντηση400 · invalid_request_error | ΣυνθήκηΜη έγκυρα υποχρεωτικά πεδία, μη έγκυρη αναπαράσταση υλικού ή μη έγκυρη τιμή παραμέτρου | Επόμενο βήμαΔιορθώστε τα υποδεικνυόμενα πεδία πριν από νέο αίτημα δημιουργίας. |
Ailoot Ultra Qwen/Qwen2-VL-72B-Instruct
Χρησιμοποιήστε τις διαδρομές μεθόδων που εμφανίζονται παραπάνω.
Τεχνικό παράδειγμα στα αγγλικά
Read a supplied document transcription\n\nUse this text transcription of page P2, section Limits: 'Store below 25 C. Once opened, use within seven days. Do not freeze.' Return the original wording first, then a plain-English explanation separating the temperature, time and freezing conditions. Preserve P2 as the source label. No image or video is attached.A labelled transcription followed by three source-grounded explanations of the conditions.Below 25 C is not rewritten as at or below 25 C, and the seven-day period starts at opening.