Cohere: Rerank 4 Pro

Το Cohere Rerank 4 Pro είναι το μοντέλο της οικογένειας Rerank 4 της Cohere με επίκεντρο την ποιότητα. Αξιολογεί υποψήφια έγγραφα ως προς ένα ερώτημα και επιστρέφει τη σειρά συνάφειας και τις βαθμολογίες τους. Το μοντέλο προορίζεται για σύνθετες εργασίες ανάκτησης, μεταξύ των οποίων πολύγλωσσα έγγραφα και ημιδομημένες πληροφορίες. Εντάσσεται σε μια ροή αναζήτησης ή ενισχυμένη με ανάκτηση αφού ένα υπάρχον σύστημα συλλέξει υποψηφίους: το αποτέλεσμα βοηθά στην επιλογή των αποσπασμάτων που πρέπει να προβληθούν ή να δοθούν ως στοιχεία στο επόμενο στάδιο.

Το αναγνωριστικό του δημιουργού είναι rerank-v4.0-pro, ξεχωριστό από τα rerank-v4.0-fast και rerank-v3.5. Το Pro προορίζεται για σύνθετες περιπτώσεις όπου προτεραιότητα έχει η ποιότητα ανάκτησης, ενώ το Fast στοχεύει σε χαμηλότερη καθυστέρηση και υψηλότερο ρυθμό επεξεργασίας. Και οι δύο εκδόσεις Rerank 4 χρησιμοποιούν παράθυρο συμφραζομένων 32.768 token. Το ερώτημα και ένα υποψήφιο έγγραφο μοιράζονται αυτόν τον προϋπολογισμό· δεν είναι ξεχωριστό πλήρες παράθυρο για κάθε πεδίο εισόδου ούτε όριο για ολόκληρο το αποθηκευμένο σώμα αναζήτησης.

Παρέχετε σαφές ερώτημα και τη λίστα υποψήφιων συμβολοσειρών κειμένου. Κάθε επιστρεφόμενο αποτέλεσμα περιλαμβάνει τον αρχικό δείκτη εγγράφου και μια βαθμολογία συνάφειας, ενώ το top_n μπορεί να επιλέξει πόσα καταταγμένα αποτελέσματα επιστρέφονται· χωρίς αυτό, ο δημιουργός επιστρέφει όλα τα αποτελέσματα. Διατηρήστε ένα αναγνωριστικό πηγής δίπλα σε κάθε είσοδο, ώστε η κατάταξη να μπορεί να συνδεθεί με το ακριβές απόσπασμα. Για ερώτηση υποστήριξης, ρωτήστε για τις απαιτούμενες συνθήκες και παρέχετε τις υποψήφιες ενότητες πολιτικής, αντί να περιμένετε από το μοντέλο ανακατάταξης να εντοπίσει πολιτικές που δεν υπήρχαν στη λίστα.

Το μοντέλο υποστηρίζει περισσότερες από 100 γλώσσες και μπορεί να ανακατατάσσει αγγλικό και μη αγγλικό υλικό. Για ένα ερώτημα με αρκετές απαιτήσεις, δηλώστε τις συνθήκες που κάνουν χρήσιμο ένα απόσπασμα, όπως το προϊόν, την κατάσταση και την απαιτούμενη διαδικασία. Για ημιδομημένες εγγραφές, η Cohere προτείνει συμβολοσειρές YAML αντί για ακατέργαστα αντικείμενα στη λίστα εγγράφων V2. Κρατήστε πεδία με σαφές νόημα, όπως τίτλο και περιεχόμενο, σε σκόπιμη σειρά, επειδή η περικοπή μπορεί να αφαιρέσει μεταγενέστερα πεδία. Αυτή η προετοιμασία είναι χρήσιμη για εγγραφές προϊόντων, μηνύματα και μεταδεδομένα εγγράφων, καθώς και για συνηθισμένο πεζό λόγο.

Ο οδηγός προετοιμασίας του συγκεκριμένου μοντέλου περιορίζει το ερώτημα Rerank 4 στα πρώτα 16.384 token. Περιγράφει την επεξεργασία μεγαλύτερων εγγράφων μέσω τμημάτων που μοιράζονται το παράθυρο συμφραζομένων 32.768 token με το ερώτημα και τα δεσμευμένα token. Η τρέχουσα αναφορά V2 ορίζει χωριστά την προεπιλογή max_tokens_per_doc σε 4096 και αναφέρει ότι μεγαλύτερες συμβολοσειρές εγγράφων περικόπτονται σε αυτή τη ρύθμιση. Αντιμετωπίστε το παράθυρο μοντέλου και την περικοπή εγγράφων του αιτήματος του δημιουργού ως διαφορετικά στοιχεία ελέγχου. Ετοιμάστε συνοπτικά σχετικά αποσπάσματα ή επιλέξτε κατάλληλο προϋπολογισμό εγγράφου, αντί να υποθέτετε ότι κάθε μεγάλη πηγή διαβάζεται πάντα ολόκληρη.

Για συνιστώμενη απόδοση αιτημάτων, η Cohere συμβουλεύει να μη στέλνονται περισσότερα από 1.000 έγγραφα ταυτόχρονα. Διατηρήστε τα αναγνωριστικά υποψηφίων όταν χωρίζετε μεγαλύτερη λίστα σε διαχειρίσιμες ομάδες. Οι βαθμολογίες συνάφειας κανονικοποιούνται μεταξύ 0 και 1, αλλά εξαρτώνται από το ερώτημα και τους υποψηφίους· δεν είναι γραμμικό μέτρο πραγματολογικής ορθότητας. Χρησιμοποιήστε τη σειρά ως κύριο αποτέλεσμα ανάκτησης. Αν φιλτράρετε με κατώφλι βαθμολογίας, καθορίστε το με αντιπροσωπευτικά ερωτήματα και οριακά συναφή αποσπάσματα του πραγματικού πεδίου, αντί να υποθέτετε καθολικό όριο.

Ένα χρήσιμο τελικό τεχνούργημα είναι μια καταταγμένη λίστα υποψηφίων που φέρει αναγνωριστικά πηγών και βαθμολογίες, έτοιμη για αποτέλεσμα αναζήτησης ή βήμα επιλογής στοιχείων. Ένα έγγραφο με υψηλή βαθμολογία συνάφειας μπορεί ακόμη να περιέχει παρωχημένες ή λανθασμένες πληροφορίες, επομένως διατηρήστε την πηγή και το περιεχόμενό του για το στάδιο που θα το χρησιμοποιήσει. Σκοπός του Pro είναι η κρίση συνάφειας και όχι η σύνταξη ελεύθερης απάντησης ή η παραγωγή ενσωματώσεων. Κρατήστε τη συγκεκριμένη έκδοση Pro συνδεδεμένη με το αποτέλεσμα όταν συγκρίνετε ή βελτιώνετε μια ροή ανάκτησης.