Cohere: Rerank v3.5

Το Cohere Rerank 3.5 είναι ένα πολύγλωσσο μοντέλο κατάταξης υποψήφιων εγγράφων και ημιδομημένου κειμένου βάσει συνάφειας. Αξιολογεί κάθε υποψήφιο σε σχέση με ένα ερώτημα και επιστρέφει αναδιατεταγμένη λίστα αποτελεσμάτων με βαθμολογίες συνάφειας. Μπορεί να βελτιώνει υποψηφίους που αποκτήθηκαν μέσω αναζήτησης λέξεων-κλειδιών ή σημασιολογικής αναζήτησης και να επιλέγει αποσπάσματα για απάντηση ενισχυμένη με ανάκτηση. Η εργασία του είναι να βελτιώνει τη σειρά των στοιχείων και όχι να παράγει ελεύθερη απάντηση ή να δημιουργεί νέο ευρετήριο σώματος κειμένων.

Το ακριβές αναγνωριστικό του δημιουργού είναι rerank-v3.5. Χρησιμοποιεί παράθυρο συμφραζομένων 4096 token, διαφορετικό από το παράθυρο 32K των Rerank 4 Pro και Fast. Τα token ερωτήματος και εγγράφου προσμετρώνται μαζί σε αυτό το παράθυρο ανά υποψήφιο. Ο οδηγός προετοιμασίας του συγκεκριμένου μοντέλου περικόπτει ένα ερώτημα μετά τα πρώτα 2048 token και περιγράφει τμήματα εγγράφου 4093 token πριν συνυπολογιστεί το ερώτημα. Κρατήστε εστιασμένο το ερώτημα και ετοιμάστε υποψήφια αποσπάσματα που περιέχουν τις πληροφορίες που χρειάζονται για να κριθεί η ζητούμενη σχέση.

Παρέχετε το ερώτημα και μια λίστα υποψήφιων συμβολοσειρών κειμένου. Κάθε αποτέλεσμα φέρει έναν δείκτη που παραπέμπει στην αρχική θέση του εγγράφου και μια βαθμολογία συνάφειας· το top_n επιλέγει πόσα καταταγμένα αποτελέσματα θα διατηρηθούν. Χωρίς αυτό, η τεκμηριωμένη ροή του δημιουργού επιστρέφει όλα τα αποτελέσματα. Διατηρήστε τα αναγνωριστικά εγγράφων ανεξάρτητα από τη βαθμολογία, ώστε το πρώτο απόσπασμα να μπορεί ακόμη να αναχθεί στην αρχική πολιτική, εγγραφή προϊόντος ή μήνυμα.

Το Rerank 3.5 υποστηρίζει περισσότερες από 100 γλώσσες, συμπεριλαμβανομένου αγγλικού και μη αγγλικού υλικού. Ένα ερώτημα μπορεί να περιέχει αρκετές πτυχές της ανάγκης, όπως το προϊόν, την κατάσταση του χρήστη και την επιθυμητή διαδικασία. Για δομημένες εγγραφές, η έκδοση V2 αφαίρεσε τα ακατέργαστα αντικείμενα εγγράφων και προτείνει συμβολοσειρές YAML. Κρατήστε τα χρήσιμα πεδία σε σκόπιμη σειρά, με το καθοριστικό περιεχόμενο πριν από τα λιγότερο σχετικά μεταδεδομένα, επειδή οι μεγάλες συμβολοσειρές μπορεί να περικοπούν. Αυτό λειτουργεί για τίτλους και περιεχόμενο, χαρακτηριστικά προϊόντων ή θέμα και σώμα μηνύματος.

Η αναφορά V2 του δημιουργού χρησιμοποιεί το max_tokens_per_doc για περικοπή εγγράφων, με προεπιλογή 4096. Ο οδηγός προετοιμασίας της Cohere περιγράφει επίσης κατάτμηση μεγάλων εγγράφων· η πραγματική είσοδος εξαρτάται από την επιλεγμένη ροή και τις ρυθμίσεις εγγράφων της. Για μεγαλύτερο έλεγχο, ετοιμάστε μόνοι σας αναγνωρίσιμα αποσπάσματα αντί να υποθέτετε ότι κάθε ενότητα μιας μεγάλης πηγής παραμένει ορατή. Διατηρήστε αρκετό περιβάλλον ώστε να διακρίνεται ένα απόσπασμα που περιέχει απάντηση από ένα που απλώς μοιράζεται το λεξιλόγιό της.

Για την απόδοση των αιτημάτων, η τρέχουσα αναφορά προτείνει να μη στέλνονται περισσότερα από 1.000 έγγραφα ταυτόχρονα. Οι βαθμολογίες συνάφειας κανονικοποιούνται μεταξύ 0 και 1, αλλά οι τιμές τους εξαρτώνται από το ερώτημα και τους υποψηφίους και δεν είναι γραμμική κλίμακα ορθότητας. Χρησιμοποιήστε την κατάταξη για να εντοπίζετε χρήσιμα στοιχεία. Αν απαιτείται κατώφλι βαθμολογίας, επιλέξτε αντιπροσωπευτικά ερωτήματα του πεδίου και οριακά συναφή αποσπάσματα, ώστε το κατώφλι να αντανακλά την πραγματική εργασία ανάκτησης.

Μια πρακτική ροή υποστήριξης μπορεί να ανακατατάσσει υποψήφιες ενότητες πολιτικής επιστροφών για ερώτηση σχετικά με κατεστραμμένο αντικείμενο και κατόπιν να περνά το επιλεγμένο πηγαίο κείμενο σε στάδιο σύνταξης απάντησης. Μια αναζήτηση email μπορεί να κατατάσσει μηνύματα βάσει συγκεκριμένου ζητήματος και να διατηρεί το αρχικό αναγνωριστικό μηνύματος μαζί με κάθε αποτέλεσμα. Το χρήσιμο τεχνούργημα είναι η ταξινομημένη λίστα στοιχείων. Κρατήστε το μικρότερο παράθυρο συμφραζομένων του Rerank 3.5 και την προετοιμασία εγγράφων V2 συνδεδεμένα με αυτό το αποτέλεσμα, αντί να υποκαθιστάτε τα όρια με εκείνα μεταγενέστερων μοντέλων.