Cohere: Rerank 4 Fast

Cohere Rerank 4 Fast est l’édition plus légère de Rerank 4 destinée aux tâches de récupération à plus faible latence et à plus haut débit. Il reçoit une requête et des documents candidats, puis retourne leur classement et leurs scores de pertinence. Il est utile pour la recherche interactive, la sélection répétée d’éléments probants et les applications qui doivent réordonner une liste de résultats existante. Fast reste une édition distincte de Rerank 4 Pro, qui vise les cas plus complexes où la qualité de récupération est prioritaire.

Le code du producteur est rerank-v4.0-fast. Comme Pro, il possède un contexte de 32 768 jetons et une couverture multilingue de plus de 100 langues. La requête et un document partagent le contexte; il ne s’agit ni d’une dimension vectorielle ni d’un budget pour tout un corpus indexé. Fournissez les textes candidats à comparer plutôt que d’attendre du modèle qu’il récupère des documents depuis une source qui ne lui a pas été donnée.

Le résultat documenté comprend l’index du document original et un relevance_score. top_n sélectionne le nombre de résultats retournés; son omission retourne la liste classée complète. Gardez les identifiants de sources avec les entrées pour relier le nouvel ordre aux passages réels. Pour une recherche de produits, décrivez les attributs requis dans la requête et reclassez les descriptions candidates; un rang supérieur doit rester relié à la fiche de produit qui l’a produit.

Le modèle peut traiter des documents en anglais et dans d’autres langues ainsi que des fiches semi-structurées. Dans le flux V2, les documents d’entrée sont des chaînes, et Cohere recommande de représenter les données structurées en YAML. Placez les champs importants en premier et conservez leur ordre afin qu’une troncature ne supprime pas le contenu nécessaire à l’évaluation de la pertinence. Une fiche de soutien peut contenir le titre, le produit et le texte de procédure; un message peut contenir son objet et son corps. Ces relations explicites donnent au modèle de classement de l’information au-delà d’une liste de mots-clés correspondants.

La limite de requête propre au modèle dans le guide de préparation de Cohere est de 16 384 jetons, la requête et le document consommant le contexte partagé. Le guide décrit le traitement des longs documents par segments, tandis que la référence V2 définit séparément la troncature documentaire à 4 096 jetons par défaut par max_tokens_per_doc. Vérifiez ce paramètre documentaire effectif au lieu de supposer que toute la fenêtre de 32K du modèle est toujours utilisée. Préparez des passages pertinents ou un budget documentaire adapté à la tâche de récupération réelle.

Pour les performances recommandées, Cohere déconseille plus de 1 000 documents dans une requête. Divisez les ensembles de candidats plus grands en groupes gérables tout en conservant leurs identifiants. Les scores de sortie sont normalisés de 0 à 1 et dépendent de la requête et des passages. Leur ordre constitue le résultat essentiel; un score n’est ni un multiple linéaire de pertinence ni une preuve qu’un passage est correct. Établissez tout seuil de filtrage avec des requêtes représentatives et des passages à la limite de la pertinence issus du domaine.

Un résultat Fast utile est une liste classée qui peut immédiatement alimenter un affichage de recherche ou sélectionner des éléments pour une étape de rédaction de réponse. Conservez le texte source avec le score et vérifiez si les premiers résultats répondent réellement aux conditions demandées. Le rôle de Fast est le classement de récupération plutôt que la génération d’une nouvelle explication ou d’un vecteur de plongement. Gardez cohérentes l’édition nommée et la préparation des entrées lorsque vous affinez le comportement de pertinence.