Cohere: Rerank 4 Fast

Cohere Rerank 4 Fast ist die leichtere Rerank-4-Edition für Suchaufgaben mit geringerer Latenz und höherem Durchsatz. Es erhält eine Anfrage und Dokumentkandidaten und gibt anschließend ihre Relevanzreihenfolge und Werte zurück. Das ist nützlich für interaktive Suche, wiederholte Belegauswahl und Anwendungen, die eine bestehende Ergebnisliste neu ordnen müssen. Fast bleibt eine eigenständige Edition gegenüber Rerank 4 Pro, das für komplexere Fälle mit Vorrang der Suchqualität positioniert ist.

Die Herstellerkennung lautet rerank-v4.0-fast. Wie Pro hat es einen Kontext von 32.768 Tokens und mehrsprachige Abdeckung von mehr als 100 Sprachen. Anfrage und ein Dokument teilen sich den Kontext; er ist weder eine Vektordimension noch ein Budget für einen gesamten indizierten Korpus. Stellen Sie die zu vergleichenden Kandidatentexte bereit, statt vom Modell das Abrufen von Dokumenten aus einer nicht bereitgestellten Quelle zu erwarten.

Das dokumentierte Ergebnis enthält den ursprünglichen Dokumentindex und einen relevance_score. top_n bestimmt, wie viele Ergebnisse zurückgegeben werden; ohne diese Angabe wird die vollständige sortierte Liste geliefert. Halten Sie Quellenkennungen neben den Eingaben, damit die neue Reihenfolge mit den tatsächlichen Passagen verbunden werden kann. Beschreiben Sie bei einer Produktsuche die benötigten Produkteigenschaften in der Anfrage und sortieren Sie die Kandidatenbeschreibungen neu; ein höherer Rang sollte mit dem Produktdatensatz verbunden bleiben, der ihn erzeugt hat.

Das Modell kann englische und nichtenglische Dokumente sowie halbstrukturierte Datensätze verarbeiten. Im V2-Ablauf sind Dokumenteingaben Zeichenfolgen; Cohere empfiehlt, strukturierte Daten als YAML darzustellen. Stellen Sie wichtige Felder voran und bewahren Sie ihre Reihenfolge, damit eine Kürzung nicht die zur Relevanzbeurteilung nötigen Inhalte entfernt. Ein Supportdatensatz kann Titel, Produkt und Verfahrenstext enthalten; eine Nachricht kann Betreff und Text enthalten. Diese ausdrücklichen Beziehungen geben dem Ranker Informationen über eine Liste übereinstimmender Schlüsselwörter hinaus.

Die modellspezifische Anfragegrenze in Coheres Vorbereitungsanleitung beträgt 16.384 Tokens; Anfrage und Dokument verbrauchen den gemeinsamen Kontext. Die Anleitung beschreibt die abschnittsweise Verarbeitung längerer Dokumente, während die V2-Referenz die Dokumentkürzung über max_tokens_per_doc separat standardmäßig auf 4096 Tokens setzt. Prüfen Sie diese effektive Dokumenteinstellung, statt anzunehmen, stets werde das gesamte 32K-Modellfenster genutzt. Bereiten Sie für die tatsächliche Suchaufgabe relevante Passagen oder ein angemessenes Dokumentbudget vor.

Für die empfohlene Leistung rät Cohere von mehr als 1.000 Dokumenten in einer Anfrage ab. Teilen Sie größere Kandidatenmengen in überschaubare Gruppen und bewahren Sie ihre Kennungen. Die Ausgabewerte sind von 0 bis 1 normalisiert und hängen von Anfrage und Passagen ab. Ihre Reihenfolge ist das wesentliche Ergebnis; ein Wert ist weder ein lineares Vielfaches von Relevanz noch ein Beleg für die Korrektheit einer Passage. Bestimmen Sie jeden Filterschwellenwert mit repräsentativen Anfragen und grenzwertig relevanten Passagen aus dem Fachgebiet.

Ein nützliches Fast-Ergebnis ist eine sortierte Liste, die unmittelbar eine Suchanzeige steuern oder Belege für einen Antwortschritt auswählen kann. Bewahren Sie den Quelltext zusammen mit dem Wert und prüfen Sie, ob die obersten Ergebnisse tatsächlich auf die gefragten Bedingungen eingehen. Fast dient der Suchrangfolge statt der Erzeugung einer neuen Erklärung oder eines Embedding-Vektors. Halten Sie die benannte Edition und die Eingabevorbereitung beim Verfeinern des Relevanzverhaltens konsistent.