Cohere: Rerank 4 Fast

Cohere Rerank 4 Fast er den lettere Rerank 4-udgave, positioneret til søgeopgaver med lavere latenstid og højere gennemstrømning. Den modtager en forespørgsel og kandidatdokumenter og returnerer derefter deres relevansrækkefølge og scorer. Den er nyttig til interaktiv søgning, gentagen udvælgelse af dokumentation og applikationer, der skal omordne en eksisterende resultatliste. Fast er fortsat en særskilt udgave fra Rerank 4 Pro, som er positioneret til mere komplekse tilfælde, hvor søgekvalitet har prioritet.

Producentkoden er rerank-v4.0-fast. Ligesom Pro har den en kontekst på 32.768 tokens og flersproget dækning på mere end 100 sprog. Forespørgslen og ét dokument deler konteksten; det er ikke en vektordimension eller et budget for et helt indekseret korpus. Lever de kandidattekster, der skal sammenlignes, frem for at forvente, at modellen henter dokumenter fra en kilde, den ikke har fået.

Det dokumenterede resultat indeholder det oprindelige dokumentindeks og en relevance_score. top_n vælger, hvor mange resultater der returneres, mens udeladelse returnerer hele den rangerede liste. Hold kildeidentifikatorer ved inputtene, så den nye rækkefølge kan forbindes med de faktiske passager. Ved produktsøgning skal du beskrive de nødvendige produktattributter i forespørgslen og omrangere kandidatbeskrivelserne; en højere placering skal fortsat være forbundet med den produktpost, der frembragte den.

Modellen kan arbejde med engelske og ikke-engelske dokumenter samt semistrukturerede poster. I V2-arbejdsgangen er dokumentinput strenge, og Cohere anbefaler at repræsentere strukturerede data som YAML. Sæt vigtige felter først, og bevar deres rækkefølge, så en afkortning ikke fjerner det indhold, der er nødvendigt for at vurdere relevans. En supportpost kan indeholde titel, produkt og proceduretekst; en besked kan indeholde sit emne og sin brødtekst. Disse eksplicitte relationer giver rangeringsmodellen oplysninger ud over en liste af matchende nøgleord.

Den modelspecifikke forespørgselsgrænse i Coheres klargøringsvejledning er 16.384 tokens, og forespørgslen og dokumentet bruger den fælles kontekst. Vejledningen beskriver behandling af længere dokumenter i blokke, mens V2-referencen særskilt sætter dokumentafkortning til 4096 tokens som standard gennem max_tokens_per_doc. Kontrollér denne effektive dokumentindstilling frem for at antage, at hele 32K-modelvinduet altid bruges. Klargør relevante passager eller et passende dokumentbudget til den faktiske søgeopgave.

For den anbefalede ydelse fraråder Cohere mere end 1.000 dokumenter i én forespørgsel. Opdel større kandidatsæt i håndterbare grupper, mens deres identifikatorer bevares. Outputscorer normaliseres fra 0 til 1 og afhænger af forespørgslen og passagerne. Deres rækkefølge er det centrale resultat; en score er ikke et lineært multiplum af relevans eller bevis for, at en passage er korrekt. Fastlæg eventuelle filtreringsgrænser med repræsentative forespørgsler og passager på grænsen til relevans fra domænet.

Et nyttigt Fast-resultat er en rangeret liste, som straks kan bruges til en søgeresultatvisning eller udvælgelse af dokumentation til et svarskrivningstrin. Bevar kildeteksten sammen med scoren, og gennemgå, om de øverste resultater faktisk behandler de ønskede betingelser. Fasts rolle er søgerangering frem for generering af en ny forklaring eller en embeddingvektor. Hold den navngivne udgave og inputklargøringen konsistent, når relevansadfærden forbedres.