Cohere: Rerank 4 Fast

Cohere Rerank 4 Fast er den lettere Rerank 4-utgaven, posisjonert for gjenfinningsoppgaver med lavere ventetid og høyere gjennomstrømning. Den tar imot en spørring og kandidatdokumenter og returnerer deretter relevansrekkefølgen og skårene deres. Den er nyttig for interaktivt søk, gjentatt utvelgelse av belegg og applikasjoner som trenger å omordne en eksisterende resultatliste. Fast er fortsatt en egen utgave, forskjellig fra Rerank 4 Pro, som er posisjonert for mer komplekse tilfeller der gjenfinningskvalitet prioriteres.

Produsentkoden er rerank-v4.0-fast. I likhet med Pro har den en kontekst på 32 768 tokener og flerspråklig dekning av mer enn 100 språk. Spørringen og ett dokument deler konteksten; dette er ikke en vektordimensjon eller et budsjett for et helt indeksert korpus. Oppgi kandidattekstene som skal sammenlignes, fremfor å forvente at modellen henter dokumenter fra en kilde den ikke har fått.

Det dokumenterte resultatet inneholder den opprinnelige dokumentindeksen og en relevance_score. top_n velger hvor mange resultater som returneres, mens utelatelse av parameteren returnerer hele den rangerte listen. Behold kildeidentifikatorer ved siden av inndataene, slik at den nye rekkefølgen kan knyttes til de faktiske avsnittene. Ved et produktsøk bør du beskrive de nødvendige produktegenskapene i spørringen og omrangere kandidatbeskrivelsene; en høyere rangering bør fortsatt være knyttet til produktposten som ga den.

Modellen kan arbeide med engelske og ikke-engelske dokumenter og halvstrukturerte poster. I V2-arbeidsflyten er dokumentinndataene strenger, og Cohere anbefaler å representere strukturerte data som YAML. Sett viktige felter først og bevar rekkefølgen deres, slik at avkorting ikke fjerner innholdet som trengs for å vurdere relevans. En støttepost kan inneholde tittel, produkt og prosedyretekst; en melding kan inneholde emne og brødtekst. Disse eksplisitte sammenhengene gir rangeringsmodellen informasjon utover en liste over samsvarende nøkkelord.

Den modellspesifikke spørringsgrensen i Coheres klargjøringsveiledning er 16 384 tokener, og spørringen og dokumentet bruker den felles konteksten. Veiledningen beskriver behandling av lengre dokumentdeler, mens V2-referansen separat setter dokumentavkorting til 4096 tokener som standard gjennom max_tokens_per_doc. Kontroller denne effektive dokumentinnstillingen fremfor å anta at hele modellvinduet på 32K alltid brukes. Klargjør relevante avsnitt eller et egnet dokumentbudsjett for den faktiske gjenfinningsoppgaven.

For anbefalt ytelse fraråder Cohere mer enn 1 000 dokumenter i én forespørsel. Del større kandidatsett i håndterbare grupper samtidig som identifikatorene beholdes. Utdataskårene normaliseres fra 0 til 1 og avhenger av spørringen og avsnittene. Rekkefølgen er hovedresultatet; en skår er ikke et lineært multiplum av relevans eller bevis på at et avsnitt er korrekt. Fastsett eventuelle filtreringsterskler med representative spørringer og avsnitt med tvilsom relevans fra domenet.

Et nyttig Fast-resultat er en rangert liste som umiddelbart kan drive en søkevisning eller velge belegg til et trinn for svarskriving. Behold kildeteksten sammen med skåren, og gjennomgå om toppresultatene faktisk tar opp de forespurte vilkårene. Fasts rolle er gjenfinningsrangering fremfor å generere en ny forklaring eller en innbyggingsvektor. Hold den navngitte utgaven og klargjøringen av inndata konsekvent når relevansatferden forbedres.