Cohere: Rerank v3.5

Cohere Rerank 3.5 er en flersproget model til relevansrangering af kandidatdokumenter og semistruktureret tekst. Den vurderer hver kandidat i forhold til en forespørgsel og returnerer en omordnet resultatliste med relevansscorer. Den kan forfine kandidater indhentet via nøgleordsbaseret eller semantisk søgning og udvælge passager til et svar understøttet af informationssøgning. Dens opgave er at forbedre dokumentationens rækkefølge frem for at generere et frit formuleret svar eller oprette et nyt korpusindeks.

Producentens præcise identifikator er rerank-v3.5. Den bruger en kontekst på 4096 tokens, adskilt fra Rerank 4 Pro og Fasts 32K-kontekst. Tokens i forespørgsel og dokument tæller samlet mod dette vindue pr. kandidat. Den modelspecifikke klargøringsvejledning afkorter en forespørgsel efter dens første 2048 tokens og beskriver dokumentblokke på 4093 tokens, før forespørgslen indregnes. Hold forespørgslen fokuseret, og klargør kandidatpassager med de oplysninger, der er nødvendige for at vurdere den ønskede relation.

Lever forespørgslen og en liste over kandidattekststrenge. Hvert resultat indeholder et indeks, som peger på den oprindelige dokumentposition, og en relevansscore; top_n vælger, hvor mange rangerede resultater der skal beholdes. Uden dette returnerer den dokumenterede producentarbejdsgang alle resultater. Bevar dokumentidentifikatorer uafhængigt af scoren, så den øverste passage stadig kan spores til det oprindelige regelsæt, den oprindelige produktpost eller besked.

Rerank 3.5 understøtter mere end 100 sprog, herunder engelsk og ikke-engelsk materiale. En forespørgsel kan indeholde flere aspekter af behovet, såsom produktet, brugerens situation og den ønskede procedure. For strukturerede poster fjernede V2-udgivelsen rå dokumentobjekter og anbefaler YAML-strenge. Hold nyttige felter i en bevidst rækkefølge med afgørende indhold før mindre relevante metadata, fordi lange strenge kan afkortes. Dette fungerer til titler og indhold, produktattributter eller en beskeds emne og brødtekst.

V2-producentreferencen bruger max_tokens_per_doc til afkortning af dokumenter med 4096 som standard. Coheres klargøringsvejledning beskriver også opdeling af lange dokumenter; det effektive input afhænger af den valgte arbejdsgang og dens dokumentindstillinger. For større kontrol skal du selv klargøre identificerbare passager frem for at antage, at alle afsnit i en lang kilde forbliver synlige. Bevar tilstrækkelig omgivende kontekst til at skelne en passage med svaret fra en passage, der blot deler dets ordforråd.

Af hensyn til forespørgselsydelsen anbefaler den aktuelle reference ikke at sende mere end 1.000 dokumenter ad gangen. Relevansscorer normaliseres mellem 0 og 1, men deres værdier afhænger af forespørgslen og kandidaterne og udgør ikke en lineær skala for korrekthed. Brug rangeringen til at identificere nyttig dokumentation. Hvis en scoregrænse er nødvendig, skal du vælge repræsentative domæneforespørgsler og passager på grænsen til relevans, så grænsen afspejler den faktiske søgeopgave.

En praktisk supportarbejdsgang kan omrangere kandidatsektioner fra en returpolitik til et spørgsmål om en beskadiget vare og derefter sende den valgte kildetekst til et svarskrivningstrin. En e-mailsøgning kan rangere beskeder efter et konkret problem og bevare den oprindelige beskedidentifikator med hvert resultat. Den nyttige leverance er den ordnede dokumentationsliste. Hold Rerank 3.5's kortere kontekst og V2-dokumentklargøring knyttet til resultatet frem for at erstatte dem med senere modellers grænser.