Cohere: Rerank v3.5

Cohere Rerank 3.5 är en flerspråkig modell för relevansrangordning av kandidatdokument och halvstrukturerad text. Den bedömer varje kandidat i förhållande till en fråga och returnerar en omordnad resultatlista med relevansvärden. Den kan förfina kandidater som hämtats genom nyckelordsbaserad eller semantisk sökning och välja avsnitt för ett sökförstärkt svar. Dess uppgift är att förbättra beläggens ordning snarare än att generera ett fritt formulerat svar eller skapa ett nytt korpusindex.

Den exakta tillverkaridentifieraren är rerank-v3.5. Den använder en kontext på 4 096 token, skild från Rerank 4 Pro och Fasts kontext på 32K. Frågans och dokumentets token räknas tillsammans mot det fönstret per kandidat. Den modellspecifika förberedelseguiden trunkerar en fråga efter dess första 2 048 token och beskriver dokumentdelar på 4 093 token innan frågan tas med i beräkningen. Håll frågan fokuserad och förbered kandidatavsnitt som innehåller informationen som behövs för att bedöma den begärda relationen.

Tillhandahåll frågan och en lista med kandidattexter som strängar. Varje resultat bär ett index som pekar på den ursprungliga dokumentpositionen och ett relevansvärde; top_n väljer hur många rangordnade resultat som ska behållas. Utan det returnerar tillverkarens dokumenterade flöde alla resultat. Bevara dokumentidentifierare oberoende av värdet så att det högst placerade avsnittet fortfarande kan spåras till den ursprungliga policyn, produktposten eller meddelandet.

Rerank 3.5 stödjer fler än 100 språk, inklusive engelskt och icke-engelskt material. En fråga kan innehålla flera aspekter av behovet, såsom produkten, användarsituationen och önskad procedur. För strukturerade poster tog V2-versionen bort råa dokumentobjekt och rekommenderar YAML-strängar. Håll användbara fält i en genomtänkt ordning, med avgörande innehåll före mindre relevanta metadata, eftersom långa strängar kan trunkeras. Det fungerar för titlar och innehåll, produktattribut eller ett meddelandes ämne och brödtext.

Tillverkarens V2-referens använder max_tokens_per_doc för dokumenttrunkering, med standardvärdet 4 096. Coheres förberedelseguide beskriver också uppdelning av långa dokument; de effektiva indata beror på det valda arbetsflödet och dess dokumentinställningar. För större kontroll, förbered identifierbara avsnitt själv i stället för att anta att varje del av en lång källa förblir synlig. Behåll tillräckligt omgivande sammanhang för att skilja ett avsnitt som innehåller ett svar från ett som bara delar dess ordförråd.

För begäransprestanda rekommenderar den aktuella referensen att inte skicka fler än 1 000 dokument åt gången. Relevansvärden normaliseras mellan 0 och 1, men deras värden beror på frågan och kandidaterna och är ingen linjär skala för korrekthet. Använd rangordningen för att identifiera användbara belägg. Om en värdetröskel behövs, välj representativa domänfrågor och avsnitt på gränsen till relevanta så att tröskeln speglar den faktiska sökuppgiften.

Ett praktiskt supportflöde kan rangordna om kandidatavsnitt ur en returpolicy för en fråga om en skadad vara och sedan skicka den valda källtexten vidare till ett steg som skriver svaret. En e-postsökning kan rangordna meddelanden efter ett specifikt ärende och behålla det ursprungliga meddelandets identifierare med varje resultat. Den användbara artefakten är den ordnade beläggslistan. Behåll Rerank 3.5:s kortare kontext och V2:s dokumentförberedelse kopplade till det resultatet i stället för att ersätta dem med senare modellers gränser.