Cohere: Rerank 4 Fast

Cohere Rerank 4 Fast är den lättare Rerank 4-utgåvan, positionerad för sökuppgifter med lägre latens och högre genomströmning. Den tar emot en fråga och kandidatdokument och returnerar sedan deras relevansordning och värden. Den är användbar för interaktiv sökning, återkommande urval av belägg och applikationer som behöver ordna om en befintlig resultatlista. Fast förblir en separat utgåva från Rerank 4 Pro, som positioneras för mer komplexa fall där sökkvalitet prioriteras.

Tillverkarkoden är rerank-v4.0-fast. Liksom Pro har den en kontext på 32 768 token och flerspråkig täckning över fler än 100 språk. Frågan och ett dokument delar kontexten; den är inte en vektordimension eller en budget för en hel indexerad korpus. Tillhandahåll kandidattexterna som ska jämföras i stället för att förvänta dig att modellen hämtar dokument från en källa som den inte har fått.

Det dokumenterade resultatet innehåller det ursprungliga dokumentindexet och en relevance_score. top_n väljer hur många resultat som returneras, medan ett utelämnat värde returnerar hela den rangordnade listan. Håll källidentifierare bredvid indata så att den nya ordningen kan kopplas till de faktiska avsnitten. För en produktsökning, beskriv de nödvändiga produktattributen i frågan och rangordna om kandidatbeskrivningarna; en högre placering ska förbli kopplad till produktposten som gav upphov till den.

Modellen kan arbeta med engelska och icke-engelska dokument och halvstrukturerade poster. I V2-flödet är dokumentindata strängar, och Cohere rekommenderar att strukturerade data representeras som YAML. Placera viktiga fält först och bevara ordningen så att trunkering inte tar bort innehållet som behövs för att bedöma relevans. En supportpost kan innehålla titel, produkt och procedurtext; ett meddelande kan innehålla sitt ämne och sin brödtext. Dessa uttryckliga relationer ger rangordningsmodellen information utöver en lista med matchande nyckelord.

Den modellspecifika frågegränsen i Coheres förberedelseguide är 16 384 token, där frågan och dokumentet förbrukar den gemensamma kontexten. Guiden beskriver bearbetning av längre dokument i delar, medan V2-referensen separat sätter dokumenttrunkering till 4 096 token som standard genom max_tokens_per_doc. Kontrollera den effektiva dokumentinställningen i stället för att anta att hela modellfönstret på 32K alltid används. Förbered relevanta avsnitt eller en lämplig dokumentbudget för den faktiska sökuppgiften.

För rekommenderad prestanda avråder Cohere från fler än 1 000 dokument i en begäran. Dela större kandidatuppsättningar i hanterbara grupper och behåll deras identifierare. Utdatavärdena normaliseras från 0 till 1 och beror på frågan och avsnitten. Deras ordning är det centrala resultatet; ett värde är inte en linjär multipel av relevans eller bevis för att ett avsnitt är korrekt. Fastställ eventuell filtreringströskel med representativa frågor och avsnitt på gränsen till relevanta från domänen.

Ett användbart Fast-resultat är en rangordnad lista som omedelbart kan styra en sökresultatvisning eller välja belägg för ett steg som skriver svaret. Behåll källtexten tillsammans med värdet och granska om de högst placerade resultaten faktiskt behandlar de begärda villkoren. Fasts roll är sökrangordning snarare än att generera en ny förklaring eller en inbäddningsvektor. Håll den namngivna utgåvan och indataförberedelsen konsekventa när relevansflödet förfinas.