Cohere: Rerank v3.5

Cohere Rerank 3.5 is een meertalig model voor het rangschikken van kandidaatdocumenten en semigestructureerde tekst op relevantie. Het beoordeelt elke kandidaat in relatie tot een zoekvraag en geeft een opnieuw geordende resultatenlijst met relevantiescores terug. Het kan kandidaten uit trefwoord- of semantisch zoeken verfijnen en passages selecteren voor een antwoord met opgehaalde bronnen. De taak is de volgorde van bewijsmateriaal verbeteren, in plaats van een vrij geformuleerd antwoord te genereren of een nieuwe corpusindex te maken.

De exacte ontwikkelaars-ID is rerank-v3.5. Het gebruikt een context van 4096 tokens, onderscheiden van de 32K-context van Rerank 4 Pro en Fast. Tokens van de zoekvraag en het document tellen samen mee binnen dat venster per kandidaat. De modelspecifieke voorbereidingshandleiding kapt een zoekvraag af na de eerste 2048 tokens en beschrijft documentfragmenten van 4093 tokens voordat de zoekvraag wordt meegerekend. Houd de zoekvraag gericht en bereid kandidaatpassages voor die de informatie bevatten waarmee de gevraagde relatie kan worden beoordeeld.

Lever de zoekvraag en een lijst met kandidaatteksten als strings aan. Elk resultaat bevat een index die verwijst naar de oorspronkelijke documentpositie en een relevantiescore; top_n bepaalt hoeveel gerangschikte resultaten behouden blijven. Zonder die parameter geeft het gedocumenteerde ontwikkelaarsproces alle resultaten terug. Bewaar document-ID’s onafhankelijk van de score, zodat de hoogst gerangschikte passage herleidbaar blijft tot het oorspronkelijke beleid, productrecord of bericht.

Rerank 3.5 ondersteunt meer dan 100 talen, waaronder Engels en niet-Engels materiaal. Een zoekvraag kan verschillende aspecten van de behoefte bevatten, zoals het product, de gebruikerssituatie en de gewenste procedure. Voor gestructureerde records heeft de V2-versie ruwe documentobjecten verwijderd en worden YAML-strings aanbevolen. Plaats bruikbare velden in een bewuste volgorde, met doorslaggevende inhoud vóór minder relevante metadata, omdat lange strings kunnen worden afgekapt. Dit werkt voor titels en inhoud, productkenmerken of het onderwerp en de hoofdtekst van een bericht.

De V2-referentie van de ontwikkelaar gebruikt max_tokens_per_doc voor documentafkapping, met een standaardwaarde van 4096. De voorbereidingshandleiding van Cohere beschrijft ook het opdelen van lange documenten; de effectieve invoer hangt af van het gekozen werkproces en de documentinstellingen. Bereid voor meer controle zelf herkenbare passages voor, in plaats van aan te nemen dat elke sectie van een lange bron zichtbaar blijft. Behoud voldoende omliggende context om een passage die het antwoord bevat te onderscheiden van een passage die alleen dezelfde woorden gebruikt.

Voor de prestaties van verzoeken beveelt de huidige referentie aan niet meer dan 1.000 documenten tegelijk te versturen. Relevantiescores worden genormaliseerd tussen 0 en 1, maar hun waarden hangen af van de zoekvraag en de kandidaten en vormen geen lineaire schaal voor correctheid. Gebruik de rangschikking om bruikbaar bewijs te identificeren. Als een scoredrempel nodig is, kies dan representatieve zoekvragen uit het domein en passages met grensgevallen van relevantie, zodat de drempel de daadwerkelijke zoektaak weerspiegelt.

Een praktisch ondersteuningsproces kan kandidaatsecties van een retourbeleid opnieuw rangschikken voor een vraag over een beschadigd artikel en daarna de geselecteerde brontekst doorgeven aan een stap die het antwoord schrijft. Een e-mailzoekfunctie kan berichten op een specifiek probleem rangschikken en de oorspronkelijke bericht-ID bij elk resultaat bewaren. Het bruikbare resultaat is de geordende bewijslijst. Houd de kortere context van Rerank 3.5 en de V2-documentvoorbereiding bij dat resultaat, in plaats van de limieten van latere modellen te gebruiken.