VoyageAI by MongoDB: rerank-2.5

rerank-2.5 er Voyage AIs instruksjonsfølgende omrangeringsmodell, utviklet for å forbedre et sett med søkekandidater. Den undersøker spørringen og hvert dokument samlet som en kryssenkoder og returnerer deretter en relevansrekkefølge. Produsentens utgivelse fremhever styring på naturlig språk over hva som regnes som relevant, flerspråklig innhenting og en lengre spørring–dokument-kontekst enn den foregående rerank-2-utgaven.

Gi modellen kandidatene som skal sammenlignes

Inndataene er en spørring og en liste over kandidattekstdokumenter. Disse kan være tekstutdrag valgt av embedding-søk eller et leksikalsk søk i første trinn. Omrangeringsmodellen vurderer den innsendte teksten fremfor å lage embeddings for et korpus, så dens praktiske oppgave er å forbedre kandidatene det innledende søket allerede fant.

Behold den opprinnelige kandidatrekkefølgen og kildeidentifikatorene når du forbereder listen. De returnerte indeksene viser til disse inndataposisjonene. For en RAG-oppgave gir du tekstutdragene svartrinnet faktisk kan bruke, inkludert tittelen eller forbeholdene som trengs for å tolke dem. Et relevant dokument som mangler fra det innsendte kandidatsettet, kan ikke dukke opp som et nyfunnet resultat av omrangeringen.

Angi den tiltenkte forståelsen av relevans

Instruksjoner kan legges til etter eller før spørringen. Utgivelsen beskriver tre nyttige roller: fremheve en bestemt del av et dokument, foretrekke en kildetype og gjøre spørringen entydig med applikasjonskontekst. Disse endrer relevansoppgaven modellen får.

For et teknisk søk er en illustrerende instruksjon «Prioriter tekstutdrag som forklarer feil- og gjenopprettingsoppførselen; innledende oversikter er sekundære.» For en forskningssamling angir du om tittelen, metoden eller resultatet er viktigst. For et tvetydig begrep angir du fagområdet søket gjelder. Hold spørsmålet og instruksjonen forenlige, slik at den ene ikke ber om et bredt tema mens den andre umerkelig endrer oppgaven.

Disse preferansene styrer relevansskåringen. Hvis applikasjonen har strenge kvalifikasjonskrav – som kildeversjon, dato eller tilgangsomfang – forbereder du det kvalifiserte kandidatsettet separat. Modellens relevansinstruksjon og en deterministisk begrensning av samlingen dekker forskjellige formål.

Rangerte utdata og senere bruk av resultatet

Resultatene ordnes etter synkende relevans og inneholder en relevansskår som flyttall og kandidatens opprinnelige inndataindeks. Valget top-k velger hvor mange av de fremste resultatene som skal returneres; uten det returnerer produsentens spesifikasjon resultater for alle innsendte kandidater. Et valgfritt return-documents-valg inkluderer den tilsvarende kildeteksten; ellers inneholder svaret indekser og skårer.

Bruk rekkefølgen til å velge tekstutdrag for visning eller et senere svartrinn, og bevar kildeidentiteten deres. Undersøk den faktiske teksten når du vurderer rangeringen: skåren er et mål på relevans for den innsendte spørringen, ikke et generert svar eller en bekreftelse på at dokumentets påstander er korrekte. Dette gjør modellen nyttig for å forbedre teknisk, juridisk, finansielt, medisinsk, samtalerelatert og flerspråklig søkemateriale uten å gjøre rangering til en faglig konklusjon.

Kontekst, totalt tokenbudsjett og avkorting

Den dokumenterte spørringsgrensen er 8 000 tokener, inkludert instruksjoner plassert i spørringen. Spørringen pluss ett hvilket som helst kandidatdokument må få plass innenfor 32 000 tokener, og dokumentlisten kan inneholde maksimalt 1000 elementer. Den totale tildelingen er 600 000 tokener, telt som spørringstokener multiplisert med antall dokumenter, pluss alle dokumenttokener. En lang instruksjon telles derfor gjentatte ganger på tvers av kandidatparene.

Antallet i top-k for utdata endrer ikke antall kandidater i denne beregningen av inndatatokener. Standardavkorting forkorter for lange spørringer eller dokumenter for å oppfylle kontekstgrensen; når den deaktiveres, returnerer en for lang spørring eller et for langt par en feil. Forbered tekstutdrag som inneholder svaret, bevisst, og hold det relevante forbeholdet innenfor teksten modellen vil se. Vurder den forbedrede rekkefølgen på representative spørsmål og instruksjoner, og send deretter de valgte opprinnelige tekstutdragene til neste trinn.