NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)

Llama Nemotron Rerank VL 1B V2 vurderer relevansen av kandidattekst og dokumentbilder for en tekstspørring, inkludert diagrammer, tabeller og sider med blandede medier. NVIDIA beskriver den som en kryssenkodermodell med 1,7 milliarder parametere. I en innhentingsflyt kjører du det første søket før du sender de valgte kandidatene til rangeringsmodellen. Det nyttige resultatet er et omrangert sett med disse kandidatene og relevanspoeng, som en applikasjon kan bruke til å velge kontekst for et svar eller ordne en søkeresultatside.

Bruk POST /v1/rerank med en application/json-kropp. Sett model til "nvidia/llama-nemotron-rerank-vl-1b-v2:free", query til det faktiske søkespørsmålet og documents til en array som ikke er tom. Hver kandidat kan være en tekststreng eller et objekt med text og/eller image; et strukturert objekt må oppgi minst ett av disse feltene. text er en streng. image er en ekstern HTTP/HTTPS-URL eller en base64-data-URI som begynner med data:image/. En kombinert kandidat oppgir begge feltene. Behold rekkefølgen i denne inndata-arrayen, slik at returnerte indekser kan kobles til de lagrede dokument-ID-ene. top_n er et valgfritt heltall på minst 1 som angir antallet høyest rangerte dokumenter som skal returneres.

En hjelpesenterapplikasjon kan for eksempel hente avsnitt om levering, retur og kontotilgang og deretter omrangere disse avsnittene mot kundens leveringsspørsmål. Send selve avsnittsteksten i stedet for filnavn eller søkemotorutdrag uten sammenheng med den lagrede kilden. Hold hvert avsnitt knyttet til sin egen kildeidentifikator i applikasjonen, slik at de valgte beleggene senere kan siteres eller åpnes. For et skannet dokument, diagram, en tabell eller infografikk oppgir du selve bildet i et dokumentobjekt og legger til tekst når det hjelper med å identifisere innholdet.

Modellsiden dokumenterer en grense på 10 240 tokener per spørring og dokument. Del lengre kildemateriale i avgrensede avsnitt før du forbereder kandidatlisten. Behold nyttig omkringliggende kontekst sammen med hvert avsnitt, inkludert overskriften eller produktnavnet når det endrer betydningen. Den dokumenterte forespørselen starter med kandidatene du oppgir; den søker ikke i en dokumentsamling på dine vegne.

Omrangeringen returnerer et synkront JSON-resultat. Les hvert results-element, inkludert den opprinnelige index, relevance_score og det returnerte document-objektet, som kan inneholde text og/eller image, og behold eventuell returnert usage og svaridentifikatorer. Bruk index til å koble det rangerte resultatet tilbake til inndatakandidaten. Behandle en relevanspoengsum som et rangeringssignal for denne spørringen og ikke som et uavhengig verifisert faktasvar. Behold hele resultatet når flere avsnitt velges til neste trinn.

Forbered offentlig eller syntetisk kandidatmateriale for denne gratisutgaven; de dokumenterte bruksvilkårene utelukker konfidensiell informasjon og personopplysninger. Hvis en forespørsel avsluttes uten et fullstendig resultat, beholder du det opprinnelige svaret og forespørselsidentifikatoren mens du kontrollerer forsøket. Den dokumenterte omrangeringsflyten returnerer resultatet direkte og gir ingen separat arbeidsflyt for statusforespørsler eller kansellering.