NVIDIA: Llama Nemotron Rerank VL 1B V2 (free)

Llama Nemotron Rerank VL 1B V2 bewertet die Relevanz von Kandidatentexten und Dokumentbildern für eine Textanfrage, einschließlich Diagrammen, Tabellen und Seiten mit gemischten Medien. NVIDIA beschreibt es als Cross-Encoder-Modell mit 1,7 Milliarden Parametern. Führen Sie in einem Abrufablauf zunächst die erste Suche aus und senden Sie anschließend die ausgewählten Kandidaten an den Reranker. Das nützliche Ergebnis ist eine neu geordnete Menge dieser Kandidaten mit Relevanzbewertungen, die eine Anwendung zur Auswahl von Antwortkontext oder zur Anordnung einer Suchergebnisseite verwenden kann.

Verwenden Sie POST /v1/rerank mit einem application/json-Body. Setzen Sie model auf "nvidia/llama-nemotron-rerank-vl-1b-v2:free", query auf die tatsächliche Suchfrage und documents auf ein nicht leeres Array. Jeder Kandidat kann eine Textzeichenfolge oder ein Objekt mit text und/oder image sein; ein strukturiertes Objekt muss mindestens eines dieser Felder enthalten. text ist eine Zeichenfolge. image ist eine entfernte HTTP/HTTPS-URL oder eine base64-Daten-URI, die mit data:image/ beginnt. Ein kombinierter Kandidat enthält beide Felder. Bewahren Sie die Reihenfolge dieses Eingabearrays, damit zurückgegebene Indizes Ihren gespeicherten Dokument-IDs zugeordnet werden können. top_n ist eine optionale Ganzzahl von mindestens 1, die die Anzahl der zurückzugebenden höchstbewerteten Dokumente anfordert.

Beispielsweise kann eine Hilfezentrum-Anwendung Passagen zu Lieferung, Rückgaben und Kontozugriff abrufen und diese anschließend anhand der Lieferfrage des Kunden neu ordnen. Übergeben Sie den tatsächlichen Passagentext statt Dateinamen oder Suchmaschinenauszügen ohne Bezug zur gespeicherten Quelle. Halten Sie jede Passage in der Anwendung mit ihrer eigenen Quellkennung verbunden, damit die ausgewählten Belege später zitiert oder geöffnet werden können. Stellen Sie für ein gescanntes Dokument, Diagramm, eine Tabelle oder Infografik dessen tatsächliches Bild in einem Dokumentobjekt bereit und ergänzen Sie Text, wenn er bei der Inhaltsbestimmung hilft.

Die Modellseite dokumentiert ein Limit von 10 240 Tokens pro Anfrage und Dokument. Teilen Sie längeres Ausgangsmaterial vor der Vorbereitung der Kandidatenliste in begrenzte Passagen auf. Bewahren Sie nützlichen umgebenden Kontext bei jeder Passage, einschließlich der Überschrift oder des Produktnamens, wenn diese die Bedeutung verändern. Die dokumentierte Anfrage beginnt mit den von Ihnen bereitgestellten Kandidaten; sie durchsucht keine Dokumentensammlung in Ihrem Auftrag.

Das Reranking liefert ein synchrones JSON-Ergebnis. Lesen Sie jedes results-Element einschließlich seines ursprünglichen index, relevance_score und zurückgegebenen document-Objekts, das text und/oder image enthalten kann, und bewahren Sie alle zurückgegebenen usage-Angaben und Antwortkennungen auf. Verwenden Sie index, um das geordnete Ergebnis seinem Eingabekandidaten zuzuordnen. Behandeln Sie eine Relevanzbewertung als Ordnungssignal für diese Anfrage und nicht als unabhängig verifizierte faktische Antwort. Bewahren Sie das vollständige Ergebnis auf, wenn mehrere Passagen für den nächsten Schritt ausgewählt werden.

Bereiten Sie für diese kostenlose Ausgabe öffentliches oder synthetisches Kandidatenmaterial vor; ihre dokumentierten Nutzungsbedingungen schließen vertrauliche Informationen und personenbezogene Daten aus. Endet eine Anfrage ohne vollständiges Ergebnis, bewahren Sie die ursprüngliche Antwort und Anfragekennung auf, während Sie diesen Versuch prüfen. Der dokumentierte Rerank-Ablauf liefert sein Ergebnis direkt und stellt keinen separaten Ablauf zum Abfragen oder Abbrechen eines Auftrags bereit.