NVIDIA: Nemotron 3 Embed 1B (free)

A Nemotron 3 Embed 1B az NVIDIA szövegbeágyazási modellcsaládja többnyelvű és nyelvek közötti kereséshez, valamint szemantikai hasonlósághoz. Egy kérdést vagy szövegrészletet sűrű vektorrá alakít, amelyet egy keresőrendszer más szövegreprezentációkkal hasonlíthat össze. A gyártó a dokumentált 1B kiadásokat harmincnégy nyelvi és nyelvváltozati beállításban értékeli, többek között angolul, arabul, kínaiul, oroszul, japánul, koreaiul és hinglish nyelven.

Kódoló és reprezentáció

A gyártó modellkártyája a Ministral 3-ból származtatott, metszett, kétirányú transzformert ír le. Körülbelül 1,14 milliárd paramétere van, és a tokenszintű reprezentációk átlagolásával szövegenként egy beágyazást ad. Natív kimenete 2048 dimenziós lebegőpontos vektor. Ez keresési reprezentáció, nem a beágyazott kérdésre adott írott válasz.

A gyártó a reprezentáció első részének megtartását is támogatja, például 1024 vagy 512 dimenzióét. A rövidített vektort a levágás után újra L2-normalizálni kell. A keresési feladat lekérdezési és korpuszoldalán egységesen tartsa meg a választott reprezentációhosszt és normalizálást. A vektor hossza és a bemeneti szekvencia hossza külön tulajdonság.

Lekérdezések és szövegrészletek előkészítése

A dokumentált keresési konvenció kérdéshez a “query:”, dokumentumszöveghez a “passage:” előtagot használja. A gyártó példái kódolás előtt alkalmazzák ezeket a szerepeket, és a normalizált vektorokat skalárszorzattal hasonlítják össze, ami egyenértékű a koszinuszhasonlósággal. A kiválasztott munkafolyamat által elvárt előkészítést használja, ahelyett, hogy nyers korpuszreprezentációt keverne egy eltérően előkészített lekérdezéssel.

Egy gyakorlati gyűjtemény műszaki magyarázatokat, szabályzatokat vagy kódhoz kapcsolódó dokumentációt tartalmazhat. Egy arra vonatkozó kérdésnek, hogy egy függvény hogyan kezel egy adott esetet, az ezt a működést leíró forrásrészletet vagy kódrészletet kell megtalálnia. A tényleges szövegrészlet mellett őrizze meg az azonosítókat, címsorokat és releváns feltételeket. A vektor kereshetővé teszi a jelöltet; az olvasó vagy egy későbbi RAG-válaszadási lépés a megőrzött forrást használja.

Hosszabb forrásanyag

A dokumentált maximális szekvenciahossz 32 768 token. A szövegrészletek határait akkor is tudatosan válassza meg, ha a modell jelentős szövegmennyiséget képes befogadni. Egy teljes szakasz megőrizheti a definíciót és a kivételeit; egy körülhatárolt részlet megkönnyítheti egy konkrét válasz vizsgálatát. A modellablakon túlnyúló bemeneteket darabolni vagy csonkolni kell, ezért a kihagyott véget nem szabad reprezentált tartalomként kezelni.

Minden beágyazott elemet tartson a szülődokumentumához és verziójához kapcsolva. Jelentésnél őrizze meg a szakaszcímet és a kérdés által érintett következtetés körüli magyarázatot. Kódkeresésnél a részlet mellett tartsa meg a függvénynevet, a releváns interfészt és a működést. Ez konkrét forrásanyagot biztosít, amikor a keresési lépés visszaad egy jelöltet.

A modellcsalád kiadásai és az eredmény használata

Az NVIDIA az 1B család BF16- és NVFP4-verzióit dokumentálja. A kvantált modell kártyája szerint e két kiadás közös beágyazási teret használ, és verzióváltáskor reprezentatív anyagon javasolja a keresési minőség ellenőrzését. A kijelentett közös reprezentáció a gyártó állítása erről a név szerint megjelölt párról, nem általános szabály minden 2048 kimeneti értékű modellre.

A hasznos eredmény egy lekérdezési vektor vagy egy indexelt forrásgyűjtemény, amelynek modellje, dimenzióválasztása és előkészítése rögzítve van. A jelölt szövegét az azonosítójával együtt adja vissza, és vizsgálja meg, hogy biztosítja-e a szükséges információt. A gyártó kifejezetten megjegyzi, hogy a keresési modell nem garantálja a helyes szövegrészletet minden kérdéshez; egy későbbi újrarangsorolási vagy válaszadási lépés saját feladataként dolgozik ezekkel a jelöltekkel.