BAAI: bge-base-en-v1.5

A bge-base-en-v1.5 a BAAI alapméretű angol, sűrű beágyazási modellje. Minden szöveget 768 dimenziós numerikus reprezentációvá alakít visszakereséshez és szemantikai összehasonlításhoz. A modell a BGE v1.5 sorozathoz tartozik, amely kezeli a korábbi család hasonlóságipontszám-eloszlását, és javítja a visszakeresést, ha nincs megadva utasítás. Kimenete szövegek összehasonlítására vagy releváns részletek megtalálására használt vektor.

Készítse elő a lekérdezéseket és szövegrészleteket

Hosszabb szövegrészletekben kereső rövid lekérdezésnél a BAAI a „Represent this sentence for searching relevant passages:” szöveg előtagként hozzáadását ajánlja. A korpusz részletei nem kapják meg ezt az utasítást. Más feladatokhoz az eredeti szöveg közvetlenül beágyazható. A gyártó megjegyzi, hogy a v1.5 utasítás nélkül is működik, ezért az előkészítést a feladat alapján kell megválasztani, nem az előtagot tekinteni az egyetlen érvényes bemenetnek.

Egy gyakorlati keresési gyűjtemény súgócikkeket, termékmagyarázatokat vagy műszaki utasításokat tartalmazhat. Az olyan lekérdezésnek, mint a „How do I change the export format?”, a műveletet leíró szövegrészletet kell visszakeresnie. A szakaszcímet, releváns feltételeket és tényleges forrásszöveget tartsa együtt. A részlet azonosítóját és helyét a vektora mellett tárolja, hogy a keresési eredmény elolvasható anyagot adjon a felhasználónak vagy idézhető forrást egy későbbi válaszlépésnek.

Vektorformátum és összehasonlítás

A dokumentált reprezentáció az első, vagyis CLS-token végső rejtett állapotát használja mondatbeágyazásként. A gyártó példái normalizálják a vektort, és a normalizált beágyazásokat skalárszorzattal hasonlítják össze, ami koszinuszhasonlóságnak felel meg. A 768 dimenzió e modell kimeneti reprezentációjának mérete; nem választható kontextushossz vagy szöveggenerálási keret.

Az összehasonlított lekérdezés- és korpuszvektorokhoz ugyanazt a modellt és előkészítési konvenciót használja. Gyakorlati ellenőrzés lehet ismert, választ tartalmazó részletek visszakeresése tényleges felhasználói kérdések kis készletéhez, majd a visszaadott szöveg vizsgálata. A kompatibilis vektorforma lehetővé teszi a reprezentáció indexben tárolását, a forrásszövegrészlet pedig megmutatja, mit mond ténylegesen az eredmény.

Bemeneti hossz és dokumentum-előkészítés

A modell dokumentált szekvenciahossza 512 token. A hosszú forrást ezért beágyazás előtt összefüggő, választ tartalmazó részletekre kell bontani. A definíciókat és kivételeket az általuk pontosított állítással együtt tartsa meg, és őrizze meg a részlet kapcsolatát a szülődokumentummal. A beágyazandó szöveg minden hozzáadott utasítást vagy címsort tartalmaz, ezért a tömör előkészítés több helyet hagy a hasznos forrástartalomnak.

Jelentésnél vagy kézikönyvnél egy szakasz vagy kapcsolódó bekezdések kis csoportja köré válasszon határokat. A kizárólag címet vagy tárgya nélküli töredéket tartalmazó részlet visszakeresve nehezen értelmezhető lehet. Őrizze meg az eredeti szöveget és a forrásverziót, hogy egy indexfrissítés a dokumentum változásakor lecserélhesse a megfelelő anyagot.

Pontszámok és hasznos kimenet

A BAAI figyelmeztet, hogy az abszolút hasonlósági értékek nem általános küszöbök annak eldöntéséhez, hogy két szöveg ugyanazt jelenti. A relatív rangsor számít, és a szűrési küszöböt a feladat saját adatainak eloszlása alapján kell megválasztani. A magas vektorhasonlóság visszakeresési jelzés, nem a szövegrészlet tényszerű tartalmának igazolása.

A hasznos eredmény angol szövegrészlet-index, lekérdezésvektorok készlete vagy numerikus jellemzők szemantikai összehasonlításhoz. Külön újrarangsoroló finomíthatja a visszakeresett jelölteket, egy külön generálási lépés pedig választ írhat a szövegükből. Ez a pontos angol alapmodell a v1.5 kiadásban különálló marad a BGE Large, a kínai kiadások és a BGE-M3 többnyelvű, hibrid visszakeresési profiljaitól.