bge-reranker-v2-m3

A BGE Reranker v2 M3 a BGE-M3-ra épülő többnyelvű relevanciamodell. Egy lekérdezést és egy jelölt szövegrészletet együtt fogad, és a kapcsolatukra vonatkozó pontszámot ad vissza. A BAAI ezt a kiadást hatékony többnyelvű újrarangsorolóként pozicionálja, többek között kínai és angol visszakereséshez, amikor a keresőalkalmazásnak egy meglévő jelöltlistát kell pontosítania.

Relevancia egy lekérdezés–szövegrészlet pár alapján

A cross-encoder a két szöveget közösen dolgozza fel, így tartalmuk már a relevanciapontszám előállítása előtt kölcsönhatásba léphet. Ez eltér a beágyazási modelltől, amely a szövegeket egymástól függetlenül kódolja az újra felhasználható vektoros összehasonlításhoz. Az újrarangsoroló kimenete egy adott pár skalár pontszáma, nem pedig dokumentumvektor vagy írott válasz.

A modellt azután használja, hogy egy kezdeti keresés már kiválasztotta az ésszerűnek tűnő szövegrészleteket. Párosítsa a kérdést minden jelölttel, és rendezze a jelölteket a kapott pontszámok alapján. Ezzel a részletesebb összehasonlítás egy kezelhető méretű szűkített listára összpontosul, ahelyett hogy a cross-encodert egy nagy gyűjtemény összes szövegrészletének vizsgálatára kérné.

A v2 M3 kiadás

A gyártó a BGE-M3-at nevezi meg alapmodellként, és a többnyelvű támogatást a fő jellemzők közé sorolja. A v2 újrarangsoroló családon belül az M3 a hatékony többnyelvű lehetőség; a Gemma-alapú és a rétegválasztást használó változatok különálló modellek, eltérő megvalósítási döntésekkel. Az M3 név itt nem jelenti azt, hogy az újrarangsoroló az eredeti beágyazási modell sűrű, ritka és többvektoros beágyazásait adja vissza.

Ez a különbség fontos az alkalmazás által igényelt eredmény kiválasztásakor. Dokumentumgyűjtemény reprezentálásához és kereséséhez beágyazási modellt válasszon. Ezt az újrarangsorolót akkor használja, ha már rendelkezik jelölt szövegekkel, és azt kell eldöntenie, melyik részlet a legrelevánsabb az aktuális lekérdezéshez.

Hasznosan rangsorolható jelöltek előkészítése

Adja meg a tényleges kérdést és az értelmezéséhez szükséges teljes jelölt szöveget. Őrizze meg a címeket vagy a közeli definíciókat, ha azok határozzák meg egy részlet jelentését. A közzétett Transformers-példában a lekérdezést és a szövegrészletet együtt tokenizálják, csonkolással és max_length=512 beállítással. Ez példabeli beállítás, nem a teljes modellre érvényes korlát. A kérdést és a szükséges bizonyítékot tartsa a kiválasztott párkereten belül, és ellenőrizze, mit távolít el a csonkolás. Egy találat akkor is irreleváns lehet, ha ugyanazt a terméket említi, mint a lekérdezés, de más műveletről vagy feltételről szól; a visszakeresés minőségének értékelésekor készítsen e helyzeteket megkülönböztető példákat.

Dokumentumasszisztensnél a jelöltazonosítókat tartsa a szövegük mellett, pontozza a kérdés–szövegrészlet párokat, és a kiválasztott eredeti részleteket adja át a válaszadó lépésnek. A válaszoló modell így bizonyítékot kap, nem egy forrás nélküli relevanciapontszámot. Ez egy szemléltető visszakeresési munkafolyamat; maga az újrarangsoroló sem külső gyűjteményben nem keres, sem választ nem ír.

Pontszámok értelmezése és normalizálása

A gyártó nyers relevanciapontszámokat ad vissza; a magasabb érték szorosabb egyezést jelez. Dokumentált opcionális normalizálása szigmoid függvényt alkalmaz, hogy a pontszám 0 és 1 közé kerüljön. A normalizált pontszám tartománya kényelmes, de ez az átalakítás önmagában nem ad kalibrált valószínűséget arra, hogy a jelölt helyes.

A rangsorolási vagy szűrési küszöböket a saját feladataiból származó reprezentatív lekérdezés–szövegrészlet párokkal válassza ki. Legyenek köztük közös kulcsszavakat tartalmazó, de más kérdésre válaszoló részletek, valamint eltérő megfogalmazású releváns részletek is. Így a kiválasztott küszöbnek lesz érdemi jelentése a keresett gyűjteményben.

Ailoot API-projektnél határozza meg, mit kell tartalmaznia a végső kontextusnak, és hány jelölt vizsgálható hatékonyan. A hasznos eredmény egy jobban rendezett bizonyítékkészlet az alkalmazás következő lépéséhez. E kiadás relevanciakimenetét tartsa külön a dokumentumbeágyazásoktól, a generált prózától és a más újrarangsorolókhoz dokumentált rétegválasztási vezérlőktől.