bge-reranker-v2-m3

BGE Reranker v2 M3 to wielojęzyczny model trafności oparty na BGE-M3. Otrzymuje razem zapytanie i fragment kandydujący, po czym zwraca ocenę ich powiązania. BAAI pozycjonuje tę edycję jako wydajny wielojęzyczny reranker, między innymi do wyszukiwania w językach chińskim i angielskim, gdy aplikacja wyszukująca musi dopracować istniejącą listę kandydatów.

Trafność pary zapytanie–fragment

Cross-encoder przetwarza oba teksty wspólnie, umożliwiając wzajemne oddziaływanie ich treści przed wyznaczeniem oceny trafności. Różni się to od modelu embeddingów, który koduje teksty niezależnie do wielokrotnego porównywania wektorowego. Wyjściem rerankera jest pojedyncza ocena liczbowa dla konkretnej pary, a nie wektor dokumentu lub odpowiedź pisemna.

Używaj modelu po wstępnym wyszukiwaniu, które wybrało prawdopodobnie przydatne fragmenty. Połącz pytanie z każdym kandydatem i uporządkuj kandydatów według uzyskanych ocen. Skupia to dokładniejsze porównanie na możliwej do obsłużenia krótkiej liście zamiast wymagać od cross-encodera sprawdzenia każdego fragmentu dużej kolekcji.

Edycja v2 M3

Producent wskazuje BGE-M3 jako model bazowy i wymienia obsługę wielu języków jako główną cechę. W rodzinie rerankerów v2 model M3 jest wydajną opcją wielojęzyczną; warianty oparte na Gemma i z wyborem warstw są odrębnymi modelami z innymi rozwiązaniami implementacyjnymi. Nazwa M3 nie oznacza tu, że reranker zwraca gęste, rzadkie i wielowektorowe embeddingi oryginalnego modelu embeddingów.

To rozróżnienie ma znaczenie przy wyborze wyniku potrzebnego aplikacji. Wybierz model embeddingów do reprezentowania i przeszukiwania zbioru dokumentów. Wybierz ten reranker, gdy masz już tekst kandydatów i musisz ustalić, który fragment jest najtrafniejszy dla bieżącego zapytania.

Przygotuj kandydatów do przydatnego rankingu

Podaj rzeczywiste pytanie i pełny tekst kandydujący potrzebny do jego interpretacji. Zachowaj nagłówki lub sąsiednie definicje, gdy określają znaczenie fragmentu. W opublikowanym przykładzie Transformers zapytanie i fragment są tokenizowane razem z obcinaniem i max_length=512. To ustawienie przykładowe, a nie limit całego modelu. Zmieść pytanie i wymagane dowody w wybranym budżecie pary i sprawdź, co usuwa obcinanie. Wynik wymieniający ten sam produkt co zapytanie może nadal być nietrafny, jeśli dotyczy niewłaściwej operacji lub warunku; podczas oceny jakości wyszukiwania przygotuj przykłady rozróżniające te przypadki.

W asystencie dokumentowym zachowaj identyfikatory kandydatów obok tekstu, oceń pary pytanie–fragment i przekaż wybrane oryginalne fragmenty do etapu odpowiadania. Model odpowiadający otrzyma wtedy dowody, a nie samą ocenę trafności bez źródła. To przykładowy przepływ wyszukiwania; sam reranker nie przeszukuje zewnętrznej kolekcji ani nie pisze odpowiedzi.

Odczytywanie i normalizacja ocen

Producent zwraca surowe oceny trafności, gdzie wyższa wartość oznacza lepsze dopasowanie. Udokumentowana opcjonalna normalizacja stosuje funkcję sigmoidalną, umieszczając ocenę między 0 a 1. Znormalizowana ocena ma wygodny zakres, ale samo przekształcenie nie dowodzi, że jest skalibrowanym prawdopodobieństwem poprawności kandydata.

Dobierz progi rankingu lub filtrowania na reprezentatywnych parach zapytanie–fragment z własnych zadań. Uwzględnij fragmenty dzielące słowa kluczowe, lecz odpowiadające na inne pytanie, oraz trafne fragmenty sformułowane inaczej. Dzięki temu wybrany próg będzie znaczący dla przeszukiwanej kolekcji.

W projekcie Ailoot API określ zawartość końcowego kontekstu i liczbę kandydatów, których można efektywnie zbadać. Przydatnym wynikiem jest lepiej uporządkowany zestaw dowodów dla kolejnego etapu aplikacji. Oddziel wyjście trafności tej edycji od embeddingów dokumentów, generowanego tekstu i mechanizmów wyboru warstw udokumentowanych dla innych rerankerów.