VoyageAI by MongoDB: rerank-3-lite

Voyage rerank-3-lite to wydanie serii Rerank 3 firmy Voyage nastawione na niskie opóźnienia. Przyjmuje zapytanie tekstowe i kandydujące dokumenty, ocenia wspólnie każdą parę zapytanie–dokument i zwraca oceny trafności w kolejności rankingu. Służy drugiemu etapowi wyszukiwania: mechanizm oparty na embeddingach lub słowach kluczowych znajduje kandydatów, a Lite dopracowuje ich kolejność. Wynikiem jest ranking do wykorzystania w wyszukiwaniu lub procesie generowania wspomaganego wyszukiwaniem.

Co zmienia się w Rerank 3 Lite Producent podkreśla lepsze wyszukiwanie w długich dokumentach i kodzie w porównaniu z rerank-2.5-lite. Oba wydania Rerank 3 zachowują wykonywanie instrukcji i tę samą klasę kontekstu 32K, natomiast Lite jest zaprojektowany dla aplikacji wrażliwych na opóźnienia. Czyni go to praktycznym kandydatem do interaktywnego przeszukiwania baz wiedzy, wyszukiwania dokumentacji wsparcia i kodu, gdy użytkownicy potrzebują szybkich, trafnych wyników. Wybieraj go według wymagań jakości i czasu odpowiedzi dla rzeczywistego zbioru, zamiast zakładać, że mniejsze wydanie oznacza mniejsze okno kontekstu.

Kieruj trafnością za pomocą zapytania Zapytaniu mogą towarzyszyć instrukcje w języku naturalnym wyjaśniające, co uznać za trafne. Pytanie i preferencja trafności powinny być zwięzłe i spójne. W wyszukiwaniu wsparcia oprogramowania użyj: „Znajdź procedurę resetowania urządzenia; nadaj pierwszeństwo instrukcjom dla podanej rewizji sprzętu”. Przy niejednoznacznej nazwie produktu uwzględnij jego kategorię, aby nie dominowały niepowiązane znaczenia. Preferencja w zapytaniu kieruje oceną semantyczną; używaj jawnych metadanych zbioru do wyboru właściwego produktu, wersji dokumentu lub zakresu dostępu przed utworzeniem listy kandydatów.

Przygotuj krótką listę kandydatów tekstowych Dokumenty wejściowe są ciągami tekstowymi. Wyodrębnij czytelny tekst z materiału źródłowego i zachowaj przydatne tytuły, nagłówki, identyfikatory oraz kontekst. Utrzymuj stałe mapowanie każdej pozycji wejściowej na oryginalny rekord. W artykule o rozwiązywaniu problemów uwzględnij objaw i odpowiednią procedurę, a nie tylko oderwane zdanie. W wyszukiwaniu kodu źródłowego uwzględnij funkcję i pobliskie informacje potrzebne do odróżnienia jej od podobnie nazwanych funkcji. Usuń powtarzalną nawigację lub szablonowy tekst, gdy wypierają przydatny fragment.

Reranker może zmienić kolejność tylko otrzymanych dokumentów. Jeśli pierwsze wyszukiwanie nie pobierze odpowiedniego artykułu, ten etap nie odzyska brakującego kandydata. Gdy wynik wydaje się błędny, sprawdź zarówno listę kandydatów, jak i końcową kolejność. Jeśli długi dokument obejmuje wiele tematów, rozdziel spójne sekcje i zachowaj ich odwołania do dokumentu nadrzędnego, aby można było wybrać trafną sekcję bez utraty źródła.

Kontekst i limity żądania Bieżący poradnik producenta określa maksimum zapytania na 8 000 tokenów i łączne maksimum zapytania z każdym pojedynczym dokumentem na 32 000 tokenów. Dopuszcza do 1 000 dokumentów kandydujących i łączny budżet żądania 600 000 tokenów, obliczany jako liczba tokenów zapytania pomnożona przez liczbę dokumentów, plus tokeny wszystkich dokumentów. Długie zapytanie zużywa więc miejsce w każdej parze i wielokrotnie powiększa budżet łączny. Licz tokeny przesyłanego tekstu odpowiednim tokenizerem modelu, zamiast traktować znaki, słowa i tokeny jako zamienne.

Na przykład zapytanie o 500 tokenach ze 100 dokumentami po 4 000 tokenów daje według tej formuły 450 000 tokenów wejściowych. Ilustruje to budżetowanie, a nie zalecaną wielkość listy kandydatów lub zmierzony wynik szybkości. Udokumentowana opcja obcinania jest domyślnie włączona; zbyt obszerny tekst może zostać skrócony przed oceną. Świadomie przygotuj ważne sekcje, aby obcinanie nie usunęło właśnie tego fragmentu, który ma zostać dopasowany.

Odczytaj i wykorzystaj wynik Wyniki są sortowane od najwyższej oceny trafności w dół. Każdy wynik wskazuje pierwotną pozycję dokumentu na wejściu, co pozwala aplikacji dołączyć własny tytuł, identyfikator rekordu i źródło. Ustawienie top_k określa liczbę zwracanych kandydatów w rankingu; bez niego zwracani są wszyscy kandydaci. Interfejs REST producenta może także zwracać tekst dokumentu. Zachowuj pierwotne identyfikatory przy wybranych wynikach podczas wyświetlania strony wyszukiwania lub przekazywania dowodów do etapu generowania odpowiedzi.

Ocena trafności wyraża stopień dopasowania kandydata do zapytania; nie potwierdza prawdziwości jego stwierdzeń. Porównaj najwyżej ocenione pozycje z rzeczywistym pytaniem użytkownika, uwzględniając wykluczenia i różnice wersji dokumentów. Jeśli każdy kandydat jest nietrafny, nadal istnieje pozycja najwyżej sklasyfikowana. Ustal, jak aplikacja obsłuży ten przypadek, korzystając z reprezentatywnych zapytań dla zbioru.

Aktualizacja i wybór wydania Producent opisuje rerank-3-lite jako następcę rerank-2.5-lite z niezmienioną semantyką API i ocenami skalibrowanymi do rozkładu odpowiedniego poprzednika. Zachowaj istniejące mapowanie rekordów i etap wyszukiwania, a następnie porównaj uzyskaną kolejność na znaczących zapytaniach przed poleganiem na ustalonym progu ocen. Używaj Lite tam, gdzie ważny jest czas odpowiedzi; porównaj go z wydaniem rerank-3 nastawionym na jakość, gdy trafność trudnych kandydatów ma większy priorytet.