Thenlper: GTE-Large

GTE-large to duża wersja modelu General Text Embeddings wytrenowana przez Alibaba DAMO Academy. Jest to koder tekstu angielskiego oparty głównie na architekturze BERT, tworzący gęstą reprezentację 1024-wymiarową dla każdego wejścia. Producent trenuje rodzinę GTE na parach powiązanych ze sobą tekstów z różnych dziedzin i wskazuje wyszukiwanie, ocenę podobieństwa semantycznego tekstów oraz ponowny ranking tekstów jako dalsze zastosowania.

Reprezentuj zawartość sekcji

Przygotuj fragment angielskiego tekstu, który ma być porównywany z zapytaniem wyszukiwania. W kolekcji raportów technicznych zachowaj temat krótkiej sekcji, obserwację i istotny warunek. Raport opisujący drgania występujące tylko przy określonym obciążeniu powinien zachować ten warunek, zamiast pozostawiać ogólne stwierdzenie o drganiach.

Przechowuj identyfikatory źródeł, tytuły dokumentów i położenie sekcji wraz z zapisanymi wektorami. Zapytanie może wyszukać kandydujące sekcje, a oryginalny raport pozostaje dostępny do weryfikacji urządzenia, warunku i wniosku. Osadzenie dostarcza liczbowej reprezentacji zawartości fragmentu.

Agregacja, normalizacja i wykorzystanie wektorów

Opublikowana procedura używa uśredniania reprezentacji tokenów z maską uwagi, wykluczając z obliczenia średniej pozycje dopełniające. Pokazuje również opcjonalną normalizację L2, po której następuje porównanie znormalizowanych wektorów przez iloczyn skalarny. Przykład Sentence Transformers używa podobieństwa kosinusowego.

Zachowaj te same ustawienia przygotowania, agregacji i porównania w kolekcji i po stronie zapytań. Każda reprezentacja zawiera 1024 składniki. Większa liczba składników jest szczegółem danej wersji; nie dowodzi, że wektory GTE-large można mieszać z 768-wymiarową reprezentacją GTE-base lub z innym koderem 1024-wymiarowym.

Proces ponownego rankingu może porównywać osadzenie zapytania z już wyszukanym zestawem osadzeń kandydatów i zmieniać kolejność tych rekordów. Zachowaj rozróżnienie między tym porównywaniem wektorów a osobnym modelem, który wspólnie ocenia parę zapytanie–fragment.

Długość wejścia i ograniczenie do języka angielskiego

Karta modelu wyraźnie ogranicza ten konkretny model do tekstu angielskiego i obcina długie wejścia do maksymalnie 512 tokenów. Dziel długi raport techniczny na spójne sekcje i zachowaj dość lokalnego kontekstu, aby każda była zrozumiała samodzielnie. Jeśli zdanie zależy od wcześniejszego zastrzeżenia, zachowaj je w tej samej indeksowanej jednostce, o ile się mieści.

Granica tokenów różni się od widocznej liczby słów. Sprawdź długość przygotowanej sekcji i upewnij się, że szczegół potrzebny w zamierzonym wyszukiwaniu nie znajduje się poza częścią zachowaną po obcięciu.

Sprawdzaj wyszukane materiały źródłowe

W aplikacji do przeszukiwania raportów prezentuj kandydujące sekcje wraz z ich położeniem w źródłach i sprawdzaj rzeczywistą zawartość. Podobne obserwacje mogą mieć różne przyczyny lub zalecenia. Wynik porównania wektorów pomaga uporządkować kandydatów przy wybranej konfiguracji porównania; nie dowodzi, że wniosek z raportu ma zastosowanie w nowej sytuacji.

W RAG używaj wybranych sekcji jako kontekstu źródłowego dla etapu pisania odpowiedzi i zachowaj ich powiązania z dokumentami. Ten konkretny profil GTE-large dostarcza gęstych osadzeń angielskiego tekstu o 1024 wymiarach i granicy wejścia wynoszącej 512 tokenów. Późniejsze wielojęzyczne wersje GTE i wersje z rozszerzonym kontekstem mają odrębne tożsamości, więc ich zakres językowy ani ustawienia wejścia nie wynikają z nazwy rodziny tej wersji modelu.