Thenlper: GTE-Base

GTE-base är basmodellen i serien General Text Embeddings, tränad av Alibaba DAMO Academy. Denna kodare för engelsk text bygger huvudsakligen på BERT-ramverket och ger täta vektorer med 768 dimensioner. Den tränas på en stor korpus av par med relevansrelationer från olika domäner. Informationssökning, semantisk textlikhet och omrangering av text utifrån inbäddningar hör till de angivna användningsområdena.

Förbered engelska frågor och textstycken

Använd läsbar engelsk text både för informationsbehovet och för materialet som ska genomsökas. Exempelvis kan en fråga om att byta ut en sliten komponent jämföras med korta underhållsavsnitt som beskriver kriterier för utbyte, inspektionssteg och beställningsanvisningar. Behåll komponentens namn och de villkor som skiljer avsnitten åt.

Det publicerade exemplet kodar frågor och kandidattexter direkt, utan någon extra uppgiftsinstruktion. Använd samma förberedelse i samlingen och för senare frågor. Lagra originaltextstycket och dess identifierare tillsammans med vektorn, så att ett rangordnat resultat kan visa den information som representerades.

Medelvärdespoolning och jämförelse

Referensmetoden beräknar medelvärdet av modellens tokenrepresentationer med hjälp av uppmärksamhetsmasken, så att utfyllnadspositioner inte bidrar till resultatet. Därefter visar den valfri L2-normalisering och jämför de normaliserade vektorerna genom deras skalärprodukt. Ett separat exempel använder cosinuslikhet.

Välj och behåll samma inställningar för normalisering och jämförelse vid indexering och informationssökning. Utdata innehåller 768 numeriska komponenter; de innehåller inget genererat svar. I ett steg för omrangering av kandidater kodas kandidattextstyckena med samma modell och ordnas efter sin likhet med frågan. Detta är fortfarande en jämförelse utifrån inbäddningar och innebär inte att modellen gemensamt läser varje par av fråga och textstycke som en korsenkodare.

Engelskt språkstöd och indata på 512 token

Modellkortet för just denna modell begränsar den till engelsk text och anger att långa indata trunkeras till högst 512 token. En lång manual bör därför delas upp i meningsfulla avsnitt före indexering. Behåll en varning, ett undantag eller ett förbehåll tillsammans med den regel som det modifierar när dessa detaljer behövs för att tolka textstycket.

För en fråga om underhållsintervall är ett avsnitt med både intervallet och driftvillkoret mer användbart än ett fragment som bara innehåller ett tal. Behåll rubriken eller utrustningens identitet när den förtydligar instruktionen. Kontrollera längden med tokeniseraren i stället för att förlita dig på det synliga antalet ord.

Använd källtextstyckena bakom poängen

Informationssökningen returnerar kandidater ur den indexerade samlingen. Granska de högst rankade textstyckena för den exakta uppgiften och behåll deras källpositioner när de förs vidare till ett steg där RAG-svar skrivs. Ett relaterat textstycke kan handla om inspektion utan att medge utbyte; den skillnaden måste förbli synlig i källmaterialet.

GTE-base skiljer sig från GTE-large, som ger vektorer med 1024 dimensioner, och från senare flerspråkiga GTE-utgåvor eller utgåvor med utökad kontext. Dess publicerade modellidentitet definierar det engelska språkstödet, representationen med 768 komponenter och gränsen på 512 token. Använd just denna profil med representativa frågor och källposter när du bedömer en samling för informationssökning.