Thenlper: GTE-Large

GTE-large är den stora modellen i serien General Text Embeddings, tränad av Alibaba DAMO Academy. Det är en kodare för engelsk text som huvudsakligen bygger på BERT-ramverket och ger en tät representation med 1024 dimensioner för varje indatatext. Tillverkaren tränar GTE-familjen på textpar med relevansrelationer från olika domäner och anger informationssökning, semantisk textlikhet och omrangering av text som efterföljande användningsområden.

Representera innehållet i ett avsnitt

Förbered det engelska textstycke som ska jämföras med en sökfråga. I en samling tekniska rapporter ska ett kort avsnitts ämne, observation och relevanta villkor behållas. En rapport som beskriver vibrationer enbart vid en viss belastning bör behålla det villkoret, i stället för att bara lämna ett allmänt påstående om vibrationer.

Lagra källidentifierare, dokumenttitlar och avsnittens placering tillsammans med vektorerna. En fråga kan hämta kandidatavsnitt, medan originalrapporten finns kvar för att kontrollera utrustningen, villkoret och slutsatsen. Inbäddningen ger en numerisk representation av textstyckets innehåll.

Poolning, normalisering och användning av vektorer

Den publicerade metoden använder medelvärdespoolning av tokenrepresentationer med uppmärksamhetsmasken, så att utfyllnad utesluts från medelvärdet. Den visar också valfri L2-normalisering följd av en jämförelse med skalärprodukten av normaliserade vektorer. Exemplet med Sentence Transformers använder cosinuslikhet.

Använd samma inställningar för förberedelse, poolning och jämförelse i samlingen och på frågesidan. Varje representation innehåller 1024 komponenter. Det större antalet komponenter är en egenskap hos denna utgåva; det innebär inte att GTE-large-vektorer kan blandas med GTE-base-representationen med 768 dimensioner eller med en annan kodare med 1024 dimensioner.

Ett arbetsflöde för omrangering kan jämföra en frågas inbäddning med en redan hämtad uppsättning kandidatinbäddningar och ändra ordningen på posterna. Behåll skillnaden mellan denna vektorjämförelse och en separat modell som bedömer en fråga och ett textstycke gemensamt som ett par.

Indatalängd och begränsningen till engelska

Modellkortet begränsar uttryckligen just denna modell till engelsk text och trunkerar långa indata till högst 512 token. Dela upp en lång teknisk rapport i sammanhängande avsnitt och behåll tillräckligt med lokal kontext för att varje avsnitt ska kunna stå för sig självt. Om en mening är beroende av ett föregående förbehåll ska det förbehållet behållas i samma indexerade enhet när det ryms.

En tokengräns skiljer sig från ett synligt ordantal. Kontrollera längden på det förberedda avsnittet och säkerställ att den detalj som den avsedda sökningen behöver inte ligger utanför den del som behålls efter trunkering.

Granska de hämtade beläggen

I en applikation för rapportsökning bör kandidatavsnitt visas med sina källpositioner och deras faktiska innehåll granskas. Liknande observationer kan ha olika orsaker eller rekommendationer. En vektorpoäng hjälper till att ordna kandidaterna enligt den valda jämförelsemetoden; den fastställer inte att en rapports slutsats gäller i en ny situation.

För RAG används de valda avsnitten som källkontext i steget där svaret skrivs, och deras kopplingar till dokumenten behålls. Just denna GTE-large-profil ger täta inbäddningar för engelsk text med 1024 dimensioner och en indatagräns på 512 token. Senare flerspråkiga GTE-utgåvor och utgåvor med utökad kontext har separata identiteter, så deras språkstöd eller indatainställningar följer inte av familjenamnet för denna modellversion.