Intfloat: E5-Large-v2

E5-Large-v2 är intfloats engelskspråkiga modell för textinbäddning med 24 lager och ett 1024-dimensionellt resultat. Den är utformad för att representera frågor och passager numeriskt för informationssökning och andra inbäddningsuppgifter. E5:s förberedelsekonvention ingår i träningen: Indatatexten har ett rollprefix och de kodade tokenrepresentationerna poolas till en vektor för texten.

Håll query- och passage-rollerna uttryckliga

Vid asymmetrisk sökning börjar frågan med ”query:” och korpustexten med ”passage:”. Dessa roller skiljer det användaren söker från materialet som kan besvara frågan. För symmetrisk jämförelse, parafrassökning, klustring eller klassificeringsegenskaper rekommenderar tillverkaren ”query:” för texterna som ska bäddas in.

En praktisk samling kan indexera engelska supportförklaringar. Förbered en fråga som ”query: What should I check before replacing the connector?” och para ihop den med källpassager som beskriver kontrollerna och undantagen. Passagetexten behåller sitt motsvarande prefix. Lagra källidentifieraren och den ursprungliga ordalydelsen bredvid varje vektor så att resultatet kan returnera materialet användaren behöver läsa.

Prefixen är inte dekorativa etiketter att ta bort från uppgiftens ena sida. Tillverkaren anger att utelämnade prefix försämrar sökprestandan eftersom modellen tränades med denna förberedelse. Använd den valda rollen konsekvent när korpusen byggs och när en fråga senare bäddas in.

Medelvärdespoolning och normaliserade vektorer

Det officiella kodningsexemplet beräknar medelvärdet av tokenrepresentationerna och utesluter utfyllnadspositioner med attention-masken. Därefter normaliseras den resulterande vektorn. En skalärprodukt mellan normaliserade fråge- och passagevektorer ger cosinuslikhet för att ordna kandidater. Detta recept för medelvärdespoolning hör till E5-Large-v2; ett recept med poolning av första token från en annan familj är ett separat förberedelseval.

De 1024 resultatvärdena bildar inbäddningen, inte ett skriftligt svar eller en direkt kategorietikett. Ett söksteg jämför värdena med kompatibla korpusrepresentationer och ett senare steg använder den valda passagetexten. Om vektorer fungerar som egenskaper för klustring eller en klassificerare ska kopplingen mellan varje vektor och den indatapost vars egenskaper den representerar bevaras.

Engelsk text inom fönstret

Modellkortet anger enbart engelskspråkig text och kapning av långa indata till högst 512 token. Håll varje dokumentpassage sammanhängande inom fönstret, inklusive rollprefixet och användbart källsammanhang. En lång manual bör förberedas som avsnitt vars titlar, villkor och instruktioner kan förstås när de hämtas separat.

Till exempel kan en klausul som beskriver en inställning behöva inställningens definition och ett undantag i nästa mening. Bevara denna lilla enhet tillsammans i stället för att dela enbart efter antal tecken. Behåll det överordnade dokumentet och källversionen tillsammans med passagen så att en uppdatering ersätter rätt material.

Läs rangordningen som sökevidens

Tillverkaren förklarar att ordningen mellan cosinuspoäng betyder mer än deras absoluta värden. En poäng bör inte tolkas som en kalibrerad sannolikhet för att en passage besvarar frågan. Kontrollera kända passager som innehåller svaret och närliggande irrelevant material när du väljer hur många resultat som ska behållas eller var en kandidatuppsättning ska filtreras.

Det användbara resultatet är en korpus- eller frågerepresentation, en semantisk jämförelsesignal eller numeriska egenskaper för en annan uppgift. Denna exakta engelska Large v2-checkpoint förblir åtskild från E5-Base-v2 och Multilingual-E5-Large. Matchande dimensioner gör inte i sig deras vektorer till ett dokumenterat gemensamt inbäddningsrum.