Intfloat: E5-Base-v2

E5-Base-v2 är intfloats engelska inbäddningsmodell med tolv lager och en 768-dimensionell representation. Den omvandlar förberedd text till en numerisk vektor för informationssökning, semantisk jämförelse eller användning som egenskaper i en annan uppgift. Base v2-checkpointen skiljer sig från Large v2-utgåvan med 24 lager och 1024 dimensioner samt från de separat tränade flerspråkiga E5-modellerna.

Använd de inlärda rollprefixen

E5 förväntar sig en roll i början av indata. Vid passagesökning börjar en fråga med ”query:” och dess möjliga källa som innehåller svaret med ”passage:”. Tillverkaren rekommenderar ”query:” på båda sidor för symmetriska uppgifter som semantisk likhet och sökning efter parafraser. Den rekommenderar också prefixet när vektorerna ska vara egenskaper för klustring eller klassificering.

Till exempel kan en feedbacksamling innehålla flera olika formulerade önskemål om samma förbättring. Koda dessa poster med den rekommenderade symmetriska förberedelsen och jämför eller klustra sedan de resulterande vektorerna. Behåll den ursprungliga ordalydelsen och postidentifieraren tillsammans med varje representation så att ett kluster kan granskas som faktiska kundmeddelanden i stället för en oförklarad grupp tal.

För en söksamling förbereder du frågor och källpassager i deras respektive roller. En användbar fråga är ”query: Which setting changes the notification frequency?”. Korpuspassagen behåller förklaringen och dess relevanta villkor. Prefixet ingår i modellens inlärda förberedelse; tillverkaren påpekar att prestandan försämras om det utelämnas.

Poola och jämför representationen

Det officiella exemplet beräknar ett medelvärde av tokenrepresentationerna som tar hänsyn till attention-masken och utesluter utfyllnad, och normaliserar sedan den resulterande vektorn. En skalärprodukt mellan normaliserade inbäddningar ger cosinuslikhet. De 768 resultatvärdena beskriver en text; de är inte ett svar, en klassetikett eller en parvis omrankningspoäng.

I ett klustringsflöde bildar ett annat steg grupper från dessa vektorer. I ett klassificeringsflöde använder ett annat steg dem som indataegenskaper. Att behålla skillnaden gör resultatet lättare att tolka: Inbäddningen representerar posten, medan den efterföljande uppgiften avgör gruppen eller etiketten. Använd en modell och en förberedelsekonvention konsekvent för representationerna som jämförs.

Arbeta på engelska och inom 512 token

Modellkortet säger att denna utgåva bara fungerar för engelska och kapar lång text till högst 512 token. Förbered sammanhängande passager inom det omfånget, inklusive det obligatoriska rollprefixet. En lång recension, rapport eller manual bör delas efter meningsfulla avsnitt i stället för att bäddas in som för stora indata vars slut går förlorat.

Håll en rubrik tillsammans med meningarna den introducerar och bevara villkoret eller undantaget som ändrar en regels betydelse. För korta poster som feedback behåller du hela meddelandet när det får plats. En källidentifierare och version bredvid vektorn gör att en senare samlingsuppdatering kan ersätta rätt post.

Tolka likhet för uppgiften

Tillverkaren förklarar att den relativa ordningen mellan cosinuspoäng är viktigare än ett absolut värde. En filtreringströskel bör bedömas på samlingens egna exempel, och vektorlikhet är inte en kalibrerad sannolikhet för en matchande etikett eller ett korrekt svar. Granska närliggande poster och kända felmatchningar när du bestämmer hur vektorerna ska användas.

Den användbara leveransen är ett engelskt sökindex, en semantisk jämförelseuppsättning eller numeriska textegenskaper parade med sina källposter. Denna Base v2-profil har sina egna dimensioner, sin poolning och sin rollförberedelse; en annan E5-utgåvas vektorform eller språktäckning fastställer inte en utbytbar representation.