Sentence Transformers: all-mpnet-base-v2

all-mpnet-base-v2 är en Sentence Transformers-modell för att representera meningar och korta stycken som täta vektorer med 768 dimensioner. Den finjusterades från MPNet-basmodellen med kontrastiv inlärning på en samling med en miljard meningspar. Tillverkaren anger informationssökning, klustring och meningslikhet som avsedda användningar.

Koda en mening eller ett kort stycke

Förbered texten som ska jämföras och behåll huvudidén och dess särskiljande detaljer. I en intern dokumentsamling kan ett kort avsnitt beskriva hur man begär ersättningsutrustning eller vilken information en underhållsrapport måste innehålla. Håll dokumenttiteln och källplatsen tillgängliga bredvid vektorn.

En fråga med inbäddning från samma modell kan hämta relaterade avsnitt även när ordalydelsen skiljer sig åt. Granska avsnitten för den faktiska instruktion läsaren behöver. I ett likhetsarbetsflöde jämför du själva kandidatmeningarna efter sökning, särskilt när en innehåller ett undantag eller villkor som saknas i den andra.

Medelvärdespoolning och normalisering

Referensexemplet för kodning beräknar medelvärdet av kontextuella tokenrepresentationer med attention-masken och utesluter utfyllnad från medelvärdet. Därefter L2-normaliseras de resulterande meningsinbäddningarna. Behåll båda stegen när vektorer produceras för en samling och för senare frågor.

Varje vektor har 768 komponenter. Cosinuslikhet kan jämföra dessa normaliserade representationer, medan källtexten ger evidensen bakom resultatet. Det gemensamma komponentantalet gör inte modellen kompatibel med multi-qa-mpnet-base-dot-v1: Den separata utgåvan anger CLS-poolning och onormaliserade vektorer för skalärproduktspoängsättning.

Standardkapning och förberedelse av passager

Tillverkaren anger att indata utöver 384 orddelar kapas som standard. Håll det relevanta avsnittet inom denna tokeniserargräns. För en lång procedur delar du vid meningsfulla avsnittsgränser och tar med tillräckligt lokalt sammanhang för att förklara vad ett steg gäller. Ett fragment som ”Skicka in inom fem dagar” behöver händelsen eller processen som startar tidsfristen.

Träningsproceduren begränsade sekvenser till 128 token, vilket är separat från den publicerade kodningsstandarden på 384 orddelar. Använd representativt material när längre stycken eller ordförråd som är specifikt för samlingen bedöms. Att mer text ryms i indata fastställer inte att varje detalj påverkar ett sökresultat lika mycket.

Sökning, gruppering och jämförelse

För sökning behåller du vektor–dokument-kopplingen så att rangordnade kandidater kan returnera originalavsnitten. I ett RAG-arbetsflöde blir valda avsnitt kontext för svarsskrivningssteget. Modellen ger numeriska representationer; den genererar inte ett källbaserat svar eller avgör vilket dokument som är auktoritativt.

För klustring jämför du posterna i varje föreslagen grupp innan etiketter tilldelas. En uppsättning underhållsanteckningar kan ha liknande språk men avse olika enheter eller olika felbetingelser. Ta med dessa särskiljande detaljer i den kodade texten och granska dem i det returnerade materialet i stället för att förlita dig på en poäng ensam.

Denna exakta all-mpnet-base-v2-checkpoint är en engelsk meningsinbäddningsprofil med egna inställningar för medelvärdespoolning, normalisering och standardkapning. Behåll inställningarna tillsammans med den indexerade samlingen och använd vektorerna som hjälp för att hitta och jämföra källpassager som är viktiga för uppgiften.