Sentence Transformers: all-mpnet-base-v2

all-mpnet-base-v2 is een model van Sentence Transformers dat zinnen en korte alinea's als 768-dimensionale dense vectoren representeert. Het is vanuit het MPNet-basismodel gefinetuned met contrastief leren op een verzameling van een miljard zinsparen. De maker noemt informatieopvraging, clustering en zinsgelijkenis als beoogde toepassingen.

Codeer een zin of korte alinea

Bereid de te vergelijken tekst voor en behoud de hoofdgedachte en onderscheidende details. Een korte sectie in een interne documentverzameling kan beschrijven hoe vervanging van apparatuur wordt aangevraagd of welke informatie een onderhoudsrapport moet bevatten. Houd de documenttitel en bronlocatie beschikbaar bij de vector.

Een met hetzelfde model ingebedde zoekvraag kan verwante secties ophalen, ook wanneer hun bewoordingen verschillen. Onderzoek die secties op de daadwerkelijke instructie die de lezer nodig heeft. Vergelijk bij een gelijkenisworkflow de kandidaatzinnen zelf na het ophalen, vooral wanneer de ene een uitzondering of voorwaarde bevat die in de andere ontbreekt.

Mean pooling en normalisatie

Het referentievoorbeeld voor codering middelt contextuele tokenrepresentaties met het attention-masker en sluit padding uit van het gemiddelde. Vervolgens worden de resulterende zinsembeddings L2-genormaliseerd. Behoud beide stappen bij het produceren van vectoren voor een verzameling en voor latere zoekvragen.

Elke vector heeft 768 componenten. Cosinusgelijkenis kan die genormaliseerde representaties vergelijken, terwijl de brontekst de onderbouwing achter een resultaat levert. Het gedeelde aantal componenten maakt dit model niet compatibel met multi-qa-mpnet-base-dot-v1: die afzonderlijke editie specificeert CLS-pooling en niet-genormaliseerde vectoren voor inproductscoring.

Standaard afkappen en passagevoorbereiding

De maker stelt dat invoer boven 384 wordpieces standaard wordt afgekapt. Houd de relevante sectie binnen die tokenizergrens. Splits een lange procedure bij betekenisvolle sectiegrenzen en voeg genoeg lokale context toe om uit te leggen waarop een stap van toepassing is. Een fragment zoals “Dien binnen vijf dagen in” heeft de gebeurtenis of het proces nodig waarmee de termijn begint.

De trainingsprocedure beperkte sequenties tot 128 tokens, los van de gepubliceerde coderingsstandaard van 384 wordpieces. Gebruik representatief materiaal bij het beoordelen van langere alinea's of woordenschat die specifiek is voor uw verzameling. Meer tekst die binnen de invoer past stelt niet vast dat elk detail een zoekresultaat even sterk beïnvloedt.

Informatieopvraging, groepering en vergelijking

Bewaar voor zoeken de koppeling tussen vector en document, zodat gerangschikte kandidaten de oorspronkelijke secties kunnen teruggeven. In een RAG-workflow worden geselecteerde secties context voor de antwoordschrijffase. Het model levert numerieke representaties; het genereert geen antwoord met brononderbouwing en beslist niet welk document gezaghebbend is.

Vergelijk voor clustering de records in elke voorgestelde groep voordat u labels toekent. Onderhoudsnotities kunnen vergelijkbare taal bevatten maar naar verschillende apparaten of storingsomstandigheden verwijzen. Neem die onderscheidende details in de gecodeerde tekst op en onderzoek ze in het geretourneerde materiaal in plaats van alleen op een score te vertrouwen.

Dit exacte all-mpnet-base-v2-checkpoint is een Engels zinsembeddingprofiel met eigen instellingen voor mean pooling, normalisatie en standaard afkappen. Bewaar die instellingen bij de geïndexeerde verzameling en gebruik de vectoren als hulpmiddel om de bronpassages die voor de taak van belang zijn te vinden en te vergelijken.