Sentence Transformers: multi-qa-mpnet-base-dot-v1

multi-qa-mpnet-base-dot-v1 er en Sentence Transformers-modell utviklet for å gjenfinne tekstpassasjer til et spørsmål eller en forespørsel. Treningen brukte omtrent 215 millioner spørsmål–svar-par. Hver inndatatekst blir en tett vektor med 768 dimensjoner, med CLS-pooling og prikkproduktskåring som definerer denne nøyaktige utgaven.

Forbered et spørsmål og kandidatpassasjer

Skriv forespørselen som informasjonsbehovet og forbered korpusposter som lesbare tekstpassasjer. Et spørsmål om å endre en leveringsadresse kan for eksempel sammenlignes med separate avsnitt om adresseendring, ordrekansellering og leveringssporing. Behold de relevante betingelsene i passasjen om adresseendring, inkludert om ordren allerede er sendt.

Kod forespørselen og passasjene med denne samme modellen. Det publiserte eksemplet gjør dette direkte, uten et query/document-prefiks, og sorterer passasjene etter prikkproduktskårene. Hold hver vektor knyttet til den opprinnelige passasjen og dokumentidentifikatoren, slik at det rangerte resultatet kan vise materialet som faktisk ble indeksert.

CLS-pooling og prikkproduktutgaven

Modellens referanseoppskrift tar representasjonen av første token, kjent som CLS-pooling. Den tekniske tabellen sier uttrykkelig at embeddingene ikke er normalisert, og oppgir prikkprodukt som egnet skåringsfunksjon. Bevar denne oppskriften når samlingen og forespørselssiden settes opp.

L2-normalisering av disse vektorene endrer skåringsgeometrien. Den normaliserte all-mpnet-base-v2-profilen bruker en annen oppskrift og er et separat checkpoint, til tross for felles MPNet-familie og et resultat på 768 komponenter. Hold den nøyaktige utgaven og sammenligningsfunksjonen med den lagrede samlingen fremfor å velge dem ut fra vektorlengden alene.

Lengdegrense og lengre passasjer

Den oppgitte inndatagrensen er 512 orddeler; lengre tekst avkortes. Produsenten påpeker også at treningsinndataene bare nådde 250 orddeler, og at lengre tekst kan fungere mindre godt. Den aksepterte tokenizerlengden og forbeholdet om treningslengde beskriver derfor ulike praktiske grenser.

For en stor hjelpeartikkel forbereder du korte seksjoner som besvarer bestemte spørsmål. Behold en overskrift når den identifiserer emnet, og hold en regel sammen med unntaket som trengs for å lese den korrekt. En hel side som ett input kan miste senere materiale ved avkorting, mens et for lite fragment kan miste betingelsen som gjør det nyttig.

Bruk rangeringen i gjenfinning og RAG

De tette vektorene støtter et første gjenfinningstrinn. Returner kandidatpassasjene med høyest skår og kildehenvisningene deres, og undersøk deretter om de svarer på det faktiske spørsmålet. I en RAG-arbeidsflyt gir du disse passasjene til svarskrivingstrinnet som kildemateriale; gjenfinningen skriver ikke svaret selv.

Bruk representative spørsmål med kjente relevante passasjer til å velge antall resultater og vurdere rangeringen. Ta med eksempler med lignende ordforråd, men ulik hensikt, som å endre en adresse versus å se den gjeldende adressen. Tolk skårene relativt til kandidater under samme modell og skåringsoppsett fremfor som kalibrerte sannsynligheter for korrekthet.

Det nyttige resultatet fra dette checkpointet er et embeddingrom for spørsmål og passasjer til semantisk søk. De unormaliserte vektorene, CLS-pooling, prikkproduktskåren og det publiserte forbeholdet om lange inndata er detaljene som må bevares når resultater forberedes og brukes.