Mistral: Mistral Embed 2312

Mistral Embed 2312 er Mistral AIs tekstembeddingmodell for å representere betydning numerisk. Den godtar en tekststreng eller en liste med strenger og returnerer en embeddingvektor for hver innsendt tekst. Resultatet er en vektor som applikasjonen bruker til likhet, gjenfinning, klassifisering eller klyngedannelse fremfor en samtaleforklaring. Produsentens faste modellside identifiserer mistral-embed-2312.

Inndata, kontekst og vektorform

Den nøyaktige modellsiden dokumenterer en kontekstbetegnelse på 8k. Forbered hvert tekstelement innenfor den gjeldende inndatakapasiteten og hold elementets identitet sammen med vektoren. Et langt kildedokument kan deles i nyttige passasjer med dokumenttittelen, seksjonen og kildeplasseringen som trengs for å returnere riktig materiale senere.

Produsentens Mistral Embed-veiledning angir 1024 dimensjoner for hver tekstembedding, uansett den synlige lengden på inndataene. Et kort spørsmål og en lengre passasje har derfor samme vektorform selv om innholdet og tokenantallet er forskjellig. Dette er en dimensjon for resultatrepresentasjonen, ikke et svartokenbudsjett eller et mål på hvor mange kildeord som beholdes.

Det dokumenterte svaret inneholder embeddingene og tokenforbruksinformasjon; endepunkteksemplet knytter hver vektor til en inndataindeks. Bevar koblingen når flere tekster behandles. Applikasjonen trenger originalteksten og identifikatorene i tillegg til det numeriske resultatet for å vise et nyttig søketreff eller gi kildemateriale til et senere trinn.

Semantisk likhet

Veiledningen forklarer at relaterte tekster vanligvis ligger nær hverandre i embeddingrommet. Dette støtter gjenfinning av passasjer som bruker ulike ord for å uttrykke samme emne eller krav. En eksempelforespørsel til en kunnskapsbase kan spørre hvordan tilgang gjenopprettes, mens den relevante prosedyren bruker en annen formulering for samme operasjon. Applikasjonen kan sammenligne forespørselens vektor med lagrede passasjevektorer fremfor å stole bare på eksakt ordsamsvar.

Produsentens eksempler bruker enhetsnormaliserte embeddinger. For slike vektorer gir cosinuslikhet, prikkprodukt og euklidsk avstand konsistente likhetsrangeringer, selv om de numeriske verdiene ikke er identiske. Velg én egnet sammenligningsmetode og bruk den konsekvent på forespørsels- og dokumentrepresentasjonene.

Likhet beviser ikke at to utsagn kan brukes om hverandre. Behold kildeteksten og undersøk betingelsen, datoen eller identifikatoren som er viktig for spørsmålet. To passasjer kan gjelde samme emne, men beskrive ulike prosedyrer eller unntak. Embeddingvektoren gir et gjenfinningssignal; tolkningen av den valgte passasjen er en separat del av oppgaven.

Gjenfinning og kildebaserte svar

En praktisk dokumentarbeidsflyt forbereder vektorer for kunnskapsbasepassasjer, lagrer identifikatorene og originalteksten og sammenligner deretter et nytt spørsmål med samlingen. Returner de relevante passasjene med kildeplasseringene. Applikasjonen kan vise passasjene direkte eller gi dem til en tekstgenereringsmodell som skriver et svar forankret i det gjenfunne materialet.

For et nyttig søkeresultat bevarer du dokumenttittelen, seksjonen, passasjen og identifikatoren som ble brukt til å finne den. En supportassistent kan deretter gjenfinne prosedyren som er relevant for brukerens spørsmål og sende den til svarskrivingstrinnet. Mistral Embed gjør den numeriske representasjonen; den skriver ikke selv den endelige forklaringen eller utfører en ekstern handling.

Andre dokumenterte bruksområder

Produsenten oppgir også parafrasegjenkjenning, klassifisering, klyngedannelse og batchbehandling blant embeddingarbeidsflytene. En sammenligningsoppgave kan gjenfinne passasjer med relatert betydning for gjennomgang. En klassifiseringsarbeidsflyt kan sammenligne inndata med merkede eksempler eller bruke vektorene som egenskaper for en separat klassifikator. En arbeidsflyt for klyngedannelse kan gruppere lignende elementer for en senere beskrivelse fra et menneske eller på applikasjonsnivå.

Definer formålet med representasjonen før dataene forberedes. En passasje som brukes til semantisk søk, bør bevare informasjonen noen trenger etter gjenfinning; et klassifiseringseksempel bør inneholde ordlyden som skiller klassen fra andre. Hold forberedelsen konsekvent, slik at en forespørsel og et lagret element representerer sammenlignbart materiale.

Utgave- og resultatgrenser

Bruk samme modellutgave og en kompatibel representasjon for dokumentene og forespørslene deres. En vektor fra en annen modell med samme antall koordinater er ikke automatisk i samme semantiske rom. Å erstatte modellen eller representasjonen krever at de lagrede elementene og forespørslene fortsatt er samordnet.

Denne oppføringen beskriver tekstinndata og numeriske vektorresultater, med produsentens kontekst på 8k og Mistral Embeds dokumenterte representasjon på 1024 dimensjoner. Codestral Embeds konfigurerbare dimensjoner og kvantiserte formater tilhører den separat navngitte kodemodellen og bør ikke antas her. Bilder, lyd, generert prosa og verktøyutførelse er separate evner utenfor dette tekstembeddingresultatet.