VoyageAI by MongoDB: voyage-code-4

voyage-code-4 er Voyage AIs kodespesialiserte embeddingmodell for søk i kodelagre og gjenfinning til kodeagenter. Den er utviklet for å hjelpe med å finne relevant kildekode når utgangspunktet er et spørsmål, et symptom eller en oppgavebeskrivelse fremfor en kjent identifikator. Den representerer kode og tekstlig informasjon som numeriske vektorer for gjenfinning; den redigerer ikke kodelageret eller genererer en rettelse.

Gjenfinn kode fra problemet som undersøkes

Produsenten beskriver et treningskorpus utvalgt fra ferdigbehandlede pull requests, som kobler forespørsler i naturlig språk til kode. Dette er en meningsfull forskjell fra treningseksempler som hovedsakelig bygger på kildefiler og docstrings: Gjenfinningsoppgaven kan starte med adferden som må undersøkes.

Forbered en forespørsel som «Finn hvor et tomt resultat gjør at en vellykket operasjon blir rapportert som mislykket.» Indekser lesbare kildekodeseksjoner med filstier og relevante kommentarer. Behold betingelsene rundt funksjonen når de forklarer adferden. En returnert kandidat bør føre leseren eller agenten tilbake til kildekodeseksjonen den representerer.

Semantisk gjenfinning kan utfylle eksakt identifikatorsøk og fulltekstsøk. Hvis et funksjonsnavn allerede er kjent, er et eksakt oppslag fortsatt nyttig. Hvis bare et symptom er kjent, kan vektorsøk gi kandidater som undersøkes, og søket kan forfines med en ny forespørsel.

Query- og document-roller

Voyages gjenfinningsveiledning skiller forespørselen fra korpusdokumentet gjennom inndatatypene query/document. For kodesøk bruker du problem- eller oppgavebeskrivelsen på forespørselssiden og den indekserte kildekoden eller dokumentasjonen på dokumentsiden. Den publiserte oppskriften legger til rollespesifikke gjenfinningsinstruksjoner når embeddingvektoren beregnes.

Hold kodens originale formatering, navn og relevante dokumentasjon tilgjengelig utenfor vektoren. For en kildekodeseksjon beholder du filstien og plasseringen; for en programmeringsveiledning beholder du overskriften. Undersøk den faktiske koden og koden som kaller den etter gjenfinning, før en endring velges. En kandidats relevans fastslår ikke at den er eneste årsak til et rapportert problem.

Kontekst- og representasjonsvalg

Den nøyaktige modellens publiserte kontekstlengde er 32 000 tokener. Standardembeddingvektoren har 1024 dimensjoner, med 256, 512 og 2048 også støttet gjennom Matryoshka-læring. Kunngjøringen dokumenterer representasjoner med 32-biters flyttall, 8-biters heltall med og uten fortegn samt binærrepresentasjoner.

Velg én dimensjon og representasjon for samlingen og behold dem i metadataene. Flyttallsvektorer og kvantiserte representasjoner krever tilsvarende lagrings- og sammenligningshåndtering. En binærrepresentasjon koder vektorinformasjon annerledes enn en liste med vanlige flyttallskoordinater; bevar dette skillet når resultater forberedes for søk.

For en lang fil velger du sammenhengende seksjoner der kildeplasseringene kan gjenfinnes. En funksjon kan trenge en tilstøtende typedefinisjon eller kommentar for å forklare en betingelse, mens en hel for stor fil kan inneholde uvedkommende materiale. Hold seksjonen tilpasset oppgaven som skal søkes etter, fremfor å behandle maksimal kontekst som en foretrukket stykkestørrelse.

Bruk gjenfunnet kildekode som evidens

En praktisk kodeagentarbeidsflyt gjenfinner kandidatkode, leser filene, følger relevante henvisninger og snevrer inn søket etter hvert som undersøkelsen går fremover. Den gjenfunne teksten blir kontekst for resonnerings- eller redigeringstrinnet. Hold koblingen til den indekserte kodelagerrevisjonen, slik at en kandidat undersøkes mot riktig kildekode.

Det utgavespesifikke bidraget fra voyage-code-4 er fokuset på gjenfinningstrinnet fra problem til kode som kodeagenter bruker, sammen med fleksible dimensjoner og representasjoner. Resultatet er en gjenfinningsvektor, mens diagnose, redigering og validering fortsatt er separate oppgaver forankret i det faktiske kodelageret.