VoyageAI by MongoDB: voyage-multimodal-3.5

voyage-multimodal-3.5 er Voyage AIs embeddingmodell for gjenfinning på tvers av tekst, bilder og video. Den behandler sammenflettet tekst og visuelt innhold gjennom én transformer-encoder og representerer en komplett multimodal inndatasekvens i et felles vektorrom. 3.5-utgaven legger til uttrykkelig støtte for videobilder og fleksible embeddingdimensjoner.

Bevar forholdet mellom tekst og visuelt innhold

Forbered en dokumentside eller seksjon i formen som bevarer den nyttige visuelle informasjonen. En presentasjonsside med et diagram og en kort forklaring kan representeres med sidebildet og tilhørende tekst i samme ordnede inndatasekvens. For en PDF-basert samling er den dokumenterte visuelle inndataformen et skjermbilde av en side eller en annen bilderepresentasjon av dokumentet.

For et diagram i en rapport bevarer du tittelen, akseetikettene og tegnforklaringen i bildet. Legg ved forklarende tekst når den gir konteksten som trengs for å tolke det visuelle innholdet. Lagre sidetallet og kildeidentifikatoren ved siden av den resulterende vektoren, slik at en gjenfunnet kandidat kan åpne den relevante siden fremfor bare å returnere et dokumentnavn.

Produsentens inndataformat støtter sekvenser av tekst, bilder og videoer. De publiserte bildeformatene er PNG, JPEG, WebP og GIF, med MP4 for video. Visuelt innhold kan representeres med URL-er eller Base64-data i den dokumenterte oppskriften; bruk én representasjonsstil konsekvent innenfor en forespørsel.

Gjenfinn en scene fremfor en hel lang video

Modellen representerer video som en ordnet sekvens av bilder. Produsenten anbefaler å dele en lang video i relaterte scener, justere scenegrensene etter tilgjengelige tidsstempler i transkripsjonen og beholde den tilsvarende transkripsjonsteksten. Lavere oppløsning eller redusert bildefrekvens kan hjelpe en semantisk sammenhengende scene å passe innenfor kontekstbudsjettet.

For en opplæringsvideosamling kan en forespørsel spørre etter scenen som viser justering av et bestemt betjeningselement. Knytt hver indekserte scene til tidsintervallet. Returner den samsvarende scenen og undersøk bildene eller originalklippet for den faktiske handlingen, fremfor å behandle den gjenfunne vektoren som en skriftlig beskrivelse av alt i opptaket.

Transkripsjonstekst kan bidra når den forberedes som del av de multimodale inndataene. Beregning av embeddingvektorer for videobilder gir ikke i seg selv en transkripsjon av tale.

Kontekst- og forberedelsesgrenser

Den oppgitte kontekstlengden er 32 000 tokener per inndatasekvens. Voyage teller hver gruppe på 560 bildepiksler og hver gruppe på 1120 videopiksler som én token i den publiserte beregningen, så visuelt innhold deler budsjettet med tekst. De dokumenterte grensene inkluderer også 16 millioner piksler og 20 MB per bilde og 20 MB per video. En liste inneholder høyst 1000 inndatasekvenser og 320 000 tokener samlet.

Standardinnstillingen for avkorting klipper en for lang inndatasekvens; hvis grensen faller inne i et bilde, forkastes hele bildet. Å forberede hele sider eller scener innenfor budsjettet bevarer derfor et mer forutsigbart inndatainnhold. Den alternative dokumenterte innstillingen avviser for lange inndata fremfor å avkorte dem.

Vektordimensjoner og gjenfinningsroller

Standarddimensjonen for resultatet er 1024, med 256, 512 og 2048 dimensjoner også dokumentert for denne utgaven. Kunngjøringen beskriver Matryoshka-embeddinger og flyttalls-, 8-biters representasjoner med eller uten fortegn og binærrepresentasjoner. Behold den valgte dimensjonen og representasjonen med indeksen.

Voyages gjenfinningsoppskrift skiller mellom query- og document-inndata. En forespørsel kan være tekst eller et bilde, og indekserte dokumenter kan kombinere tekst og visuelt innhold. Én vektor representerer hver komplette inndatasekvens; lagre koblingen til kildesiden, bildet eller scenen, slik at det rangerte resultatet fortsatt kan undersøkes.

Bruk den returnerte visuelle kilden

Et gjenfinningstrinn kan finne en rapportside, tabell, presentasjonsside eller scene som er relevant for forespørselen. Svarskrivings- eller analysetrinnet leser deretter kildematerialet. For en tabell undersøker du de faktiske overskriftene og verdiene før resultatet brukes; for en scene undersøker du relevante bilder og tilhørende tekst.

Den vesentlige forskjellen fra voyage-multimodal-3 er 3.5-utgavens uttrykkelige videostøtte og flere representasjonsvalg. Dette er embeddingevner for å finne kildemateriale, med numeriske vektorer som resultat fremfor genererte bilder, video eller et fortellende svar.