VoyageAI by MongoDB: voyage-multimodal-3.5

voyage-multimodal-3.5 er Voyage AI’s embeddingmodel til genfinding på tværs af tekst, billeder og video. Den behandler sammenflettet tekst og visuelt indhold gennem én transformer-encoder og repræsenterer et komplet multimodalt input i et fælles vektorrum. 3.5-udgaven tilføjer eksplicit understøttelse af videobilleder og fleksible embeddingdimensioner.

Bevar forholdet mellem tekst og visuelt indhold

Forbered en dokumentside eller et afsnit i en form, der bevarer den nyttige visuelle information. En slide med et diagram og en kort forklaring kan repræsenteres med slidebilledet og den tilhørende tekst i samme ordnede input. Ved en PDF-baseret samling er det dokumenterede visuelle input et skærmbillede af en side eller en anden billedrepræsentation af dokumentet.

Ved et rapportdiagram skal du bevare titlen, akseetiketterne og tegnforklaringen i billedet. Vedhæft forklarende tekst, når den giver den kontekst, der kræves for at fortolke det visuelle indhold. Gem sidetallet og kildeidentifikatoren ved siden af den resulterende vektor, så en genfundet kandidat kan åbne den relevante side frem for blot at returnere et dokumentnavn.

Producentens inputformat understøtter sekvenser af tekst, billeder og videoer. De offentliggjorte billedformater er PNG, JPEG, WebP og GIF, med MP4 til video. Visuelt indhold kan repræsenteres gennem URL’er eller Base64-data i den dokumenterede opskrift; hold én repræsentationsform konsekvent inden for en anmodning.

Genfind en scene frem for en hel lang video

Modellen repræsenterer video som en ordnet sekvens af billeder. Producenten anbefaler at opdele en lang video i relaterede scener, afstemme scenegrænser med tilgængelige tidsstempler i transskriptionen og bevare den tilsvarende transskriptionstekst. Lavere opløsning eller en reduceret billedfrekvens kan hjælpe en semantisk sammenhængende scene med at passe i sit kontekstbudget.

Ved en samling af undervisningsvideoer kan en forespørgsel spørge efter den scene, der demonstrerer justering af et bestemt betjeningselement. Knyt hver indekseret scene til sit tidsinterval. Returnér den matchende scene, og undersøg billederne eller det oprindelige klip for den faktiske handling frem for at behandle den genfundne vektor som en skriftlig beskrivelse af alt i optagelsen.

Transskriptionstekst kan bidrage, når den forberedes som del af det multimodale input. Embedding af videobilleder leverer ikke i sig selv en taletransskription.

Kontekst- og forberedelsesgrænser

Den angivne kontekstlængde er 32.000 tokens pr. input. Voyage tæller hver gruppe på 560 billedpixels og hver gruppe på 1120 videopixels som én token i den offentliggjorte beregning, så visuelt indhold deler budgettet med tekst. De dokumenterede grænser omfatter også 16 millioner pixels og 20 MB pr. billede samt 20 MB pr. video. En liste indeholder højst 1000 input og 320.000 tokens samlet.

Standardindstillingen for afkortning klipper et for langt input; hvis grænsen falder inde i et billede, kasseres hele billedet. Forberedelse af komplette sider eller scener inden for budgettet bevarer derfor mere forudsigeligt inputindhold. Den alternative dokumenterede indstilling afviser for lange input frem for at afkorte dem.

Vektordimensioner og genfindingsroller

Standardoutputdimensionen er 1024, og 256, 512 og 2048 dimensioner er også dokumenteret for denne udgave. Annonceringen beskriver Matryoshka-embeddings og repræsentationer med flydende tal, 8-bit-værdier med eller uden fortegn samt binære repræsentationer. Gem den valgte dimension og repræsentation sammen med indekset.

Voyages genfindingsopskrift skelner mellem query- og document-input. En forespørgsel kan være tekst eller et billede, og indekserede dokumenter kan kombinere tekst og visuelt indhold. Én vektor repræsenterer hver komplette inputsekvens; gem dens tilknytning til kildesiden, billedet eller scenen, så det rangerede resultat fortsat kan undersøges.

Brug den returnerede visuelle kilde

Et genfindingstrin kan finde en rapportside, tabel, slide eller scene, der er relevant for forespørgslen. Svarskrivnings- eller analysetrinnet læser derefter kildematerialet. Ved en tabel skal de faktiske overskrifter og værdier undersøges, før resultatet bruges; ved en scene skal de relevante billeder og den tilknyttede tekst undersøges.

Den væsentlige forskel fra voyage-multimodal-3 er 3.5-udgavens eksplicitte videounderstøttelse og yderligere repræsentationsvalg. Det er embeddingevner til at finde kildemateriale med numeriske vektorer som output frem for genererede billeder, video eller et fortællende svar.