qwen2-vl-2b-instruct

Qwen2-VL-2B-Instruct er Qwens instruksjonstilpassede syns- og språkmodell på 2B for spørsmål med bilder og tekst. Produsenten beskriver håndtering av bilder med ulike oppløsninger og sideforhold, og forståelse av tekst på flere språk i bilder. Det genererte resultatet er et skriftlig svar på det vedlagte visuelle materialet og spørsmålet. Produsenten beskriver også bruk som visuell agent med enheter som telefoner og roboter. For denne arbeidsflyten legger du ved det aktuelle visuelle miljøet og en tekstinstruksjon; applikasjonen rundt modellen utfører den foreslåtte operasjonen og returnerer den observerte tilstanden til neste spørsmål.

Legg ved bildet og et presist spørsmål

Velg bildet som inneholder belegget svaret trenger, og angi deretter detaljen som skal tolkes. Et dokumentspørsmål kan gjelde en synlig passasje; et diagramspørsmål kan angi serien, aksene og sammenligningen som skal forklares. Behold bildeidentifikatoren sammen med ønsket resultat, slik at svaret fortsatt er knyttet til riktig referanse.

Produsenten oppgir bilde- og tekstforståelse utover engelsk og kinesisk, inkludert europeiske språk, japansk, koreansk, arabisk og vietnamesisk. Bevar original ordlyd og skrift når du ber om transkripsjon, forklaring eller oversettelse av synlig tekst. En eksempelbeskrivelse kan be om den viste etiketten og en egen forklaring av dens betydning.

Klargjør oppløsning og visuelle tokener bevisst

Qwen2-VL bruker dynamisk oppløsning til å representere et bilde med et variabelt antall visuelle tokener. I eksemplet med den opprinnelige prosessoren er standardintervallet 4 til 16,384 visuelle tokener per bilde. Den opprinnelige veiledningen viser innstillinger for minimum og maksimum antall piksler, inkludert et smalere klargjøringsintervall på 256 til 1,280 bildetokener, for å balansere detaljer mot behandlingsbehov. Disse innstillingene bevarer sideforholdet ved skalering.

Produsenten tillater også ønsket skalert høyde og bredde, avrundet til et multiplum av 28. Velg en klargjøring som lar viktige etiketter forbli lesbare, og behold originalbildet når du bruker et utsnitt. De opprinnelige eksemplene inkluderer flere bilder og batcher, slik at en forespørsel kan holde de separate referansene identifiserbare.

Arbeid innenfor de dokumenterte visuelle begrensningene

Produsenten peker på begrensninger i komplekse instruksjoner over flere trinn, objekttelling i kompliserte scener og romlig resonnering i tre dimensjoner. Den nevner også ufullstendig gjenkjenning av bestemte personer eller merkevarer. Be om en avgrenset visuell observasjon, og undersøk det konkrete antallet, etiketten eller den relative posisjonen resultatet bygger på.

Produsenten oppgir at bildedatasettet ble oppdatert til og med juni 2023. Legg ved den skriftlige konteksten som trengs for en nylig eller ukjent etikett, fremfor å be bildet alene etablere denne informasjonen. Hold en sitert etikett tydelig atskilt fra en utledet identitet i den returnerte merknaden.

Behold de klargjorte inndataene sammen med svaret

Den publiserte sjekkpunktkonfigurasjonen setter 32,768 maksimale posisjoner. Klargjør spørsmålet og de visuelle inndataene med den tilhørende modellprosessoren, og behold bilderekkefølgen som ble brukt i forespørselen. Det opprinnelige hjelpeverktøyet godtar lokale bilder, base64 og bildeadresser.

Lagre det valgte navnet 2B Instruct, referansene og det ferdige skriftlige svaret sammen. For en oppfølging tar du med relevant materiale og angir den konkrete observasjonen eller tolkningen som skal revideres, og sammenligner deretter det korrigerte resultatet med denne kilden.

Gjennom Ailoot bruker du den nøyaktige modell-ID-en i /v1/chat/completions og holder bildet sammen med spørsmålet i samtalen. Bildeinnholdet angis med image_url; støttede bildekilder kan inneholde en bildeadresse eller en base64-data-URI. Samle hele JSON-svaret eller alle SSE-segmentene når stream er aktivert, og behold usage sammen med det ferdige resultatet.