qwen2-vl-2b-instruct

Qwen2-VL-2B-Instruct är Qwens instruktionsfinjusterade språk- och bildmodell på 2B för frågor med bild och text. Tillverkaren beskriver hantering av bilder med olika upplösningar och bildförhållanden samt förståelse av text på flera språk i bilder. Det genererade resultatet är ett skriftligt svar på det bifogade visuella materialet och frågan. Tillverkaren beskriver också användning som visuell agent med enheter som telefoner och robotar. För det arbetsflödet bifogar du den aktuella visuella miljön och en textinstruktion; den omgivande applikationen utför den föreslagna operationen och returnerar det observerade tillståndet inför nästa fråga.

Bifoga bilden och en precis fråga

Välj bilden som innehåller det underlag svaret behöver och identifiera sedan detaljen som ska tolkas. En dokumentfråga kan gälla ett synligt avsnitt; en diagramfråga kan ange serier, axlar och den jämförelse som ska förklaras. Behåll bildidentifieraren tillsammans med det begärda resultatet så att svaret förblir knutet till rätt referens.

Tillverkaren anger förståelse av bild och text utöver engelska och kinesiska, bland annat europeiska språk, japanska, koreanska, arabiska och vietnamesiska. Bevara den ursprungliga formuleringen och skriften när du begär transkription, förklaring eller översättning av synlig text. En exempelbeskrivning kan begära den visade etiketten och en separat förklaring av dess betydelse.

Förbered upplösning och visuella token medvetet

Qwen2-VL använder dynamisk upplösning för att avbilda en bild till ett varierande antal visuella token. I exemplet med den inbyggda processorn är standardintervallet 4 till 16 384 visuella token per bild. Den inbyggda guiden illustrerar inställningar för minsta och största pixelantal, bland annat ett snävare förberedelseintervall på 256 till 1 280 bildtoken, för att balansera detaljer mot bearbetningsbehov. Dessa inställningar behåller bildförhållandet vid storleksändring.

Tillverkaren tillåter också att önskad ändrad höjd och bredd anges, avrundade till en multipel av 28. Välj en förberedelse som håller viktiga etiketter läsbara och behåll originalbilden när du använder ett utsnitt. De inbyggda exemplen omfattar flera bilder och batcher, vilket gör att en fråga kan behålla sina separata referenser identifierade.

Arbeta inom de dokumenterade visuella begränsningarna

Tillverkaren beskriver begränsningar vid komplexa instruktioner i flera steg, objekträkning i komplicerade scener och rumsligt resonemang i tre dimensioner. Den beskriver också ofullständig igenkänning av specifika personer eller varumärken. Be om en avgränsad visuell observation och granska det specifika antal, den etikett eller relativa position som resultatet beror på.

Tillverkaren anger att bilddatasetet uppdaterades till och med juni 2023. Bifoga den skriftliga kontext som behövs för en ny eller obekant etikett i stället för att be bilden ensam fastställa informationen. Håll en citerad etikett åtskild från en härledd identitet i den returnerade anteckningen.

Behåll förberedda indata tillsammans med svaret

Den publicerade checkpointkonfigurationen anger maximalt 32 768 positioner. Förbered frågan och visuella indata med den matchande modellprocessorn och behåll den bildordning som används för begäran. Det inbyggda hjälpverktyget tar emot lokala bilder, base64 och bildadresser.

Spara det valda namnet 2B Instruct, referenserna och det färdiga skriftliga svaret tillsammans. För en uppföljning tar du med relevant material och anger den specifika observation eller tolkning som ska revideras och jämför sedan det korrigerade resultatet med den källan.

Via Ailoot använder du exakt modell-ID i /v1/chat/completions och behåller bilden tillsammans med dess fråga i konversationen. Formatet för bildinnehåll använder image_url; bildkällor som stöds kan innehålla en bildadress eller en base64-data-URI. Samla in hela JSON-svaret eller alla SSE-segment när stream är aktiverat, och spara usage tillsammans med det färdiga resultatet.