qwen2-vl-2b-instruct

Qwen2-VL-2B-Instructは、画像とテキストの質問向けに指示調整されたQwenの2B視覚言語モデルです。開発元は、解像度や縦横比が異なる画像の処理と、画像内の複数言語のテキストの理解を説明しています。生成される結果は、渡した視覚資料と質問に対する文章の回答です。メーカーは、携帯電話やロボットなどの機器を使う視覚エージェントの用途も説明しています。そのワークフローでは、現在の視覚的な環境とテキストの指示を渡し、周囲のアプリケーションが提案された操作を実行して、観測した状態を次の質問に返します。

画像と具体的な質問を渡す

回答に必要な根拠を含む画像を選び、解釈する細部を明示してください。文書の質問では見えている文章を対象にでき、グラフの質問では説明する系列、軸、比較を指定できます。回答が正しい参照資料に結び付くよう、求める結果とともに画像の識別子を保持してください。

開発元は、英語と中国語以外の画像内テキストも理解するとしており、欧州の言語、日本語、韓国語、アラビア語、ベトナム語を挙げています。見えているテキストの転記、説明、翻訳を頼むときは、元の表現と文字体系を保持してください。例えば、表示されたラベルと、その意味についての説明を分けて求められます。

解像度と視覚トークンを意図して用意する

Qwen2-VLは動的な解像度を使用し、画像を可変数の視覚トークンへ対応付けます。ネイティブのプロセッサー例では、標準の範囲は画像1枚あたり4〜16,384視覚トークンです。ネイティブのガイドは、詳細と処理上の要件の均衡を取るため、256〜1,280という狭い画像トークン範囲を含む、最小・最大ピクセル設定を例示しています。その設定では、サイズ変更時に縦横比を保持します。

開発元は、指定する変更後の高さと幅を28の倍数へ丸める方法も認めています。重要なラベルが読める準備方法を選び、切り抜きを使う場合は元の画像を保持してください。ネイティブの例には複数画像とバッチも含まれ、質問の中で別々の参照資料を識別できます。

公式に示された視覚的な限界を踏まえて使う

開発元は、複雑な複数段階の指示、複雑な場面での物体の数え上げ、3次元の空間推論に限界を挙げています。特定の人物やブランドの認識が不完全であることも述べています。対象を絞った視覚的な観察を求め、結果が依拠する具体的な数量、ラベル、相対位置を確認してください。

開発元によると、画像データセットは2023年6月まで更新されています。最近のラベルや見慣れないラベルについては、画像だけで情報を確定させようとせず、必要な文脈を文章で渡してください。返された記録では、引用したラベルと推測した識別情報を区別できるようにします。

準備した入力を回答とともに保持する

公開チェックポイントの設定では、最大位置数を32,768に設定しています。対応するモデルプロセッサーで質問と視覚入力を用意し、リクエストで使用した画像の順序を保持してください。ネイティブのヘルパーは、ローカル画像、base64、画像のアドレスを受け付けます。

選択した2B Instructの名称、参照資料、完成した文章の回答をまとめて保存してください。追加の依頼では、関連する資料を含め、修正する具体的な観察や解釈を指定し、修正後の結果をその元の資料と比較します。

Ailootでは、/v1/chat/completionsで正確なモデルIDを使用し、会話の中で画像とその質問をまとめてください。画像のcontent形式にはimage_urlを使用し、対応する画像ソースとして画像のアドレスまたはbase64データURIを指定できます。完全なJSON回答を取得するか、streamを有効にした場合はすべてのSSEセグメントを受け取り、完成した結果とともにusageを保持してください。