Introduction : l’édition vision-langage de 7 milliards de paramètres
Qwen2-VL-7B-Instruct est le membre de Qwen2-VL doté de 7 milliards de paramètres et ajusté aux instructions. Il associe des instructions textuelles à des images ou à de la vidéo et produit des réponses textuelles. Les résultats utiles comprennent une explication de page, une comparaison d’images, une description d’événements visibles ou une réponse à une question sur un graphique. Il reste cette version précise de Qwen2-VL ; les points de contrôle plus récents Qwen2.5-VL et Qwen3-VL possèdent leurs propres capacités et identités.
Ce que Qwen2-VL apporte
Qwen décrit la compréhension visuelle pour différentes résolutions et différents rapports d’aspect, ainsi que les questions-réponses, le dialogue et la création de contenu à partir de vidéos. Les capacités vidéo documentées de la famille comprennent des contenus de plus de 20 minutes. La durée seule n’établit pas le nombre d’images traitées par une application et ne garantit pas le rappel de chaque événement. La compréhension multilingue du texte dans les images comprend l’anglais et le chinois, de nombreuses langues européennes, le japonais, le coréen, l’arabe et le vietnamien.
Le concepteur décrit aussi l’intégration avec des téléphones, des robots et d’autres appareils à partir d’observations visuelles et d’instructions textuelles. Il s’agit d’un processus applicatif : le modèle interprète l’environnement visuel et aide à choisir des actions, tandis que le logiciel ou le matériel connecté les réalise. Reconnaître un écran ne lui donne pas de lui-même le contrôle de cet écran.
Évolutions de l’architecture
La résolution dynamique convertit une image en un nombre variable de tokens visuels, au lieu d’imposer la même représentation à chaque entrée. M-ROPE sépare les informations de position du texte, des images bidimensionnelles et de la vidéo tridimensionnelle, en combinant les structures spatiale et temporelle. La configuration 7B publiée indique 32 768 positions. Le texte, les tokens visuels et la sortie générée partagent un budget de séquence limité ; la résolution des images et l’échantillonnage vidéo influent donc sur la quantité de contenu qu’une requête peut inclure.
Préparation des images et des conversations
Les exemples officiels prennent en charge une image, plusieurs images et des conversations purement textuelles. Joignez l’image avec une question précise plutôt que de vous appuyer sur une instruction générale telle que « analyse tout ». Pour une page de document, demandez des champs nommés et préservez la ponctuation dans les citations. Pour deux captures d’écran de conception, identifiez-les comme première et deuxième, puis demandez un tableau des changements visibles. Pour un graphique, demandez ses libellés, ses unités et les valeurs qui étayent une tendance énoncée. Ce sont des applications pratiques des questions-réponses visuelles, et non des promesses d’extraction sans erreur.
Les utilitaires du concepteur acceptent des images provenant de fichiers locaux, de données d’image encodées ou d’emplacements d’images ; son exemple vidéo documenté utilise des fichiers vidéo locaux ou une liste ordonnée d’images. Les formats de téléversement de l’application restent une décision d’interface distincte. Préservez l’ordre original des images et précisez l’intervalle temporel représenté par une liste d’images. Les exemples génèrent du texte ; ce point de contrôle n’est pas décrit comme un générateur d’images ou de vidéos.
Résolution et préparation vidéo
Le processeur de Qwen utilise par défaut une plage de quatre à 16 384 tokens visuels par image. Il expose min_pixels et max_pixels pour équilibrer le détail, la mémoire et le calcul, avec un exemple documenté visant 256 à 1 280 tokens visuels. Les images sont redimensionnées dans les limites choisies en conservant leur rapport d’aspect. Les dimensions de redimensionnement explicites sont arrondies à un multiple de 28. Un tableau dense ou de petits caractères peuvent nécessiter une résolution suffisante pour rester lisibles ; son augmentation consomme aussi une plus grande part du budget visuel et contextuel disponible.
L’exemple vidéo présente un échantillonnage d’une image par seconde et une limite de pixels configurable. Ce sont des paramètres d’exemple, et non une fréquence universellement imposée ou une limite stricte de média. Pour examiner un événement, fournissez le clip pertinent et demandez un compte rendu ordonné des changements visibles. Des événements rapprochés peuvent nécessiter un échantillonnage plus fin qu’un résumé général de scène. Qwen2-VL ne comprend pas les informations audio contenues dans les vidéos ; les dialogues parlés ou les effets sonores nécessitent donc un processus audio distinct.
Limites connues
Qwen indique une date limite des données d’entraînement sur les images en juin 2023, sans garantie de connaissances sur les personnes, produits ou événements ultérieurs. La reconnaissance de personnes précises et de propriétés intellectuelles est incomplète. Les instructions complexes en plusieurs étapes, le comptage d’objets dans les scènes chargées et les relations spatiales, surtout en trois dimensions, constituent des faiblesses documentées. Décomposez une tâche visuelle compliquée en questions claires, demandez les éléments visibles étayant le résultat et vérifiez les nombres extraits et le texte cité dans l’image. Une légende plausible ne doit pas être considérée comme un comptage précis ou une position tridimensionnelle mesurée.
Les courts exemples de génération de la fiche n’établissent pas de plafond strict de sortie distinct. Planifiez la taille de la réponse en même temps que les entrées textuelles et visuelles, et conservez assez de détails dans la source pour la question particulière. Cela rend le choix du modèle et la préparation des entrées plus utiles que de supposer que toute image ou toute vidéo longue donne une réponse d’une fiabilité équivalente.
", "aboutText": "Introduction : l’édition vision-langage de 7 milliards de paramètres\n\nQwen2-VL-7B-Instruct est le membre de Qwen2-VL doté de 7 milliards de paramètres et ajusté aux instructions. Il associe des instructions textuelles à des images ou à de la vidéo et produit des réponses textuelles. Les résultats utiles comprennent une explication de page, une comparaison d’images, une description d’événements visibles ou une réponse à une question sur un graphique. Il reste cette version précise de Qwen2-VL ; les points de contrôle plus récents Qwen2.5-VL et Qwen3-VL possèdent leurs propres capacités et identités.\n\nCe que Qwen2-VL apporte\n\nQwen décrit la compréhension visuelle pour différentes résolutions et différents rapports d’aspect, ainsi que les questions-réponses, le dialogue et la création de contenu à partir de vidéos. Les capacités vidéo documentées de la famille comprennent des contenus de plus de 20 minutes. La durée seule n’établit pas le nombre d’images traitées par une application et ne garantit pas le rappel de chaque événement. La compréhension multilingue du texte dans les images comprend l’anglais et le chinois, de nombreuses langues européennes, le japonais, le coréen, l’arabe et le vietnamien.\n\nLe concepteur décrit aussi l’intégration avec des téléphones, des robots et d’autres appareils à partir d’observations visuelles et d’instructions textuelles. Il s’agit d’un processus applicatif : le modèle interprète l’environnement visuel et aide à choisir des actions, tandis que le logiciel ou le matériel connecté les réalise. Reconnaître un écran ne lui donne pas de lui-même le contrôle de cet écran.\n\nÉvolutions de l’architecture\n\nLa résolution dynamique convertit une image en un nombre variable de tokens visuels, au lieu d’imposer la même représentation à chaque entrée. M-ROPE sépare les informations de position du texte, des images bidimensionnelles et de la vidéo tridimensionnelle, en combinant les structures spatiale et temporelle. La configuration 7B publiée indique 32 768 positions. Le texte, les tokens visuels et la sortie générée partagent un budget de séquence limité ; la résolution des images et l’échantillonnage vidéo influent donc sur la quantité de contenu qu’une requête peut inclure.\n\nPréparation des images et des conversations\n\nLes exemples officiels prennent en charge une image, plusieurs images et des conversations purement textuelles. Joignez l’image avec une question précise plutôt que de vous appuyer sur une instruction générale telle que « analyse tout ». Pour une page de document, demandez des champs nommés et préservez la ponctuation dans les citations. Pour deux captures d’écran de conception, identifiez-les comme première et deuxième, puis demandez un tableau des changements visibles. Pour un graphique, demandez ses libellés, ses unités et les valeurs qui étayent une tendance énoncée. Ce sont des applications pratiques des questions-réponses visuelles, et non des promesses d’extraction sans erreur.\n\nLes utilitaires du concepteur acceptent des images provenant de fichiers locaux, de données d’image encodées ou d’emplacements d’images ; son exemple vidéo documenté utilise des fichiers vidéo locaux ou une liste ordonnée d’images. Les formats de téléversement de l’application restent une décision d’interface distincte. Préservez l’ordre original des images et précisez l’intervalle temporel représenté par une liste d’images. Les exemples génèrent du texte ; ce point de contrôle n’est pas décrit comme un générateur d’images ou de vidéos.\n\nRésolution et préparation vidéo\n\nLe processeur de Qwen utilise par défaut une plage de quatre à 16 384 tokens visuels par image. Il expose min_pixels et max_pixels pour équilibrer le détail, la mémoire et le calcul, avec un exemple documenté visant 256 à 1 280 tokens visuels. Les images sont redimensionnées dans les limites choisies en conservant leur rapport d’aspect. Les dimensions de redimensionnement explicites sont arrondies à un multiple de 28. Un tableau dense ou de petits caractères peuvent nécessiter une résolution suffisante pour rester lisibles ; son augmentation consomme aussi une plus grande part du budget visuel et contextuel disponible.\n\nL’exemple vidéo présente un échantillonnage d’une image par seconde et une limite de pixels configurable. Ce sont des paramètres d’exemple, et non une fréquence universellement imposée ou une limite stricte de média. Pour examiner un événement, fournissez le clip pertinent et demandez un compte rendu ordonné des changements visibles. Des événements rapprochés peuvent nécessiter un échantillonnage plus fin qu’un résumé général de scène. Qwen2-VL ne comprend pas les informations audio contenues dans les vidéos ; les dialogues parlés ou les effets sonores nécessitent donc un processus audio distinct.\n\nLimites connues\n\nQwen indique une date limite des données d’entraînement sur les images en juin 2023, sans garantie de connaissances sur les personnes, produits ou événements ultérieurs. La reconnaissance de personnes précises et de propriétés intellectuelles est incomplète. Les instructions complexes en plusieurs étapes, le comptage d’objets dans les scènes chargées et les relations spatiales, surtout en trois dimensions, constituent des faiblesses documentées. Décomposez une tâche visuelle compliquée en questions claires, demandez les éléments visibles étayant le résultat et vérifiez les nombres extraits et le texte cité dans l’image. Une légende plausible ne doit pas être considérée comme un comptage précis ou une position tridimensionnelle mesurée.\n\nLes courts exemples de génération de la fiche n’établissent pas de plafond strict de sortie distinct. Planifiez la taille de la réponse en même temps que les entrées textuelles et visuelles, et conservez assez de détails dans la source pour la question particulière. Cela rend le choix du modèle et la préparation des entrées plus utiles que de supposer que toute image ou toute vidéo longue donne une réponse d’une fiabilité équivalente.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemple technique en anglais
Compare transcribed dashboard changes\n\nCompare these dashboard descriptions supplied as text. First: heading 'Orders', filter 'All dates', total 240. Second: heading 'Orders', filter 'This week', total 38. Return a table of changed and unchanged fields, then explain why the totals alone do not establish a fall in orders. Use only the descriptions and keep the filter labels exact.A field-comparison table and a short explanation of the different date scopes.The result does not treat totals from All dates and This week as comparable periods.Qwen2-VL-7B-Instruct-ultraQwen2-VL-7B-Instruct est le modèle vision-langage de Qwen ajusté aux instructions, qui reçoit du texte, des images et de la vidéo et renvoie du texte. Utilisez-le pour poser des questions sur des pages de documents, comparer des images ou décrire des événements visuels, avec une résolution d’image dynamique et des limites documentées en comptage, en raisonnement spatial et en compréhension de l’audio des vidéos.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Introduction : l’édition vision-langage de 7 milliards de paramètres
Qwen2-VL-7B-Instruct est le membre de Qwen2-VL doté de 7 milliards de paramètres et ajusté aux instructions. Il associe des instructions textuelles à des images ou à de la vidéo et produit des réponses textuelles. Les résultats utiles comprennent une explication de page, une comparaison d’images, une description d’événements visibles ou une réponse à une question sur un graphique. Il reste cette version précise de Qwen2-VL ; les points de contrôle plus récents Qwen2.5-VL et Qwen3-VL possèdent leurs propres capacités et identités.
Ce que Qwen2-VL apporte
Qwen décrit la compréhension visuelle pour différentes résolutions et différents rapports d’aspect, ainsi que les questions-réponses, le dialogue et la création de contenu à partir de vidéos. Les capacités vidéo documentées de la famille comprennent des contenus de plus de 20 minutes. La durée seule n’établit pas le nombre d’images traitées par une application et ne garantit pas le rappel de chaque événement. La compréhension multilingue du texte dans les images comprend l’anglais et le chinois, de nombreuses langues européennes, le japonais, le coréen, l’arabe et le vietnamien.
Le concepteur décrit aussi l’intégration avec des téléphones, des robots et d’autres appareils à partir d’observations visuelles et d’instructions textuelles. Il s’agit d’un processus applicatif : le modèle interprète l’environnement visuel et aide à choisir des actions, tandis que le logiciel ou le matériel connecté les réalise. Reconnaître un écran ne lui donne pas de lui-même le contrôle de cet écran.
Évolutions de l’architecture
La résolution dynamique convertit une image en un nombre variable de tokens visuels, au lieu d’imposer la même représentation à chaque entrée. M-ROPE sépare les informations de position du texte, des images bidimensionnelles et de la vidéo tridimensionnelle, en combinant les structures spatiale et temporelle. La configuration 7B publiée indique 32 768 positions. Le texte, les tokens visuels et la sortie générée partagent un budget de séquence limité ; la résolution des images et l’échantillonnage vidéo influent donc sur la quantité de contenu qu’une requête peut inclure.
Préparation des images et des conversations
Les exemples officiels prennent en charge une image, plusieurs images et des conversations purement textuelles. Joignez l’image avec une question précise plutôt que de vous appuyer sur une instruction générale telle que « analyse tout ». Pour une page de document, demandez des champs nommés et préservez la ponctuation dans les citations. Pour deux captures d’écran de conception, identifiez-les comme première et deuxième, puis demandez un tableau des changements visibles. Pour un graphique, demandez ses libellés, ses unités et les valeurs qui étayent une tendance énoncée. Ce sont des applications pratiques des questions-réponses visuelles, et non des promesses d’extraction sans erreur.
Les utilitaires du concepteur acceptent des images provenant de fichiers locaux, de données d’image encodées ou d’emplacements d’images ; son exemple vidéo documenté utilise des fichiers vidéo locaux ou une liste ordonnée d’images. Les formats de téléversement de l’application restent une décision d’interface distincte. Préservez l’ordre original des images et précisez l’intervalle temporel représenté par une liste d’images. Les exemples génèrent du texte ; ce point de contrôle n’est pas décrit comme un générateur d’images ou de vidéos.
Résolution et préparation vidéo
Le processeur de Qwen utilise par défaut une plage de quatre à 16 384 tokens visuels par image. Il expose min_pixels et max_pixels pour équilibrer le détail, la mémoire et le calcul, avec un exemple documenté visant 256 à 1 280 tokens visuels. Les images sont redimensionnées dans les limites choisies en conservant leur rapport d’aspect. Les dimensions de redimensionnement explicites sont arrondies à un multiple de 28. Un tableau dense ou de petits caractères peuvent nécessiter une résolution suffisante pour rester lisibles ; son augmentation consomme aussi une plus grande part du budget visuel et contextuel disponible.
L’exemple vidéo présente un échantillonnage d’une image par seconde et une limite de pixels configurable. Ce sont des paramètres d’exemple, et non une fréquence universellement imposée ou une limite stricte de média. Pour examiner un événement, fournissez le clip pertinent et demandez un compte rendu ordonné des changements visibles. Des événements rapprochés peuvent nécessiter un échantillonnage plus fin qu’un résumé général de scène. Qwen2-VL ne comprend pas les informations audio contenues dans les vidéos ; les dialogues parlés ou les effets sonores nécessitent donc un processus audio distinct.
Limites connues
Qwen indique une date limite des données d’entraînement sur les images en juin 2023, sans garantie de connaissances sur les personnes, produits ou événements ultérieurs. La reconnaissance de personnes précises et de propriétés intellectuelles est incomplète. Les instructions complexes en plusieurs étapes, le comptage d’objets dans les scènes chargées et les relations spatiales, surtout en trois dimensions, constituent des faiblesses documentées. Décomposez une tâche visuelle compliquée en questions claires, demandez les éléments visibles étayant le résultat et vérifiez les nombres extraits et le texte cité dans l’image. Une légende plausible ne doit pas être considérée comme un comptage précis ou une position tridimensionnelle mesurée.
Les courts exemples de génération de la fiche n’établissent pas de plafond strict de sortie distinct. Planifiez la taille de la réponse en même temps que les entrées textuelles et visuelles, et conservez assez de détails dans la source pour la question particulière. Cela rend le choix du modèle et la préparation des entrées plus utiles que de supposer que toute image ou toute vidéo longue donne une réponse d’une fiabilité équivalente.
POST /v1/chat/completionstexttext| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites Qwen2-VL-7B-Instruct-ultra | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites Nombre minimal d’éléments: 1 | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites Exemples : system, user, assistant, tool, function Conditions: Ces rôles sont explicitement représentés par les types de compatibilité du code source ; l’ensemble exact des rôles reste propre à chaque modèle. Selon le modèle | Par défaut— |
Champmessages[].content | Typestring|content_part[]|null | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_calls | Typetool_call[] | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_call_id | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: role=tool ; utilisez l’identifiant réellement renvoyé | Par défaut— |
Champmessages[].name | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].reasoning_content | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: Réinjectez le raisonnement réellement renvoyé lorsque ce modèle l’utilise | Par défaut— |
Champmessages[].reasoning_details | Typeobject|array | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champmax_completion_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Champstream_options.include_usage | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtemperature | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtop_p | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champstop | Typestring|string[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools | Typefunction_tool[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools[].type | Typestring | ExigenceFacultatif | Valeurs et limites function Selon le modèle | Par défaut— |
Champtools[].function.name | Typestring | ExigenceObligatoire | Valeurs et limites S’applique lorsque: outil de fonction fourni | Par défaut— |
Champtools[].function.description | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtools[].function.parameters | TypeJSON_schema | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtool_choice | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champparallel_tool_calls | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champresponse_format | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning_effort | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champservice_tier | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champinstructions | Typestring | ExigenceFacultatif | Valeurs et limites Champ de compatibilité | Par défaut— |
Champfunctions | Typefunction[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champfunction_call | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champprompt_cache_options | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmodalities | Typestring[] | ExigenceFacultatif | Valeurs et limites text | Par défaut— |
Champprovider | Typeobject | ExigenceFacultatif | Valeurs et limites Conditions: provider.options est rejeté sur cette route textuelle Ultra | Par défaut— |
Champcache_control.ttl | Typestring | ExigenceFacultatif | Valeurs et limites Conditions: 1h est rejeté dans les emplacements réels du cache de prompt | Par défaut— |
Texte · Texte UTF8
messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages |
Paramètrematerial_types | Contrattext |
Paramètremessages | Contrattableau de messages avec une structure role/content |
Paramètrefile_material | Contratdocument UTF-8 réel inséré sous forme de texte littéral ; aucun identifiant de fichier déduit |
Paramètreoptional_controls | Contratstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Paramètrecontrol_scope | Contratpropre au modèle ; les outils de fonctions de l’utilisateur diffèrent des outils hébergés |
Paramètreoutput_modalities | Contrattext |
Paramètrehosted_operations | Contratfalse |
Paramètremultimodal_input_binding | Contratnull |
Cycle de vie : synchronous_or_streamed
Envoyez l’identifiant exact du modèle avec messages.
La longueur du contexte n’est pas un plafond de sortie.
Un fichier texte peut fournir du texte littéral ; les entrées image/audio/objets fichier nécessitent une liaison exacte.
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
| Configuration | Barème tarifaire | Coût |
|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Coût Entrée · Tokens en entrée $0.00058 / 1K tokens Sortie · Tokens en sortie $0.00142 / 1K tokens Entrée · Lecture du cache $0 / 1K tokens Entrée · Écriture dans le cache $0 / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "Qwen2-VL-7B-Instruct-ultra", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='Qwen2-VL-7B-Instruct-ultra',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='Qwen2-VL-7B-Instruct-ultra',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez chaque choix avec son contenu, ses appels d’outils et son raisonnement. En SSE, assemblez les deltas par index de choix et d’outil, puis conservez le motif final de terminaison et les données d’utilisation.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champchoices[].index | Typeinteger |
Champchoices[].message.content | Typestring|null |
Champchoices[].message.tool_calls | Typetool_call[] |
Champchoices[].message.reasoning_content | Typestring |
Champchoices[].message.reasoning_details | Typeobject|array |
Champchoices[].finish_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra Qwen2-VL-7B-Instruct-ultra
Utilisez les chemins de méthode indiqués ci-dessus.
Qwen2-VL-7B-Instruct-ultraQwen2-VL-7B-Instruct est le modèle vision-langage de Qwen ajusté aux instructions, qui reçoit du texte, des images et de la vidéo et renvoie du texte. Utilisez-le pour poser des questions sur des pages de documents, comparer des images ou décrire des événements visuels, avec une résolution d’image dynamique et des limites documentées en comptage, en raisonnement spatial et en compréhension de l’audio des vidéos.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Introduction : l’édition vision-langage de 7 milliards de paramètres
Qwen2-VL-7B-Instruct est le membre de Qwen2-VL doté de 7 milliards de paramètres et ajusté aux instructions. Il associe des instructions textuelles à des images ou à de la vidéo et produit des réponses textuelles. Les résultats utiles comprennent une explication de page, une comparaison d’images, une description d’événements visibles ou une réponse à une question sur un graphique. Il reste cette version précise de Qwen2-VL ; les points de contrôle plus récents Qwen2.5-VL et Qwen3-VL possèdent leurs propres capacités et identités.
Ce que Qwen2-VL apporte
Qwen décrit la compréhension visuelle pour différentes résolutions et différents rapports d’aspect, ainsi que les questions-réponses, le dialogue et la création de contenu à partir de vidéos. Les capacités vidéo documentées de la famille comprennent des contenus de plus de 20 minutes. La durée seule n’établit pas le nombre d’images traitées par une application et ne garantit pas le rappel de chaque événement. La compréhension multilingue du texte dans les images comprend l’anglais et le chinois, de nombreuses langues européennes, le japonais, le coréen, l’arabe et le vietnamien.
Le concepteur décrit aussi l’intégration avec des téléphones, des robots et d’autres appareils à partir d’observations visuelles et d’instructions textuelles. Il s’agit d’un processus applicatif : le modèle interprète l’environnement visuel et aide à choisir des actions, tandis que le logiciel ou le matériel connecté les réalise. Reconnaître un écran ne lui donne pas de lui-même le contrôle de cet écran.
Évolutions de l’architecture
La résolution dynamique convertit une image en un nombre variable de tokens visuels, au lieu d’imposer la même représentation à chaque entrée. M-ROPE sépare les informations de position du texte, des images bidimensionnelles et de la vidéo tridimensionnelle, en combinant les structures spatiale et temporelle. La configuration 7B publiée indique 32 768 positions. Le texte, les tokens visuels et la sortie générée partagent un budget de séquence limité ; la résolution des images et l’échantillonnage vidéo influent donc sur la quantité de contenu qu’une requête peut inclure.
Préparation des images et des conversations
Les exemples officiels prennent en charge une image, plusieurs images et des conversations purement textuelles. Joignez l’image avec une question précise plutôt que de vous appuyer sur une instruction générale telle que « analyse tout ». Pour une page de document, demandez des champs nommés et préservez la ponctuation dans les citations. Pour deux captures d’écran de conception, identifiez-les comme première et deuxième, puis demandez un tableau des changements visibles. Pour un graphique, demandez ses libellés, ses unités et les valeurs qui étayent une tendance énoncée. Ce sont des applications pratiques des questions-réponses visuelles, et non des promesses d’extraction sans erreur.
Les utilitaires du concepteur acceptent des images provenant de fichiers locaux, de données d’image encodées ou d’emplacements d’images ; son exemple vidéo documenté utilise des fichiers vidéo locaux ou une liste ordonnée d’images. Les formats de téléversement de l’application restent une décision d’interface distincte. Préservez l’ordre original des images et précisez l’intervalle temporel représenté par une liste d’images. Les exemples génèrent du texte ; ce point de contrôle n’est pas décrit comme un générateur d’images ou de vidéos.
Résolution et préparation vidéo
Le processeur de Qwen utilise par défaut une plage de quatre à 16 384 tokens visuels par image. Il expose min_pixels et max_pixels pour équilibrer le détail, la mémoire et le calcul, avec un exemple documenté visant 256 à 1 280 tokens visuels. Les images sont redimensionnées dans les limites choisies en conservant leur rapport d’aspect. Les dimensions de redimensionnement explicites sont arrondies à un multiple de 28. Un tableau dense ou de petits caractères peuvent nécessiter une résolution suffisante pour rester lisibles ; son augmentation consomme aussi une plus grande part du budget visuel et contextuel disponible.
L’exemple vidéo présente un échantillonnage d’une image par seconde et une limite de pixels configurable. Ce sont des paramètres d’exemple, et non une fréquence universellement imposée ou une limite stricte de média. Pour examiner un événement, fournissez le clip pertinent et demandez un compte rendu ordonné des changements visibles. Des événements rapprochés peuvent nécessiter un échantillonnage plus fin qu’un résumé général de scène. Qwen2-VL ne comprend pas les informations audio contenues dans les vidéos ; les dialogues parlés ou les effets sonores nécessitent donc un processus audio distinct.
Limites connues
Qwen indique une date limite des données d’entraînement sur les images en juin 2023, sans garantie de connaissances sur les personnes, produits ou événements ultérieurs. La reconnaissance de personnes précises et de propriétés intellectuelles est incomplète. Les instructions complexes en plusieurs étapes, le comptage d’objets dans les scènes chargées et les relations spatiales, surtout en trois dimensions, constituent des faiblesses documentées. Décomposez une tâche visuelle compliquée en questions claires, demandez les éléments visibles étayant le résultat et vérifiez les nombres extraits et le texte cité dans l’image. Une légende plausible ne doit pas être considérée comme un comptage précis ou une position tridimensionnelle mesurée.
Les courts exemples de génération de la fiche n’établissent pas de plafond strict de sortie distinct. Planifiez la taille de la réponse en même temps que les entrées textuelles et visuelles, et conservez assez de détails dans la source pour la question particulière. Cela rend le choix du modèle et la préparation des entrées plus utiles que de supposer que toute image ou toute vidéo longue donne une réponse d’une fiabilité équivalente.
POST /v1/messagestextjson, sse| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites Qwen2-VL-7B-Instruct-ultra | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites user, assistant | Par défaut— |
Champmessages[].content | Typestring | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Texte · Texte UTF-8
chaîne messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages, max_tokens |
Paramètreoptional_controls | Contratstream |
Paramètrematerial_types | Contrattext |
Paramètretext_file_material | ContratLisez le document UTF-8 réel et placez son texte dans l’entrée indiquée ou dans la chaîne de contenu du message. |
Cycle de vie : synchronous_or_streamed
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
| Configuration | Barème tarifaire | Coût |
|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Coût Entrée · Tokens en entrée $0.00058 / 1K tokens Sortie · Tokens en sortie $0.00142 / 1K tokens Entrée · Lecture du cache $0 / 1K tokens Entrée · Écriture dans le cache $0 / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
{\n "model": "Qwen2-VL-7B-Instruct-ultra",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'Qwen2-VL-7B-Instruct-ultra', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'Qwen2-VL-7B-Instruct-ultra', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez tous les blocs de contenu, les signatures de raisonnement et les identifiants réels d’utilisation d’outils. Assemblez tous les deltas de blocs SSE ; un premier bloc de texte ne constitue pas la sortie complète.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champid | Typestring |
Champmodel | Typestring |
Champcontent[] | Typetext|thinking|tool_use|other content block |
Champstop_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra Qwen2-VL-7B-Instruct-ultra
Utilisez les chemins de méthode indiqués ci-dessus.
Exemple technique en anglais
Compare transcribed dashboard changes\n\nCompare these dashboard descriptions supplied as text. First: heading 'Orders', filter 'All dates', total 240. Second: heading 'Orders', filter 'This week', total 38. Return a table of changed and unchanged fields, then explain why the totals alone do not establish a fall in orders. Use only the descriptions and keep the filter labels exact.A field-comparison table and a short explanation of the different date scopes.The result does not treat totals from All dates and This week as comparable periods.