Qwen2.5-VL-7B-Instruct est l’édition 7B de Qwen2.5-VL affinée pour suivre des instructions. Il associe une instruction textuelle à des images ou à une vidéo et renvoie un résultat textuel. Les principales améliorations présentées par le concepteur concernent la reconnaissance des objets et des détails visuels, l’analyse du texte et des mises en page, les tâches d’agent visuel, la compréhension des événements dans de longues vidéos, la localisation des objets et l’extraction structurée de documents.
Comprendre le contenu visuel
Cette famille va au-delà de l’identification du sujet principal d’une photographie. Ses tâches documentées comprennent l’analyse du texte, des graphiques, des icônes, des illustrations et de la disposition des éléments dans une image. Pour un graphique, précisez la série ou la relation à examiner et conservez les axes, la légende et les unités. Pour un schéma, demandez comment les composants étiquetés sont reliés et ce que leur disposition visible indique sur le processus.
Pour une comparaison utile, fournissez une version originale et une version révisée d’un design, identifiez chacune et demandez les changements visibles au regard d’une courte liste d’exigences. Demandez conjointement l’observation et la zone correspondante de l’image. La réponse sert ainsi un objectif concret, au lieu de décrire globalement deux images sans rapport.
Flux de travail avec un agent visuel
Le concepteur présente Qwen2.5-VL comme un agent visuel capable de raisonner sur un écran et de guider des outils dans des tâches sur ordinateur ou téléphone. Le modèle fournit une interprétation et une opération proposée ; l’application d’agent qui l’entoure fournit les commandes, exécute l’opération et renvoie le nouvel état. Une réponse textuelle ou une coordonnée prédite constitue donc une partie de ce flux de travail intégré.
Pour une question sur une interface, fournissez la capture d’écran et l’objectif réel, puis demandez quelle commande visible est pertinente et quelle action effectuer ensuite. Demandez une sortie précise : le libellé de la commande, son emplacement et l’action visée. Si l’application exécute ensuite cette action, la capture suivante fournit l’entrée visuelle actualisée pour la décision suivante.
Longues vidéos et localisation des événements
Le concepteur décrit la compréhension de vidéos de plus d’une heure et l’identification du segment contenant un événement demandé. La description vidéo s’étend ainsi à la localisation temporelle. Une tâche peut demander quand un objet apparaît pour la première fois, à quel moment une démonstration atteint une étape donnée ou quel événement visible en précède un autre. Indiquez si le résultat doit être un résumé, une liste ordonnée d’événements ou des heures de début et de fin accompagnées d’une description de l’événement.
La famille est entraînée avec un échantillonnage à fréquence d’images dynamique et aligne les informations de position temporelle sur le temps absolu. Les informations de fréquence d’images font donc partie de la préparation vidéo et ne constituent pas une étiquette arbitraire à supprimer lorsque les horodatages sont importants. La capacité documentée à traiter de longues vidéos ne spécifie pas universellement la taille des fichiers ou la durée maximale de chaque voie d’entrée.
Localisation des objets et documents structurés
Qwen2.5-VL peut renvoyer des cadres englobants ou des points et organiser les coordonnées et les attributs en JSON. Cette version utilise des coordonnées à l’échelle des dimensions réelles de l’image plutôt que les coordonnées normalisées traditionnelles. Précisez si la tâche requiert un cadre englobant, un point particulier ou une description d’objet, et conservez les dimensions de l’image ainsi que toute information de redimensionnement nécessaire pour interpréter l’emplacement renvoyé.
Par exemple, une demande d’inventaire visuel peut demander chaque objet ciblé, son cadre et un attribut visible. Une tâche fondée sur un point peut demander l’emplacement d’une commande étiquetée ou d’une partie précise d’un objet. Il s’agit de propositions de structure de sortie, et non de noms de champs fixes imposés à chaque requête. Lorsque plusieurs images sont fournies, associez chaque coordonnée à son image source.
Le concepteur souligne séparément l’extraction structurée à partir de factures numérisées, de formulaires et de tableaux. Définissez les champs, conservez les libellés d’origine et demandez une représentation explicite lorsqu’une valeur est illisible. Pour un tableau, conservez les en-têtes de colonnes et les unités avec les lignes demandées. Un enregistrement pratique peut contenir l’identifiant du document, le libellé du champ, la valeur extraite et son emplacement, afin de rendre la sortie exploitable pour une comparaison ultérieure ou une inspection humaine.
Architecture et préparation des entrées
Le modèle combine une résolution d’image dynamique et un échantillonnage vidéo dynamique avec des informations de position rotative multimodale actualisées. Son encodeur visuel utilise l’attention par fenêtres, SwiGLU et RMSNorm. Ces évolutions d’architecture soutiennent le traitement visuel et temporel ; elles n’ajoutent ni entrée audio ni génération d’images au flux documenté produisant du texte.
La fiche présente une image unique, plusieurs images, une séquence d’images vidéo, un fichier ou une référence vidéo, ainsi que des conversations par lots. Le processeur d’images documente une plage par défaut de 4 à 16,384 tokens visuels par image. Les paramètres de pixels minimum et maximum préservent le rapport d’aspect ; les dimensions exactes demandées sont arrondies à un multiple de 28. La plage d’exemple de 256 à 1,280 tokens visuels est une illustration réglable, et non une limite d’image stricte distincte. Lors du redimensionnement, conservez le niveau de détail nécessaire à la question.
Contexte et paramètres sensibles à la localisation
La configuration publiée fixe le nombre maximal de positions à 128,000. La section de la fiche consacrée aux textes longs décrit séparément une base de 32,768 tokens et un exemple d’extension YaRN. Elle avertit explicitement que cette extension affecte fortement la localisation temporelle et spatiale et la déconseille. Le guide aborde aussi la modification du nombre maximal de positions pour les longues vidéos ; ce sont des indications de configuration, et non une limite d’entrée unique et inconditionnelle pour chaque tâche.
Alignez la configuration exacte de la version et le prétraitement visuel sur la tâche, surtout lorsque les coordonnées ou les heures des événements comptent. L’exemple de génération de 128 tokens de la fiche ne précise pas de capacité maximale de sortie distincte. Qwen2.5-VL-7B-Instruct produit du texte, des coordonnées et des résultats structurés ; une action externe, une image rendue, une vidéo ou une réponse parlée requiert un autre composant applicatif.
", "aboutText": "Qwen2.5-VL-7B-Instruct est l’édition 7B de Qwen2.5-VL affinée pour suivre des instructions. Il associe une instruction textuelle à des images ou à une vidéo et renvoie un résultat textuel. Les principales améliorations présentées par le concepteur concernent la reconnaissance des objets et des détails visuels, l’analyse du texte et des mises en page, les tâches d’agent visuel, la compréhension des événements dans de longues vidéos, la localisation des objets et l’extraction structurée de documents.\n\nComprendre le contenu visuel\n\nCette famille va au-delà de l’identification du sujet principal d’une photographie. Ses tâches documentées comprennent l’analyse du texte, des graphiques, des icônes, des illustrations et de la disposition des éléments dans une image. Pour un graphique, précisez la série ou la relation à examiner et conservez les axes, la légende et les unités. Pour un schéma, demandez comment les composants étiquetés sont reliés et ce que leur disposition visible indique sur le processus.\n\nPour une comparaison utile, fournissez une version originale et une version révisée d’un design, identifiez chacune et demandez les changements visibles au regard d’une courte liste d’exigences. Demandez conjointement l’observation et la zone correspondante de l’image. La réponse sert ainsi un objectif concret, au lieu de décrire globalement deux images sans rapport.\n\nFlux de travail avec un agent visuel\n\nLe concepteur présente Qwen2.5-VL comme un agent visuel capable de raisonner sur un écran et de guider des outils dans des tâches sur ordinateur ou téléphone. Le modèle fournit une interprétation et une opération proposée ; l’application d’agent qui l’entoure fournit les commandes, exécute l’opération et renvoie le nouvel état. Une réponse textuelle ou une coordonnée prédite constitue donc une partie de ce flux de travail intégré.\n\nPour une question sur une interface, fournissez la capture d’écran et l’objectif réel, puis demandez quelle commande visible est pertinente et quelle action effectuer ensuite. Demandez une sortie précise : le libellé de la commande, son emplacement et l’action visée. Si l’application exécute ensuite cette action, la capture suivante fournit l’entrée visuelle actualisée pour la décision suivante.\n\nLongues vidéos et localisation des événements\n\nLe concepteur décrit la compréhension de vidéos de plus d’une heure et l’identification du segment contenant un événement demandé. La description vidéo s’étend ainsi à la localisation temporelle. Une tâche peut demander quand un objet apparaît pour la première fois, à quel moment une démonstration atteint une étape donnée ou quel événement visible en précède un autre. Indiquez si le résultat doit être un résumé, une liste ordonnée d’événements ou des heures de début et de fin accompagnées d’une description de l’événement.\n\nLa famille est entraînée avec un échantillonnage à fréquence d’images dynamique et aligne les informations de position temporelle sur le temps absolu. Les informations de fréquence d’images font donc partie de la préparation vidéo et ne constituent pas une étiquette arbitraire à supprimer lorsque les horodatages sont importants. La capacité documentée à traiter de longues vidéos ne spécifie pas universellement la taille des fichiers ou la durée maximale de chaque voie d’entrée.\n\nLocalisation des objets et documents structurés\n\nQwen2.5-VL peut renvoyer des cadres englobants ou des points et organiser les coordonnées et les attributs en JSON. Cette version utilise des coordonnées à l’échelle des dimensions réelles de l’image plutôt que les coordonnées normalisées traditionnelles. Précisez si la tâche requiert un cadre englobant, un point particulier ou une description d’objet, et conservez les dimensions de l’image ainsi que toute information de redimensionnement nécessaire pour interpréter l’emplacement renvoyé.\n\nPar exemple, une demande d’inventaire visuel peut demander chaque objet ciblé, son cadre et un attribut visible. Une tâche fondée sur un point peut demander l’emplacement d’une commande étiquetée ou d’une partie précise d’un objet. Il s’agit de propositions de structure de sortie, et non de noms de champs fixes imposés à chaque requête. Lorsque plusieurs images sont fournies, associez chaque coordonnée à son image source.\n\nLe concepteur souligne séparément l’extraction structurée à partir de factures numérisées, de formulaires et de tableaux. Définissez les champs, conservez les libellés d’origine et demandez une représentation explicite lorsqu’une valeur est illisible. Pour un tableau, conservez les en-têtes de colonnes et les unités avec les lignes demandées. Un enregistrement pratique peut contenir l’identifiant du document, le libellé du champ, la valeur extraite et son emplacement, afin de rendre la sortie exploitable pour une comparaison ultérieure ou une inspection humaine.\n\nArchitecture et préparation des entrées\n\nLe modèle combine une résolution d’image dynamique et un échantillonnage vidéo dynamique avec des informations de position rotative multimodale actualisées. Son encodeur visuel utilise l’attention par fenêtres, SwiGLU et RMSNorm. Ces évolutions d’architecture soutiennent le traitement visuel et temporel ; elles n’ajoutent ni entrée audio ni génération d’images au flux documenté produisant du texte.\n\nLa fiche présente une image unique, plusieurs images, une séquence d’images vidéo, un fichier ou une référence vidéo, ainsi que des conversations par lots. Le processeur d’images documente une plage par défaut de 4 à 16,384 tokens visuels par image. Les paramètres de pixels minimum et maximum préservent le rapport d’aspect ; les dimensions exactes demandées sont arrondies à un multiple de 28. La plage d’exemple de 256 à 1,280 tokens visuels est une illustration réglable, et non une limite d’image stricte distincte. Lors du redimensionnement, conservez le niveau de détail nécessaire à la question.\n\nContexte et paramètres sensibles à la localisation\n\nLa configuration publiée fixe le nombre maximal de positions à 128,000. La section de la fiche consacrée aux textes longs décrit séparément une base de 32,768 tokens et un exemple d’extension YaRN. Elle avertit explicitement que cette extension affecte fortement la localisation temporelle et spatiale et la déconseille. Le guide aborde aussi la modification du nombre maximal de positions pour les longues vidéos ; ce sont des indications de configuration, et non une limite d’entrée unique et inconditionnelle pour chaque tâche.\n\nAlignez la configuration exacte de la version et le prétraitement visuel sur la tâche, surtout lorsque les coordonnées ou les heures des événements comptent. L’exemple de génération de 128 tokens de la fiche ne précise pas de capacité maximale de sortie distincte. Qwen2.5-VL-7B-Instruct produit du texte, des coordonnées et des résultats structurés ; une action externe, une image rendue, une vidéo ou une réponse parlée requiert un autre composant applicatif.", "editorialOverlay": { "copy_fields": { "practical_html": "Exemple technique en anglais
Extract a transcribed invoice table\n\nExtract line items from this invoice transcription: "Invoice N-33; item | quantity | unit price; Clip | 4 | 2.50; Folder | 2 | unreadable." Return each item with quantity, unit price and source invoice ID. Mark the unreadable price explicitly and do not infer it from a total. No image is supplied.A two-row field table retaining N-33 and an explicit unreadable value for the folder unit price.Verify quantities are not swapped and the unreadable price is neither zero nor a guessed amount.qwen2.5-vl-7b-instructQwen2.5-VL-7B-Instruct est un modèle de langage visuel pour les images, les documents et la vidéo. Il produit du texte et des résultats structurés, notamment des cadres d’objets, des points et des attributs, et apporte à l’édition 7B la localisation temporelle des événements et les capacités d’agent visuel.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Qwen2.5-VL-7B-Instruct est l’édition 7B de Qwen2.5-VL affinée pour suivre des instructions. Il associe une instruction textuelle à des images ou à une vidéo et renvoie un résultat textuel. Les principales améliorations présentées par le concepteur concernent la reconnaissance des objets et des détails visuels, l’analyse du texte et des mises en page, les tâches d’agent visuel, la compréhension des événements dans de longues vidéos, la localisation des objets et l’extraction structurée de documents.
Comprendre le contenu visuel
Cette famille va au-delà de l’identification du sujet principal d’une photographie. Ses tâches documentées comprennent l’analyse du texte, des graphiques, des icônes, des illustrations et de la disposition des éléments dans une image. Pour un graphique, précisez la série ou la relation à examiner et conservez les axes, la légende et les unités. Pour un schéma, demandez comment les composants étiquetés sont reliés et ce que leur disposition visible indique sur le processus.
Pour une comparaison utile, fournissez une version originale et une version révisée d’un design, identifiez chacune et demandez les changements visibles au regard d’une courte liste d’exigences. Demandez conjointement l’observation et la zone correspondante de l’image. La réponse sert ainsi un objectif concret, au lieu de décrire globalement deux images sans rapport.
Flux de travail avec un agent visuel
Le concepteur présente Qwen2.5-VL comme un agent visuel capable de raisonner sur un écran et de guider des outils dans des tâches sur ordinateur ou téléphone. Le modèle fournit une interprétation et une opération proposée ; l’application d’agent qui l’entoure fournit les commandes, exécute l’opération et renvoie le nouvel état. Une réponse textuelle ou une coordonnée prédite constitue donc une partie de ce flux de travail intégré.
Pour une question sur une interface, fournissez la capture d’écran et l’objectif réel, puis demandez quelle commande visible est pertinente et quelle action effectuer ensuite. Demandez une sortie précise : le libellé de la commande, son emplacement et l’action visée. Si l’application exécute ensuite cette action, la capture suivante fournit l’entrée visuelle actualisée pour la décision suivante.
Longues vidéos et localisation des événements
Le concepteur décrit la compréhension de vidéos de plus d’une heure et l’identification du segment contenant un événement demandé. La description vidéo s’étend ainsi à la localisation temporelle. Une tâche peut demander quand un objet apparaît pour la première fois, à quel moment une démonstration atteint une étape donnée ou quel événement visible en précède un autre. Indiquez si le résultat doit être un résumé, une liste ordonnée d’événements ou des heures de début et de fin accompagnées d’une description de l’événement.
La famille est entraînée avec un échantillonnage à fréquence d’images dynamique et aligne les informations de position temporelle sur le temps absolu. Les informations de fréquence d’images font donc partie de la préparation vidéo et ne constituent pas une étiquette arbitraire à supprimer lorsque les horodatages sont importants. La capacité documentée à traiter de longues vidéos ne spécifie pas universellement la taille des fichiers ou la durée maximale de chaque voie d’entrée.
Localisation des objets et documents structurés
Qwen2.5-VL peut renvoyer des cadres englobants ou des points et organiser les coordonnées et les attributs en JSON. Cette version utilise des coordonnées à l’échelle des dimensions réelles de l’image plutôt que les coordonnées normalisées traditionnelles. Précisez si la tâche requiert un cadre englobant, un point particulier ou une description d’objet, et conservez les dimensions de l’image ainsi que toute information de redimensionnement nécessaire pour interpréter l’emplacement renvoyé.
Par exemple, une demande d’inventaire visuel peut demander chaque objet ciblé, son cadre et un attribut visible. Une tâche fondée sur un point peut demander l’emplacement d’une commande étiquetée ou d’une partie précise d’un objet. Il s’agit de propositions de structure de sortie, et non de noms de champs fixes imposés à chaque requête. Lorsque plusieurs images sont fournies, associez chaque coordonnée à son image source.
Le concepteur souligne séparément l’extraction structurée à partir de factures numérisées, de formulaires et de tableaux. Définissez les champs, conservez les libellés d’origine et demandez une représentation explicite lorsqu’une valeur est illisible. Pour un tableau, conservez les en-têtes de colonnes et les unités avec les lignes demandées. Un enregistrement pratique peut contenir l’identifiant du document, le libellé du champ, la valeur extraite et son emplacement, afin de rendre la sortie exploitable pour une comparaison ultérieure ou une inspection humaine.
Architecture et préparation des entrées
Le modèle combine une résolution d’image dynamique et un échantillonnage vidéo dynamique avec des informations de position rotative multimodale actualisées. Son encodeur visuel utilise l’attention par fenêtres, SwiGLU et RMSNorm. Ces évolutions d’architecture soutiennent le traitement visuel et temporel ; elles n’ajoutent ni entrée audio ni génération d’images au flux documenté produisant du texte.
La fiche présente une image unique, plusieurs images, une séquence d’images vidéo, un fichier ou une référence vidéo, ainsi que des conversations par lots. Le processeur d’images documente une plage par défaut de 4 à 16,384 tokens visuels par image. Les paramètres de pixels minimum et maximum préservent le rapport d’aspect ; les dimensions exactes demandées sont arrondies à un multiple de 28. La plage d’exemple de 256 à 1,280 tokens visuels est une illustration réglable, et non une limite d’image stricte distincte. Lors du redimensionnement, conservez le niveau de détail nécessaire à la question.
Contexte et paramètres sensibles à la localisation
La configuration publiée fixe le nombre maximal de positions à 128,000. La section de la fiche consacrée aux textes longs décrit séparément une base de 32,768 tokens et un exemple d’extension YaRN. Elle avertit explicitement que cette extension affecte fortement la localisation temporelle et spatiale et la déconseille. Le guide aborde aussi la modification du nombre maximal de positions pour les longues vidéos ; ce sont des indications de configuration, et non une limite d’entrée unique et inconditionnelle pour chaque tâche.
Alignez la configuration exacte de la version et le prétraitement visuel sur la tâche, surtout lorsque les coordonnées ou les heures des événements comptent. L’exemple de génération de 128 tokens de la fiche ne précise pas de capacité maximale de sortie distincte. Qwen2.5-VL-7B-Instruct produit du texte, des coordonnées et des résultats structurés ; une action externe, une image rendue, une vidéo ou une réponse parlée requiert un autre composant applicatif.
POST /v1/chat/completionstexttext| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites qwen2.5-vl-7b-instruct | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites Nombre minimal d’éléments: 1 | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites Exemples : system, user, assistant, tool, function Conditions: Ces rôles sont explicitement représentés par les types de compatibilité du code source ; l’ensemble exact des rôles reste propre à chaque modèle. Selon le modèle | Par défaut— |
Champmessages[].content | Typestring|content_part[]|null | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_calls | Typetool_call[] | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].tool_call_id | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: role=tool ; utilisez l’identifiant réellement renvoyé | Par défaut— |
Champmessages[].name | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champmessages[].reasoning_content | Typestring | ExigenceFacultatif | Valeurs et limites S’applique lorsque: Réinjectez le raisonnement réellement renvoyé lorsque ce modèle l’utilise | Par défaut— |
Champmessages[].reasoning_details | Typeobject|array | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champmax_completion_tokens | Typeinteger | ExigenceFacultatif | Valeurs et limites Minimum: 1 Selon le modèle | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Champstream_options.include_usage | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtemperature | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtop_p | Typenumber | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champstop | Typestring|string[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools | Typefunction_tool[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champtools[].type | Typestring | ExigenceFacultatif | Valeurs et limites function Selon le modèle | Par défaut— |
Champtools[].function.name | Typestring | ExigenceObligatoire | Valeurs et limites S’applique lorsque: outil de fonction fourni | Par défaut— |
Champtools[].function.description | Typestring | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtools[].function.parameters | TypeJSON_schema | ExigenceFacultatif | Valeurs et limites | Par défaut— |
Champtool_choice | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champparallel_tool_calls | Typeboolean | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champresponse_format | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning_effort | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champreasoning | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champservice_tier | Typestring | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champinstructions | Typestring | ExigenceFacultatif | Valeurs et limites Champ de compatibilité | Par défaut— |
Champfunctions | Typefunction[] | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champfunction_call | Typestring|object | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champprompt_cache_options | Typeobject | ExigenceFacultatif | Valeurs et limites Selon le modèle | Par défaut— |
Champmodalities | Typestring[] | ExigenceFacultatif | Valeurs et limites text | Par défaut— |
Champprovider | Typeobject | ExigenceFacultatif | Valeurs et limites Conditions: provider.options est rejeté sur cette route textuelle Ultra | Par défaut— |
Champcache_control.ttl | Typestring | ExigenceFacultatif | Valeurs et limites Conditions: 1h est rejeté dans les emplacements réels du cache de prompt | Par défaut— |
Texte · Texte UTF8
messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages |
Paramètrematerial_types | Contrattext |
Paramètremessages | Contrattableau de messages avec une structure role/content |
Paramètrefile_material | Contratdocument UTF-8 réel inséré sous forme de texte littéral ; aucun identifiant de fichier déduit |
Paramètreoptional_controls | Contratstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Paramètrecontrol_scope | Contratpropre au modèle ; les outils de fonctions de l’utilisateur diffèrent des outils hébergés |
Paramètreoutput_modalities | Contrattext |
Paramètrehosted_operations | Contratfalse |
Paramètremultimodal_input_binding | Contratnull |
Cycle de vie : synchronous_or_streamed
Envoyez l’identifiant exact du modèle avec messages.
La longueur du contexte n’est pas un plafond de sortie.
Un fichier texte peut fournir du texte littéral ; les entrées image/audio/objets fichier nécessitent une liaison exacte.
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
| Configuration | Barème tarifaire | Coût |
|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Coût Entrée · Tokens en entrée $0.0001 / 1K tokens Sortie · Tokens en sortie $0.0001 / 1K tokens Entrée · Lecture du cache $0 / 1K tokens Entrée · Écriture dans le cache $0 / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen2.5-vl-7b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen2.5-vl-7b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen2.5-vl-7b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez chaque choix avec son contenu, ses appels d’outils et son raisonnement. En SSE, assemblez les deltas par index de choix et d’outil, puis conservez le motif final de terminaison et les données d’utilisation.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champchoices[].index | Typeinteger |
Champchoices[].message.content | Typestring|null |
Champchoices[].message.tool_calls | Typetool_call[] |
Champchoices[].message.reasoning_content | Typestring |
Champchoices[].message.reasoning_details | Typeobject|array |
Champchoices[].finish_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra qwen2.5-vl-7b-instruct
Utilisez les chemins de méthode indiqués ci-dessus.
qwen2.5-vl-7b-instructQwen2.5-VL-7B-Instruct est un modèle de langage visuel pour les images, les documents et la vidéo. Il produit du texte et des résultats structurés, notamment des cadres d’objets, des points et des attributs, et apporte à l’édition 7B la localisation temporelle des événements et les capacités d’agent visuel.
Cette description présente les capacités du modèle. Les entrées, sorties et options disponibles dans Ailoot pour la méthode sélectionnée figurent ci-dessous.
Qwen2.5-VL-7B-Instruct est l’édition 7B de Qwen2.5-VL affinée pour suivre des instructions. Il associe une instruction textuelle à des images ou à une vidéo et renvoie un résultat textuel. Les principales améliorations présentées par le concepteur concernent la reconnaissance des objets et des détails visuels, l’analyse du texte et des mises en page, les tâches d’agent visuel, la compréhension des événements dans de longues vidéos, la localisation des objets et l’extraction structurée de documents.
Comprendre le contenu visuel
Cette famille va au-delà de l’identification du sujet principal d’une photographie. Ses tâches documentées comprennent l’analyse du texte, des graphiques, des icônes, des illustrations et de la disposition des éléments dans une image. Pour un graphique, précisez la série ou la relation à examiner et conservez les axes, la légende et les unités. Pour un schéma, demandez comment les composants étiquetés sont reliés et ce que leur disposition visible indique sur le processus.
Pour une comparaison utile, fournissez une version originale et une version révisée d’un design, identifiez chacune et demandez les changements visibles au regard d’une courte liste d’exigences. Demandez conjointement l’observation et la zone correspondante de l’image. La réponse sert ainsi un objectif concret, au lieu de décrire globalement deux images sans rapport.
Flux de travail avec un agent visuel
Le concepteur présente Qwen2.5-VL comme un agent visuel capable de raisonner sur un écran et de guider des outils dans des tâches sur ordinateur ou téléphone. Le modèle fournit une interprétation et une opération proposée ; l’application d’agent qui l’entoure fournit les commandes, exécute l’opération et renvoie le nouvel état. Une réponse textuelle ou une coordonnée prédite constitue donc une partie de ce flux de travail intégré.
Pour une question sur une interface, fournissez la capture d’écran et l’objectif réel, puis demandez quelle commande visible est pertinente et quelle action effectuer ensuite. Demandez une sortie précise : le libellé de la commande, son emplacement et l’action visée. Si l’application exécute ensuite cette action, la capture suivante fournit l’entrée visuelle actualisée pour la décision suivante.
Longues vidéos et localisation des événements
Le concepteur décrit la compréhension de vidéos de plus d’une heure et l’identification du segment contenant un événement demandé. La description vidéo s’étend ainsi à la localisation temporelle. Une tâche peut demander quand un objet apparaît pour la première fois, à quel moment une démonstration atteint une étape donnée ou quel événement visible en précède un autre. Indiquez si le résultat doit être un résumé, une liste ordonnée d’événements ou des heures de début et de fin accompagnées d’une description de l’événement.
La famille est entraînée avec un échantillonnage à fréquence d’images dynamique et aligne les informations de position temporelle sur le temps absolu. Les informations de fréquence d’images font donc partie de la préparation vidéo et ne constituent pas une étiquette arbitraire à supprimer lorsque les horodatages sont importants. La capacité documentée à traiter de longues vidéos ne spécifie pas universellement la taille des fichiers ou la durée maximale de chaque voie d’entrée.
Localisation des objets et documents structurés
Qwen2.5-VL peut renvoyer des cadres englobants ou des points et organiser les coordonnées et les attributs en JSON. Cette version utilise des coordonnées à l’échelle des dimensions réelles de l’image plutôt que les coordonnées normalisées traditionnelles. Précisez si la tâche requiert un cadre englobant, un point particulier ou une description d’objet, et conservez les dimensions de l’image ainsi que toute information de redimensionnement nécessaire pour interpréter l’emplacement renvoyé.
Par exemple, une demande d’inventaire visuel peut demander chaque objet ciblé, son cadre et un attribut visible. Une tâche fondée sur un point peut demander l’emplacement d’une commande étiquetée ou d’une partie précise d’un objet. Il s’agit de propositions de structure de sortie, et non de noms de champs fixes imposés à chaque requête. Lorsque plusieurs images sont fournies, associez chaque coordonnée à son image source.
Le concepteur souligne séparément l’extraction structurée à partir de factures numérisées, de formulaires et de tableaux. Définissez les champs, conservez les libellés d’origine et demandez une représentation explicite lorsqu’une valeur est illisible. Pour un tableau, conservez les en-têtes de colonnes et les unités avec les lignes demandées. Un enregistrement pratique peut contenir l’identifiant du document, le libellé du champ, la valeur extraite et son emplacement, afin de rendre la sortie exploitable pour une comparaison ultérieure ou une inspection humaine.
Architecture et préparation des entrées
Le modèle combine une résolution d’image dynamique et un échantillonnage vidéo dynamique avec des informations de position rotative multimodale actualisées. Son encodeur visuel utilise l’attention par fenêtres, SwiGLU et RMSNorm. Ces évolutions d’architecture soutiennent le traitement visuel et temporel ; elles n’ajoutent ni entrée audio ni génération d’images au flux documenté produisant du texte.
La fiche présente une image unique, plusieurs images, une séquence d’images vidéo, un fichier ou une référence vidéo, ainsi que des conversations par lots. Le processeur d’images documente une plage par défaut de 4 à 16,384 tokens visuels par image. Les paramètres de pixels minimum et maximum préservent le rapport d’aspect ; les dimensions exactes demandées sont arrondies à un multiple de 28. La plage d’exemple de 256 à 1,280 tokens visuels est une illustration réglable, et non une limite d’image stricte distincte. Lors du redimensionnement, conservez le niveau de détail nécessaire à la question.
Contexte et paramètres sensibles à la localisation
La configuration publiée fixe le nombre maximal de positions à 128,000. La section de la fiche consacrée aux textes longs décrit séparément une base de 32,768 tokens et un exemple d’extension YaRN. Elle avertit explicitement que cette extension affecte fortement la localisation temporelle et spatiale et la déconseille. Le guide aborde aussi la modification du nombre maximal de positions pour les longues vidéos ; ce sont des indications de configuration, et non une limite d’entrée unique et inconditionnelle pour chaque tâche.
Alignez la configuration exacte de la version et le prétraitement visuel sur la tâche, surtout lorsque les coordonnées ou les heures des événements comptent. L’exemple de génération de 128 tokens de la fiche ne précise pas de capacité maximale de sortie distincte. Qwen2.5-VL-7B-Instruct produit du texte, des coordonnées et des résultats structurés ; une action externe, une image rendue, une vidéo ou une réponse parlée requiert un autre composant applicatif.
POST /v1/messagestextjson, sse| Champ | Type | Exigence | Valeurs et limites | Par défaut |
|---|---|---|---|---|
Champmodel | Typestring | ExigenceObligatoire | Valeurs et limites qwen2.5-vl-7b-instruct | Par défaut— |
Champmessages | Typemessage[] | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmessages[].role | Typestring | ExigenceObligatoire | Valeurs et limites user, assistant | Par défaut— |
Champmessages[].content | Typestring | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champmax_tokens | Typeinteger | ExigenceObligatoire | Valeurs et limites | Par défaut— |
Champstream | Typeboolean | ExigenceFacultatif | Valeurs et limites | Par défautfalse |
Texte · Texte UTF-8
chaîne messages[].content
| Paramètre | Contrat |
|---|---|
Paramètrecontent_type | Contratapplication/json |
Paramètrerequired | Contratmodel, messages, max_tokens |
Paramètreoptional_controls | Contratstream |
Paramètrematerial_types | Contrattext |
Paramètretext_file_material | ContratLisez le document UTF-8 réel et placez son texte dans l’entrée indiquée ou dans la chaîne de contenu du message. |
Cycle de vie : synchronous_or_streamed
Les tarifs n’ajoutent pas d’options de requête. Les paramètres pris en charge figurent dans la méthode sélectionnée.
| Configuration | Barème tarifaire | Coût |
|---|---|---|
| ConfigurationTarifs de base des tokens | Barème tarifaireTarif de base | Coût Entrée · Tokens en entrée $0.0001 / 1K tokens Sortie · Tokens en sortie $0.0001 / 1K tokens Entrée · Lecture du cache $0 / 1K tokens Entrée · Écriture dans le cache $0 / 1K tokens Entrée · Écriture dans le cache, 1 h — / 1K tokens |
Ailoot réserve un montant estimé avant une requête. Après le résultat, le montant final est débité selon l’utilisation mesurée. Pour le streaming, le montant final à débiter est calculé à partir du relevé final d’utilisation. Fonctionnement de la réservation et du débit →
{\n "model": "qwen2.5-vl-7b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-vl-7b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-vl-7b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON ou SSE
Conservez chaque réponse, fichier et partie de contenu renvoyés dans leur intégralité.
Conservez tous les blocs de contenu, les signatures de raisonnement et les identifiants réels d’utilisation d’outils. Assemblez tous les deltas de blocs SSE ; un premier bloc de texte ne constitue pas la sortie complète.
Conservez les identifiants de requête et de réponse ainsi que les en-têtes. Aucune URL générique de récupération des tâches textuelles n’est fournie.
| Champ | Type |
|---|---|
Champid | Typestring |
Champmodel | Typestring |
Champcontent[] | Typetext|thinking|tool_use|other content block |
Champstop_reason | Typestring|null |
Champusage | Typeobject |
| Réponse | Condition | Étape suivante |
|---|---|---|
Réponse400 · invalid_request_error | ConditionChamps obligatoires, représentation des contenus ou valeur de paramètre non valides | Étape suivanteCorrigez les champs indiqués avant une nouvelle requête de création. |
Ailoot Ultra qwen2.5-vl-7b-instruct
Utilisez les chemins de méthode indiqués ci-dessus.
Exemple technique en anglais
Extract a transcribed invoice table\n\nExtract line items from this invoice transcription: "Invoice N-33; item | quantity | unit price; Clip | 4 | 2.50; Folder | 2 | unreadable." Return each item with quantity, unit price and source invoice ID. Mark the unreadable price explicitly and do not infer it from a total. No image is supplied.A two-row field table retaining N-33 and an explicit unreadable value for the folder unit price.Verify quantities are not swapped and the unreadable price is neither zero nor a guessed amount.