Wprowadzenie: edycja wizyjno-językowa 7B
Qwen2-VL-7B-Instruct to dostrojony do instrukcji wariant 7B rodziny Qwen2-VL. Łączy instrukcje tekstowe z obrazami lub wideo i generuje odpowiedzi tekstowe. Użyteczne wyniki obejmują objaśnienie strony, porównanie obrazów, opis widocznych zdarzeń lub odpowiedź na pytanie o wykres. Jest to ta konkretna wersja Qwen2-VL; nowsze checkpointy Qwen2.5-VL i Qwen3-VL mają własne możliwości i tożsamości.
Co wnosi Qwen2-VL
Qwen opisuje rozumienie wizualne przy różnych rozdzielczościach i proporcjach obrazu, a także odpowiadanie na pytania o wideo, dialog i tworzenie treści. Udokumentowane możliwości wideo tej rodziny obejmują materiały dłuższe niż 20 minut. Sam czas trwania nie określa, ile klatek przetwarza aplikacja, ani nie gwarantuje odtworzenia każdego zdarzenia. Wielojęzyczne rozumienie tekstu na obrazach obejmuje angielski i chiński, wiele języków europejskich, japoński, koreański, arabski i wietnamski.
Producent opisuje też integrację z telefonami, robotami i innymi urządzeniami przez obserwacje wizualne i instrukcje tekstowe. Jest to proces aplikacji: model interpretuje środowisko wizualne i pomaga wybierać działania, a podłączone oprogramowanie lub sprzęt je wykonuje. Rozpoznanie ekranu samo w sobie nie daje modelowi kontroli nad nim.
Zmiany architektury
Dynamiczna rozdzielczość przekształca obraz w zmienną liczbę tokenów wizualnych, zamiast narzucać wszystkim wejściom tę samą reprezentację. M-ROPE rozdziela informacje pozycyjne dla tekstu, obrazów dwuwymiarowych i trójwymiarowych informacji wideo, łącząc strukturę przestrzenną i czasową. Opublikowana konfiguracja 7B podaje 32 768 pozycji. Tekst, tokeny wizualne i generowany wynik współdzielą ograniczony budżet sekwencji, dlatego rozdzielczość obrazu i próbkowanie wideo wpływają na ilość materiału możliwą do dołączenia do żądania.
Przygotowanie obrazów i rozmów
Oficjalne przykłady obsługują pojedynczy obraz, kilka obrazów i rozmowy wyłącznie tekstowe. Dołącz obraz z konkretnym pytaniem, zamiast polegać na szerokiej instrukcji typu „przeanalizuj wszystko”. Przy stronie dokumentu poproś o nazwane pola i zachowanie interpunkcji w cytatach. Przy dwóch zrzutach projektu oznacz je jako pierwszy i drugi, a następnie poproś o tabelę widocznych zmian. Przy wykresie zapytaj o etykiety, jednostki i wartości potwierdzające wskazany trend. Są to praktyczne zastosowania odpowiadania na pytania wizualne, a nie obietnice bezbłędnego wyodrębniania danych.
Narzędzia producenta przyjmują obrazy z plików lokalnych, zakodowanych danych obrazu lub lokalizacji obrazów; udokumentowany przykład wideo używa lokalnych plików wideo lub uporządkowanej listy klatek. Formaty przesyłania plików w aplikacji pozostają odrębną decyzją dotyczącą interfejsu. Zachowaj pierwotną kolejność klatek i określ przedział czasowy reprezentowany przez ich listę. Przykłady generują tekst; ten checkpoint nie jest opisany jako generator obrazu lub wideo.
Rozdzielczość i przygotowanie wideo
Procesor Qwen domyślnie używa od czterech do 16 384 tokenów wizualnych na obraz. Udostępnia min_pixels i max_pixels do równoważenia szczegółowości względem pamięci i obliczeń, z udokumentowanym przykładem celującym w 256–1 280 tokenów wizualnych. Obrazy są skalowane w wybranych granicach z zachowaniem proporcji. Jawnie podane wymiary po zmianie rozmiaru są zaokrąglane do wielokrotności 28. Gęsta tabela lub drobny tekst mogą wymagać odpowiedniej rozdzielczości, aby pozostać czytelne; jej zwiększanie zużywa też większą część dostępnego budżetu wizualnego i kontekstu.
Przykład wideo pokazuje próbkowanie z częstotliwością jednej klatki na sekundę i konfigurowalną granicę liczby pikseli. Są to ustawienia przykładowe, a nie uniwersalnie wymagana częstotliwość ani twardy limit mediów. Przy przeglądzie zdarzenia dostarcz odpowiedni klip i poproś o uporządkowany opis widocznych zmian. Zdarzenia blisko siebie mogą wymagać gęstszego próbkowania niż ogólne podsumowanie sceny. Qwen2-VL nie rozumie informacji dźwiękowej wewnątrz wideo, więc mówiony dialog lub efekty dźwiękowe wymagają odrębnego procesu audio.
Znane ograniczenia
Qwen podaje czerwiec 2023 jako datę graniczną danych obrazowych użytych do treningu, bez zapewnienia wiedzy o późniejszych osobach, produktach lub wydarzeniach. Rozpoznawanie konkretnych osób i obiektów własności intelektualnej jest niepełne. Złożone instrukcje wieloetapowe, liczenie obiektów w zatłoczonych scenach i relacje przestrzenne — szczególnie w trzech wymiarach — są udokumentowanymi słabościami. Podziel skomplikowane zadanie wizualne na jasne pytania, poproś o widoczne dowody potwierdzające wynik i sprawdzaj wyodrębnione liczby oraz cytowany tekst względem obrazu. Wiarygodnie brzmiącego opisu nie należy traktować jako dokładnej liczby ani zmierzonego położenia w trzech wymiarach.
Krótkie przykłady generowania w karcie nie ustanawiają odrębnego twardego limitu wyniku. Zaplanuj rozmiar odpowiedzi wraz z tekstem i wejściem wizualnym oraz zachowaj w źródle dość szczegółów dla konkretnego pytania. Dzięki temu wybór modelu i przygotowanie wejścia są bardziej użyteczne niż założenie, że dowolny obraz lub dowolne długie wideo dają równie niezawodną odpowiedź.
", "aboutText": "Wprowadzenie: edycja wizyjno-językowa 7B\n\nQwen2-VL-7B-Instruct to dostrojony do instrukcji wariant 7B rodziny Qwen2-VL. Łączy instrukcje tekstowe z obrazami lub wideo i generuje odpowiedzi tekstowe. Użyteczne wyniki obejmują objaśnienie strony, porównanie obrazów, opis widocznych zdarzeń lub odpowiedź na pytanie o wykres. Jest to ta konkretna wersja Qwen2-VL; nowsze checkpointy Qwen2.5-VL i Qwen3-VL mają własne możliwości i tożsamości.\n\nCo wnosi Qwen2-VL\n\nQwen opisuje rozumienie wizualne przy różnych rozdzielczościach i proporcjach obrazu, a także odpowiadanie na pytania o wideo, dialog i tworzenie treści. Udokumentowane możliwości wideo tej rodziny obejmują materiały dłuższe niż 20 minut. Sam czas trwania nie określa, ile klatek przetwarza aplikacja, ani nie gwarantuje odtworzenia każdego zdarzenia. Wielojęzyczne rozumienie tekstu na obrazach obejmuje angielski i chiński, wiele języków europejskich, japoński, koreański, arabski i wietnamski.\n\nProducent opisuje też integrację z telefonami, robotami i innymi urządzeniami przez obserwacje wizualne i instrukcje tekstowe. Jest to proces aplikacji: model interpretuje środowisko wizualne i pomaga wybierać działania, a podłączone oprogramowanie lub sprzęt je wykonuje. Rozpoznanie ekranu samo w sobie nie daje modelowi kontroli nad nim.\n\nZmiany architektury\n\nDynamiczna rozdzielczość przekształca obraz w zmienną liczbę tokenów wizualnych, zamiast narzucać wszystkim wejściom tę samą reprezentację. M-ROPE rozdziela informacje pozycyjne dla tekstu, obrazów dwuwymiarowych i trójwymiarowych informacji wideo, łącząc strukturę przestrzenną i czasową. Opublikowana konfiguracja 7B podaje 32 768 pozycji. Tekst, tokeny wizualne i generowany wynik współdzielą ograniczony budżet sekwencji, dlatego rozdzielczość obrazu i próbkowanie wideo wpływają na ilość materiału możliwą do dołączenia do żądania.\n\nPrzygotowanie obrazów i rozmów\n\nOficjalne przykłady obsługują pojedynczy obraz, kilka obrazów i rozmowy wyłącznie tekstowe. Dołącz obraz z konkretnym pytaniem, zamiast polegać na szerokiej instrukcji typu „przeanalizuj wszystko”. Przy stronie dokumentu poproś o nazwane pola i zachowanie interpunkcji w cytatach. Przy dwóch zrzutach projektu oznacz je jako pierwszy i drugi, a następnie poproś o tabelę widocznych zmian. Przy wykresie zapytaj o etykiety, jednostki i wartości potwierdzające wskazany trend. Są to praktyczne zastosowania odpowiadania na pytania wizualne, a nie obietnice bezbłędnego wyodrębniania danych.\n\nNarzędzia producenta przyjmują obrazy z plików lokalnych, zakodowanych danych obrazu lub lokalizacji obrazów; udokumentowany przykład wideo używa lokalnych plików wideo lub uporządkowanej listy klatek. Formaty przesyłania plików w aplikacji pozostają odrębną decyzją dotyczącą interfejsu. Zachowaj pierwotną kolejność klatek i określ przedział czasowy reprezentowany przez ich listę. Przykłady generują tekst; ten checkpoint nie jest opisany jako generator obrazu lub wideo.\n\nRozdzielczość i przygotowanie wideo\n\nProcesor Qwen domyślnie używa od czterech do 16 384 tokenów wizualnych na obraz. Udostępnia min_pixels i max_pixels do równoważenia szczegółowości względem pamięci i obliczeń, z udokumentowanym przykładem celującym w 256–1 280 tokenów wizualnych. Obrazy są skalowane w wybranych granicach z zachowaniem proporcji. Jawnie podane wymiary po zmianie rozmiaru są zaokrąglane do wielokrotności 28. Gęsta tabela lub drobny tekst mogą wymagać odpowiedniej rozdzielczości, aby pozostać czytelne; jej zwiększanie zużywa też większą część dostępnego budżetu wizualnego i kontekstu.\n\nPrzykład wideo pokazuje próbkowanie z częstotliwością jednej klatki na sekundę i konfigurowalną granicę liczby pikseli. Są to ustawienia przykładowe, a nie uniwersalnie wymagana częstotliwość ani twardy limit mediów. Przy przeglądzie zdarzenia dostarcz odpowiedni klip i poproś o uporządkowany opis widocznych zmian. Zdarzenia blisko siebie mogą wymagać gęstszego próbkowania niż ogólne podsumowanie sceny. Qwen2-VL nie rozumie informacji dźwiękowej wewnątrz wideo, więc mówiony dialog lub efekty dźwiękowe wymagają odrębnego procesu audio.\n\nZnane ograniczenia\n\nQwen podaje czerwiec 2023 jako datę graniczną danych obrazowych użytych do treningu, bez zapewnienia wiedzy o późniejszych osobach, produktach lub wydarzeniach. Rozpoznawanie konkretnych osób i obiektów własności intelektualnej jest niepełne. Złożone instrukcje wieloetapowe, liczenie obiektów w zatłoczonych scenach i relacje przestrzenne — szczególnie w trzech wymiarach — są udokumentowanymi słabościami. Podziel skomplikowane zadanie wizualne na jasne pytania, poproś o widoczne dowody potwierdzające wynik i sprawdzaj wyodrębnione liczby oraz cytowany tekst względem obrazu. Wiarygodnie brzmiącego opisu nie należy traktować jako dokładnej liczby ani zmierzonego położenia w trzech wymiarach.\n\nKrótkie przykłady generowania w karcie nie ustanawiają odrębnego twardego limitu wyniku. Zaplanuj rozmiar odpowiedzi wraz z tekstem i wejściem wizualnym oraz zachowaj w źródle dość szczegółów dla konkretnego pytania. Dzięki temu wybór modelu i przygotowanie wejścia są bardziej użyteczne niż założenie, że dowolny obraz lub dowolne długie wideo dają równie niezawodną odpowiedź.", "editorialOverlay": { "copy_fields": { "practical_html": "Przykład techniczny po angielsku
Compare transcribed dashboard changes\n\nCompare these dashboard descriptions supplied as text. First: heading 'Orders', filter 'All dates', total 240. Second: heading 'Orders', filter 'This week', total 38. Return a table of changed and unchanged fields, then explain why the totals alone do not establish a fall in orders. Use only the descriptions and keep the filter labels exact.A field-comparison table and a short explanation of the different date scopes.The result does not treat totals from All dates and This week as comparable periods.Qwen2-VL-7B-Instruct-ultraQwen2-VL-7B-Instruct to dostrojony do instrukcji model wizyjno-językowy Qwen, przyjmujący tekst, obrazy i wideo oraz zwracający tekst. Używaj go do pytań o strony dokumentów, porównywania obrazów lub opisywania zdarzeń wizualnych, z dynamiczną rozdzielczością obrazu i udokumentowanymi ograniczeniami dotyczącymi liczenia, rozumowania przestrzennego i rozumienia dźwięku w wideo.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
Wprowadzenie: edycja wizyjno-językowa 7B
Qwen2-VL-7B-Instruct to dostrojony do instrukcji wariant 7B rodziny Qwen2-VL. Łączy instrukcje tekstowe z obrazami lub wideo i generuje odpowiedzi tekstowe. Użyteczne wyniki obejmują objaśnienie strony, porównanie obrazów, opis widocznych zdarzeń lub odpowiedź na pytanie o wykres. Jest to ta konkretna wersja Qwen2-VL; nowsze checkpointy Qwen2.5-VL i Qwen3-VL mają własne możliwości i tożsamości.
Co wnosi Qwen2-VL
Qwen opisuje rozumienie wizualne przy różnych rozdzielczościach i proporcjach obrazu, a także odpowiadanie na pytania o wideo, dialog i tworzenie treści. Udokumentowane możliwości wideo tej rodziny obejmują materiały dłuższe niż 20 minut. Sam czas trwania nie określa, ile klatek przetwarza aplikacja, ani nie gwarantuje odtworzenia każdego zdarzenia. Wielojęzyczne rozumienie tekstu na obrazach obejmuje angielski i chiński, wiele języków europejskich, japoński, koreański, arabski i wietnamski.
Producent opisuje też integrację z telefonami, robotami i innymi urządzeniami przez obserwacje wizualne i instrukcje tekstowe. Jest to proces aplikacji: model interpretuje środowisko wizualne i pomaga wybierać działania, a podłączone oprogramowanie lub sprzęt je wykonuje. Rozpoznanie ekranu samo w sobie nie daje modelowi kontroli nad nim.
Zmiany architektury
Dynamiczna rozdzielczość przekształca obraz w zmienną liczbę tokenów wizualnych, zamiast narzucać wszystkim wejściom tę samą reprezentację. M-ROPE rozdziela informacje pozycyjne dla tekstu, obrazów dwuwymiarowych i trójwymiarowych informacji wideo, łącząc strukturę przestrzenną i czasową. Opublikowana konfiguracja 7B podaje 32 768 pozycji. Tekst, tokeny wizualne i generowany wynik współdzielą ograniczony budżet sekwencji, dlatego rozdzielczość obrazu i próbkowanie wideo wpływają na ilość materiału możliwą do dołączenia do żądania.
Przygotowanie obrazów i rozmów
Oficjalne przykłady obsługują pojedynczy obraz, kilka obrazów i rozmowy wyłącznie tekstowe. Dołącz obraz z konkretnym pytaniem, zamiast polegać na szerokiej instrukcji typu „przeanalizuj wszystko”. Przy stronie dokumentu poproś o nazwane pola i zachowanie interpunkcji w cytatach. Przy dwóch zrzutach projektu oznacz je jako pierwszy i drugi, a następnie poproś o tabelę widocznych zmian. Przy wykresie zapytaj o etykiety, jednostki i wartości potwierdzające wskazany trend. Są to praktyczne zastosowania odpowiadania na pytania wizualne, a nie obietnice bezbłędnego wyodrębniania danych.
Narzędzia producenta przyjmują obrazy z plików lokalnych, zakodowanych danych obrazu lub lokalizacji obrazów; udokumentowany przykład wideo używa lokalnych plików wideo lub uporządkowanej listy klatek. Formaty przesyłania plików w aplikacji pozostają odrębną decyzją dotyczącą interfejsu. Zachowaj pierwotną kolejność klatek i określ przedział czasowy reprezentowany przez ich listę. Przykłady generują tekst; ten checkpoint nie jest opisany jako generator obrazu lub wideo.
Rozdzielczość i przygotowanie wideo
Procesor Qwen domyślnie używa od czterech do 16 384 tokenów wizualnych na obraz. Udostępnia min_pixels i max_pixels do równoważenia szczegółowości względem pamięci i obliczeń, z udokumentowanym przykładem celującym w 256–1 280 tokenów wizualnych. Obrazy są skalowane w wybranych granicach z zachowaniem proporcji. Jawnie podane wymiary po zmianie rozmiaru są zaokrąglane do wielokrotności 28. Gęsta tabela lub drobny tekst mogą wymagać odpowiedniej rozdzielczości, aby pozostać czytelne; jej zwiększanie zużywa też większą część dostępnego budżetu wizualnego i kontekstu.
Przykład wideo pokazuje próbkowanie z częstotliwością jednej klatki na sekundę i konfigurowalną granicę liczby pikseli. Są to ustawienia przykładowe, a nie uniwersalnie wymagana częstotliwość ani twardy limit mediów. Przy przeglądzie zdarzenia dostarcz odpowiedni klip i poproś o uporządkowany opis widocznych zmian. Zdarzenia blisko siebie mogą wymagać gęstszego próbkowania niż ogólne podsumowanie sceny. Qwen2-VL nie rozumie informacji dźwiękowej wewnątrz wideo, więc mówiony dialog lub efekty dźwiękowe wymagają odrębnego procesu audio.
Znane ograniczenia
Qwen podaje czerwiec 2023 jako datę graniczną danych obrazowych użytych do treningu, bez zapewnienia wiedzy o późniejszych osobach, produktach lub wydarzeniach. Rozpoznawanie konkretnych osób i obiektów własności intelektualnej jest niepełne. Złożone instrukcje wieloetapowe, liczenie obiektów w zatłoczonych scenach i relacje przestrzenne — szczególnie w trzech wymiarach — są udokumentowanymi słabościami. Podziel skomplikowane zadanie wizualne na jasne pytania, poproś o widoczne dowody potwierdzające wynik i sprawdzaj wyodrębnione liczby oraz cytowany tekst względem obrazu. Wiarygodnie brzmiącego opisu nie należy traktować jako dokładnej liczby ani zmierzonego położenia w trzech wymiarach.
Krótkie przykłady generowania w karcie nie ustanawiają odrębnego twardego limitu wyniku. Zaplanuj rozmiar odpowiedzi wraz z tekstem i wejściem wizualnym oraz zachowaj w źródle dość szczegółów dla konkretnego pytania. Dzięki temu wybór modelu i przygotowanie wejścia są bardziej użyteczne niż założenie, że dowolny obraz lub dowolne długie wideo dają równie niezawodną odpowiedź.
POST /v1/chat/completionstexttext| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity Qwen2-VL-7B-Instruct-ultra | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity Minimalna liczba elementów: 1 | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity Przykłady: system, user, assistant, tool, function Warunki: Te role są jawnie reprezentowane przez typy zgodności w kodzie źródłowym; dokładny zestaw ról pozostaje właściwy dla danego modelu. Zależy od modelu | Domyślnie— |
Polemessages[].content | Typstring|content_part[]|null | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_calls | Typtool_call[] | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_call_id | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: role=tool; użyj rzeczywiście zwróconego ID | Domyślnie— |
Polemessages[].name | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].reasoning_content | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: Przekazuj z powrotem rzeczywiście zwróconą treść rozumowania, gdy ten model jej używa | Domyślnie— |
Polemessages[].reasoning_details | Typobject|array | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polemax_completion_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Polestream_options.include_usage | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletemperature | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletop_p | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polestop | Typstring|string[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools | Typfunction_tool[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools[].type | Typstring | WymaganieOpcjonalne | Wartości i limity function Zależy od modelu | Domyślnie— |
Poletools[].function.name | Typstring | WymaganieWymagane | Wartości i limity Obowiązuje, gdy: udostępnione narzędzie funkcji | Domyślnie— |
Poletools[].function.description | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletools[].function.parameters | TypJSON_schema | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletool_choice | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleparallel_tool_calls | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleresponse_format | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning_effort | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleservice_tier | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleinstructions | Typstring | WymaganieOpcjonalne | Wartości i limity Pole zgodności | Domyślnie— |
Polefunctions | Typfunction[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polefunction_call | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleprompt_cache_options | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemodalities | Typstring[] | WymaganieOpcjonalne | Wartości i limity text | Domyślnie— |
Poleprovider | Typobject | WymaganieOpcjonalne | Wartości i limity Warunki: provider.options jest odrzucane na tej tekstowej trasie Ultra | Domyślnie— |
Polecache_control.ttl | Typstring | WymaganieOpcjonalne | Wartości i limity Warunki: 1h jest odrzucane w rzeczywistych miejscach pamięci podręcznej promptów | Domyślnie— |
Tekst · tekst UTF8
messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages |
Parametrmaterial_types | Kontrakttext |
Parametrmessages | Kontrakttablica wiadomości o strukturze role/content |
Parametrfile_material | Kontraktrzeczywisty dokument UTF-8 wstawiony jako dosłowny tekst; bez wywnioskowanego ID pliku |
Parametroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrcontrol_scope | Kontraktwłaściwe dla modelu; narzędzia funkcji użytkownika różnią się od narzędzi hostowanych |
Parametroutput_modalities | Kontrakttext |
Parametrhosted_operations | Kontraktfalse |
Parametrmultimodal_input_binding | Kontraktnull |
Cykl życia: synchronous_or_streamed
Wyślij dokładne ID modelu wraz z messages.
Długość kontekstu nie jest limitem wyjścia.
Plik tekstowy może dostarczyć dosłowny tekst; wejścia obrazowe/dźwiękowe/obiekty plików wymagają dokładnego powiązania.
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.00058 / 1K tokenów Wyjście · Tokeny wyjściowe $0.00142 / 1K tokenów Wejście · Odczyt cache $0 / 1K tokenów Wejście · Zapis do cache $0 / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "Qwen2-VL-7B-Instruct-ultra", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='Qwen2-VL-7B-Instruct-ultra',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='Qwen2-VL-7B-Instruct-ultra',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj każdy wariant i jego treść/wywołania narzędzi/rozumowanie. W SSE składaj przyrosty według indeksu wariantu/narzędzia, zachowując końcowy powód zakończenia i dane użycia.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra Qwen2-VL-7B-Instruct-ultra
Użyj ścieżek metod podanych powyżej.
Qwen2-VL-7B-Instruct-ultraQwen2-VL-7B-Instruct to dostrojony do instrukcji model wizyjno-językowy Qwen, przyjmujący tekst, obrazy i wideo oraz zwracający tekst. Używaj go do pytań o strony dokumentów, porównywania obrazów lub opisywania zdarzeń wizualnych, z dynamiczną rozdzielczością obrazu i udokumentowanymi ograniczeniami dotyczącymi liczenia, rozumowania przestrzennego i rozumienia dźwięku w wideo.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
Wprowadzenie: edycja wizyjno-językowa 7B
Qwen2-VL-7B-Instruct to dostrojony do instrukcji wariant 7B rodziny Qwen2-VL. Łączy instrukcje tekstowe z obrazami lub wideo i generuje odpowiedzi tekstowe. Użyteczne wyniki obejmują objaśnienie strony, porównanie obrazów, opis widocznych zdarzeń lub odpowiedź na pytanie o wykres. Jest to ta konkretna wersja Qwen2-VL; nowsze checkpointy Qwen2.5-VL i Qwen3-VL mają własne możliwości i tożsamości.
Co wnosi Qwen2-VL
Qwen opisuje rozumienie wizualne przy różnych rozdzielczościach i proporcjach obrazu, a także odpowiadanie na pytania o wideo, dialog i tworzenie treści. Udokumentowane możliwości wideo tej rodziny obejmują materiały dłuższe niż 20 minut. Sam czas trwania nie określa, ile klatek przetwarza aplikacja, ani nie gwarantuje odtworzenia każdego zdarzenia. Wielojęzyczne rozumienie tekstu na obrazach obejmuje angielski i chiński, wiele języków europejskich, japoński, koreański, arabski i wietnamski.
Producent opisuje też integrację z telefonami, robotami i innymi urządzeniami przez obserwacje wizualne i instrukcje tekstowe. Jest to proces aplikacji: model interpretuje środowisko wizualne i pomaga wybierać działania, a podłączone oprogramowanie lub sprzęt je wykonuje. Rozpoznanie ekranu samo w sobie nie daje modelowi kontroli nad nim.
Zmiany architektury
Dynamiczna rozdzielczość przekształca obraz w zmienną liczbę tokenów wizualnych, zamiast narzucać wszystkim wejściom tę samą reprezentację. M-ROPE rozdziela informacje pozycyjne dla tekstu, obrazów dwuwymiarowych i trójwymiarowych informacji wideo, łącząc strukturę przestrzenną i czasową. Opublikowana konfiguracja 7B podaje 32 768 pozycji. Tekst, tokeny wizualne i generowany wynik współdzielą ograniczony budżet sekwencji, dlatego rozdzielczość obrazu i próbkowanie wideo wpływają na ilość materiału możliwą do dołączenia do żądania.
Przygotowanie obrazów i rozmów
Oficjalne przykłady obsługują pojedynczy obraz, kilka obrazów i rozmowy wyłącznie tekstowe. Dołącz obraz z konkretnym pytaniem, zamiast polegać na szerokiej instrukcji typu „przeanalizuj wszystko”. Przy stronie dokumentu poproś o nazwane pola i zachowanie interpunkcji w cytatach. Przy dwóch zrzutach projektu oznacz je jako pierwszy i drugi, a następnie poproś o tabelę widocznych zmian. Przy wykresie zapytaj o etykiety, jednostki i wartości potwierdzające wskazany trend. Są to praktyczne zastosowania odpowiadania na pytania wizualne, a nie obietnice bezbłędnego wyodrębniania danych.
Narzędzia producenta przyjmują obrazy z plików lokalnych, zakodowanych danych obrazu lub lokalizacji obrazów; udokumentowany przykład wideo używa lokalnych plików wideo lub uporządkowanej listy klatek. Formaty przesyłania plików w aplikacji pozostają odrębną decyzją dotyczącą interfejsu. Zachowaj pierwotną kolejność klatek i określ przedział czasowy reprezentowany przez ich listę. Przykłady generują tekst; ten checkpoint nie jest opisany jako generator obrazu lub wideo.
Rozdzielczość i przygotowanie wideo
Procesor Qwen domyślnie używa od czterech do 16 384 tokenów wizualnych na obraz. Udostępnia min_pixels i max_pixels do równoważenia szczegółowości względem pamięci i obliczeń, z udokumentowanym przykładem celującym w 256–1 280 tokenów wizualnych. Obrazy są skalowane w wybranych granicach z zachowaniem proporcji. Jawnie podane wymiary po zmianie rozmiaru są zaokrąglane do wielokrotności 28. Gęsta tabela lub drobny tekst mogą wymagać odpowiedniej rozdzielczości, aby pozostać czytelne; jej zwiększanie zużywa też większą część dostępnego budżetu wizualnego i kontekstu.
Przykład wideo pokazuje próbkowanie z częstotliwością jednej klatki na sekundę i konfigurowalną granicę liczby pikseli. Są to ustawienia przykładowe, a nie uniwersalnie wymagana częstotliwość ani twardy limit mediów. Przy przeglądzie zdarzenia dostarcz odpowiedni klip i poproś o uporządkowany opis widocznych zmian. Zdarzenia blisko siebie mogą wymagać gęstszego próbkowania niż ogólne podsumowanie sceny. Qwen2-VL nie rozumie informacji dźwiękowej wewnątrz wideo, więc mówiony dialog lub efekty dźwiękowe wymagają odrębnego procesu audio.
Znane ograniczenia
Qwen podaje czerwiec 2023 jako datę graniczną danych obrazowych użytych do treningu, bez zapewnienia wiedzy o późniejszych osobach, produktach lub wydarzeniach. Rozpoznawanie konkretnych osób i obiektów własności intelektualnej jest niepełne. Złożone instrukcje wieloetapowe, liczenie obiektów w zatłoczonych scenach i relacje przestrzenne — szczególnie w trzech wymiarach — są udokumentowanymi słabościami. Podziel skomplikowane zadanie wizualne na jasne pytania, poproś o widoczne dowody potwierdzające wynik i sprawdzaj wyodrębnione liczby oraz cytowany tekst względem obrazu. Wiarygodnie brzmiącego opisu nie należy traktować jako dokładnej liczby ani zmierzonego położenia w trzech wymiarach.
Krótkie przykłady generowania w karcie nie ustanawiają odrębnego twardego limitu wyniku. Zaplanuj rozmiar odpowiedzi wraz z tekstem i wejściem wizualnym oraz zachowaj w źródle dość szczegółów dla konkretnego pytania. Dzięki temu wybór modelu i przygotowanie wejścia są bardziej użyteczne niż założenie, że dowolny obraz lub dowolne długie wideo dają równie niezawodną odpowiedź.
POST /v1/messagestextjson, sse| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity Qwen2-VL-7B-Instruct-ultra | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity user, assistant | Domyślnie— |
Polemessages[].content | Typstring | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Tekst · tekst UTF-8
ciąg messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages, max_tokens |
Parametroptional_controls | Kontraktstream |
Parametrmaterial_types | Kontrakttext |
Parametrtext_file_material | KontraktOdczytaj rzeczywisty dokument UTF-8 i umieść jego tekst we wskazanym polu input lub w ciągu treści wiadomości. |
Cykl życia: synchronous_or_streamed
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
| Konfiguracja | Tabela stawek | Opłata |
|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Opłata Wejście · Tokeny wejściowe $0.00058 / 1K tokenów Wyjście · Tokeny wyjściowe $0.00142 / 1K tokenów Wejście · Odczyt cache $0 / 1K tokenów Wejście · Zapis do cache $0 / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
{\n "model": "Qwen2-VL-7B-Instruct-ultra",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'Qwen2-VL-7B-Instruct-ultra', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'Qwen2-VL-7B-Instruct-ultra', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj wszystkie bloki treści, sygnatury myślenia i rzeczywiste ID użycia narzędzi. Złóż wszystkie przyrosty bloków SSE; pierwszy blok tekstowy nie jest pełnym wyjściem.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra Qwen2-VL-7B-Instruct-ultra
Użyj ścieżek metod podanych powyżej.
Przykład techniczny po angielsku
Compare transcribed dashboard changes\n\nCompare these dashboard descriptions supplied as text. First: heading 'Orders', filter 'All dates', total 240. Second: heading 'Orders', filter 'This week', total 38. Return a table of changed and unchanged fields, then explain why the totals alone do not establish a fall in orders. Use only the descriptions and keep the filter labels exact.A field-comparison table and a short explanation of the different date scopes.The result does not treat totals from All dates and This week as comparable periods.