Översikt: en modell för flera indatamodaliteter
Qwen2.5-Omni-7B är Qwens heltäckande multimodala modell för text, bilder, ljud och video. Den kan förstå dessa indata tillsammans och generera text med naturligt tal i ett strömmat arbetsflöde. Använd den när en uppgift beror på både det synliga och det hörbara, eller när användaren ger instruktionen med rösten i stället för att skriva. Detta är exakt 7B-kontrollpunkten; kommersiella Omni-Turbo och senare Omni-utgåvor har egna kontrakt.
Viktiga funktioner och arkitektur
Thinker-Talker-utformningen kombinerar förståelse med talgenerering. Thinker bearbetar den multimodala uppgiften och producerar textinnehåll, medan Talker deltar i att forma det talade svaret. TMRoPE, tillverkarens tidsanpassade multimodala positionsschema, synkroniserar tidsstämplar från video med ljud. Arkitekturen är utformad för indata i block och responsiv röst- eller videointeraktion; detta designmål är ingen garanti för en bestämd svarstid i varje gränssnitt.
Tillverkarens uppgiftsomfattning inkluderar taligenkänning, talöversättning, ljudförståelse, bildresonemang, videoförståelse och talgenerering. Talade instruktioner kan därför ingå direkt i en multimodal fråga utan att alltid kräva en separat tillhandahållen skriven transkription. Håll måluppgiften tydlig: att förstå ett ljudklipp, besvara en talad fråga och generera ett talat svar är skilda användningar även om modellen stöder alla deras indata- eller utdataformer.
Förbereda ett multimodalt samtal
Tillhandahåll relevanta medier och ange hur svaret ska koppla ihop dem. För en demonstration med berättarröst ska modellen ombes skilja de synliga stegen från talarens förklaring och identifiera var de överensstämmer. För en bild med en ljudfråga ska bildens roll anges och ett kortfattat svar grundat i det synliga innehållet begäras. För ett rent ljudutdrag ska det anges om syftet är att känna igen tal, förklara ljud eller besvara en fråga om innehållet. Detta är utformade tillämpningar av de dokumenterade uppgifterna.
Tillverkarens exempel visar samtal med enbart text, enbart ljud, enbart video och blandade medier. Bevara en videos ursprungliga ordning och timing. Märk separata tillgångar så att modellen kan hänvisa till dem utan att behandla orelaterade belägg som en enda händelse. Resultatet kan vara enbart text eller text med tal; välj den användbara artefakten innan begäran förbereds.
Förbereda talutdata
Qwens recept för kontrollpunkten kräver dess dokumenterade systemprompt för ljudförmåga när talutdata behövs. Prompten identifierar Qwen och dess förmågor för hörsel, syn, text och tal; en orelaterad ersättning kan förhindra det förväntade ljudbeteendet. Detta är vägledning för tillverkarens kontrollpunktsflöde, inte ett påstående om att varje applikation exponerar kontroller för systemprompt eller ljudgenerering.
Den specifika kontrollpunkten erbjuder två röster: Chelsie, en varm kvinnlig röst, och Ethan, en livlig manlig röst. Chelsie är dokumenterat standardval när ingen talare väljs. Genereringsexemplet skriver tal med samplingsfrekvensen 24,000 Hz. Dessa två röster ska inte ersättas med beskrivningen av fyra röster för en separat namngiven kommersiell modell.
Använda ljud från video
En videos ljudspår kan vara relevant för dess innebörd, exempelvis talade instruktioner eller ett ljud som uppstår vid en synlig handling. Qwen exponerar use_audio_in_video vid medieförberedelse, bearbetning och generering. Inställningen måste vara konsekvent i alla tre steg och genom ett samtal över flera turer; inkonsekventa inställningar kan ge oväntade resultat. En visuell tolkning av enbart video skiljer sig därför från en audiovisuell tolkning, även när filen är densamma.
Enbart textutdata och batchning
Tillverkaren stöder enbart textutdata genom inställningen return_audio=False. Talker kan också stängas av efter laddning, vilket minskar GPU-minnet med ungefär 2 GB men gör ljudutdata otillgängliga i den instansen. Det dokumenterade batchningsexemplet med blandade prov kräver return_audio=False och kombinerar begäranden med text, bild, ljud och video. Det batchningsexemplet ska inte omvandlas till ett påstående om batchad talgenerering.
Kontext och väsentliga begränsningar
Kontrollpunktens konfiguration för textstommen anger högsta antal positioner till 32,768. Text, representerade medier och genererade svar förbrukar sekvensutrymme; värdet definierar inte självständigt en universell ljud- eller videovaraktighet. Tillverkarens resursexempel visar att längre video behöver betydligt mer minne, så ett kort relevant klipp är ofta mer praktiskt än en stor ovidkommande inspelning. Exemplen publicerar ingen separat hård maximal svarslängd eller universellt garanterad medievaraktighet.
Kontrollera talcitat och slutsatser mot källan, bevara tillräckligt med visuella detaljer för frågan och behåll ett textresultat när en granskare behöver inspektera den talade förklaringen. Modellens dokumenterade värde är gemensam förståelse och text-/talsvar, medan exakta röstkontroller, mediebearbetning och utleverans förblir egenskaper hos det valda gränssnittet.
", "aboutText": "Översikt: en modell för flera indatamodaliteter\n\nQwen2.5-Omni-7B är Qwens heltäckande multimodala modell för text, bilder, ljud och video. Den kan förstå dessa indata tillsammans och generera text med naturligt tal i ett strömmat arbetsflöde. Använd den när en uppgift beror på både det synliga och det hörbara, eller när användaren ger instruktionen med rösten i stället för att skriva. Detta är exakt 7B-kontrollpunkten; kommersiella Omni-Turbo och senare Omni-utgåvor har egna kontrakt.\n\nViktiga funktioner och arkitektur\n\nThinker-Talker-utformningen kombinerar förståelse med talgenerering. Thinker bearbetar den multimodala uppgiften och producerar textinnehåll, medan Talker deltar i att forma det talade svaret. TMRoPE, tillverkarens tidsanpassade multimodala positionsschema, synkroniserar tidsstämplar från video med ljud. Arkitekturen är utformad för indata i block och responsiv röst- eller videointeraktion; detta designmål är ingen garanti för en bestämd svarstid i varje gränssnitt.\n\nTillverkarens uppgiftsomfattning inkluderar taligenkänning, talöversättning, ljudförståelse, bildresonemang, videoförståelse och talgenerering. Talade instruktioner kan därför ingå direkt i en multimodal fråga utan att alltid kräva en separat tillhandahållen skriven transkription. Håll måluppgiften tydlig: att förstå ett ljudklipp, besvara en talad fråga och generera ett talat svar är skilda användningar även om modellen stöder alla deras indata- eller utdataformer.\n\nFörbereda ett multimodalt samtal\n\nTillhandahåll relevanta medier och ange hur svaret ska koppla ihop dem. För en demonstration med berättarröst ska modellen ombes skilja de synliga stegen från talarens förklaring och identifiera var de överensstämmer. För en bild med en ljudfråga ska bildens roll anges och ett kortfattat svar grundat i det synliga innehållet begäras. För ett rent ljudutdrag ska det anges om syftet är att känna igen tal, förklara ljud eller besvara en fråga om innehållet. Detta är utformade tillämpningar av de dokumenterade uppgifterna.\n\nTillverkarens exempel visar samtal med enbart text, enbart ljud, enbart video och blandade medier. Bevara en videos ursprungliga ordning och timing. Märk separata tillgångar så att modellen kan hänvisa till dem utan att behandla orelaterade belägg som en enda händelse. Resultatet kan vara enbart text eller text med tal; välj den användbara artefakten innan begäran förbereds.\n\nFörbereda talutdata\n\nQwens recept för kontrollpunkten kräver dess dokumenterade systemprompt för ljudförmåga när talutdata behövs. Prompten identifierar Qwen och dess förmågor för hörsel, syn, text och tal; en orelaterad ersättning kan förhindra det förväntade ljudbeteendet. Detta är vägledning för tillverkarens kontrollpunktsflöde, inte ett påstående om att varje applikation exponerar kontroller för systemprompt eller ljudgenerering.\n\nDen specifika kontrollpunkten erbjuder två röster: Chelsie, en varm kvinnlig röst, och Ethan, en livlig manlig röst. Chelsie är dokumenterat standardval när ingen talare väljs. Genereringsexemplet skriver tal med samplingsfrekvensen 24,000 Hz. Dessa två röster ska inte ersättas med beskrivningen av fyra röster för en separat namngiven kommersiell modell.\n\nAnvända ljud från video\n\nEn videos ljudspår kan vara relevant för dess innebörd, exempelvis talade instruktioner eller ett ljud som uppstår vid en synlig handling. Qwen exponerar use_audio_in_video vid medieförberedelse, bearbetning och generering. Inställningen måste vara konsekvent i alla tre steg och genom ett samtal över flera turer; inkonsekventa inställningar kan ge oväntade resultat. En visuell tolkning av enbart video skiljer sig därför från en audiovisuell tolkning, även när filen är densamma.\n\nEnbart textutdata och batchning\n\nTillverkaren stöder enbart textutdata genom inställningen return_audio=False. Talker kan också stängas av efter laddning, vilket minskar GPU-minnet med ungefär 2 GB men gör ljudutdata otillgängliga i den instansen. Det dokumenterade batchningsexemplet med blandade prov kräver return_audio=False och kombinerar begäranden med text, bild, ljud och video. Det batchningsexemplet ska inte omvandlas till ett påstående om batchad talgenerering.\n\nKontext och väsentliga begränsningar\n\nKontrollpunktens konfiguration för textstommen anger högsta antal positioner till 32,768. Text, representerade medier och genererade svar förbrukar sekvensutrymme; värdet definierar inte självständigt en universell ljud- eller videovaraktighet. Tillverkarens resursexempel visar att längre video behöver betydligt mer minne, så ett kort relevant klipp är ofta mer praktiskt än en stor ovidkommande inspelning. Exemplen publicerar ingen separat hård maximal svarslängd eller universellt garanterad medievaraktighet.\n\nKontrollera talcitat och slutsatser mot källan, bevara tillräckligt med visuella detaljer för frågan och behåll ett textresultat när en granskare behöver inspektera den talade förklaringen. Modellens dokumenterade värde är gemensam förståelse och text-/talsvar, medan exakta röstkontroller, mediebearbetning och utleverans förblir egenskaper hos det valda gränssnittet.", "editorialOverlay": { "copy_fields": { "practical_html": "Tekniskt exempel på engelska
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.qwen2.5-omni-7bQwen2.5-Omni-7B kombinerar förståelse av text, bilder, ljud och video med textutdata och naturligt tal. Dess Thinker-Talker-arkitektur tidsanpassar ljud till video, stöder strömmad interaktion och erbjuder två dokumenterade röster i exakt denna öppna kontrollpunkt.
Den här beskrivningen omfattar modellens förmågor. Tillgängliga indata, utdata och alternativ i Ailoot anges nedan för den valda metoden.
Översikt: en modell för flera indatamodaliteter
Qwen2.5-Omni-7B är Qwens heltäckande multimodala modell för text, bilder, ljud och video. Den kan förstå dessa indata tillsammans och generera text med naturligt tal i ett strömmat arbetsflöde. Använd den när en uppgift beror på både det synliga och det hörbara, eller när användaren ger instruktionen med rösten i stället för att skriva. Detta är exakt 7B-kontrollpunkten; kommersiella Omni-Turbo och senare Omni-utgåvor har egna kontrakt.
Viktiga funktioner och arkitektur
Thinker-Talker-utformningen kombinerar förståelse med talgenerering. Thinker bearbetar den multimodala uppgiften och producerar textinnehåll, medan Talker deltar i att forma det talade svaret. TMRoPE, tillverkarens tidsanpassade multimodala positionsschema, synkroniserar tidsstämplar från video med ljud. Arkitekturen är utformad för indata i block och responsiv röst- eller videointeraktion; detta designmål är ingen garanti för en bestämd svarstid i varje gränssnitt.
Tillverkarens uppgiftsomfattning inkluderar taligenkänning, talöversättning, ljudförståelse, bildresonemang, videoförståelse och talgenerering. Talade instruktioner kan därför ingå direkt i en multimodal fråga utan att alltid kräva en separat tillhandahållen skriven transkription. Håll måluppgiften tydlig: att förstå ett ljudklipp, besvara en talad fråga och generera ett talat svar är skilda användningar även om modellen stöder alla deras indata- eller utdataformer.
Förbereda ett multimodalt samtal
Tillhandahåll relevanta medier och ange hur svaret ska koppla ihop dem. För en demonstration med berättarröst ska modellen ombes skilja de synliga stegen från talarens förklaring och identifiera var de överensstämmer. För en bild med en ljudfråga ska bildens roll anges och ett kortfattat svar grundat i det synliga innehållet begäras. För ett rent ljudutdrag ska det anges om syftet är att känna igen tal, förklara ljud eller besvara en fråga om innehållet. Detta är utformade tillämpningar av de dokumenterade uppgifterna.
Tillverkarens exempel visar samtal med enbart text, enbart ljud, enbart video och blandade medier. Bevara en videos ursprungliga ordning och timing. Märk separata tillgångar så att modellen kan hänvisa till dem utan att behandla orelaterade belägg som en enda händelse. Resultatet kan vara enbart text eller text med tal; välj den användbara artefakten innan begäran förbereds.
Förbereda talutdata
Qwens recept för kontrollpunkten kräver dess dokumenterade systemprompt för ljudförmåga när talutdata behövs. Prompten identifierar Qwen och dess förmågor för hörsel, syn, text och tal; en orelaterad ersättning kan förhindra det förväntade ljudbeteendet. Detta är vägledning för tillverkarens kontrollpunktsflöde, inte ett påstående om att varje applikation exponerar kontroller för systemprompt eller ljudgenerering.
Den specifika kontrollpunkten erbjuder två röster: Chelsie, en varm kvinnlig röst, och Ethan, en livlig manlig röst. Chelsie är dokumenterat standardval när ingen talare väljs. Genereringsexemplet skriver tal med samplingsfrekvensen 24,000 Hz. Dessa två röster ska inte ersättas med beskrivningen av fyra röster för en separat namngiven kommersiell modell.
Använda ljud från video
En videos ljudspår kan vara relevant för dess innebörd, exempelvis talade instruktioner eller ett ljud som uppstår vid en synlig handling. Qwen exponerar use_audio_in_video vid medieförberedelse, bearbetning och generering. Inställningen måste vara konsekvent i alla tre steg och genom ett samtal över flera turer; inkonsekventa inställningar kan ge oväntade resultat. En visuell tolkning av enbart video skiljer sig därför från en audiovisuell tolkning, även när filen är densamma.
Enbart textutdata och batchning
Tillverkaren stöder enbart textutdata genom inställningen return_audio=False. Talker kan också stängas av efter laddning, vilket minskar GPU-minnet med ungefär 2 GB men gör ljudutdata otillgängliga i den instansen. Det dokumenterade batchningsexemplet med blandade prov kräver return_audio=False och kombinerar begäranden med text, bild, ljud och video. Det batchningsexemplet ska inte omvandlas till ett påstående om batchad talgenerering.
Kontext och väsentliga begränsningar
Kontrollpunktens konfiguration för textstommen anger högsta antal positioner till 32,768. Text, representerade medier och genererade svar förbrukar sekvensutrymme; värdet definierar inte självständigt en universell ljud- eller videovaraktighet. Tillverkarens resursexempel visar att längre video behöver betydligt mer minne, så ett kort relevant klipp är ofta mer praktiskt än en stor ovidkommande inspelning. Exemplen publicerar ingen separat hård maximal svarslängd eller universellt garanterad medievaraktighet.
Kontrollera talcitat och slutsatser mot källan, bevara tillräckligt med visuella detaljer för frågan och behåll ett textresultat när en granskare behöver inspektera den talade förklaringen. Modellens dokumenterade värde är gemensam förståelse och text-/talsvar, medan exakta röstkontroller, mediebearbetning och utleverans förblir egenskaper hos det valda gränssnittet.
POST /v1/chat/completionstexttext| Fält | Typ | Krav | Värden & gränser | Standard |
|---|---|---|---|---|
Fältmodel | Typstring | KravObligatoriskt | Värden & gränser qwen2.5-omni-7b | Standard— |
Fältmessages | Typmessage[] | KravObligatoriskt | Värden & gränser Minsta antal objekt: 1 | Standard— |
Fältmessages[].role | Typstring | KravObligatoriskt | Värden & gränser Exempel: system, user, assistant, tool, function Villkor: Dessa roller representeras uttryckligen av källkodens kompatibilitetstyper; den exakta rolluppsättningen är fortfarande modellspecifik. Beror på modellen | Standard— |
Fältmessages[].content | Typstring|content_part[]|null | KravValfritt | Värden & gränser | Standard— |
Fältmessages[].tool_calls | Typtool_call[] | KravValfritt | Värden & gränser | Standard— |
Fältmessages[].tool_call_id | Typstring | KravValfritt | Värden & gränser Gäller när: role=tool; använd det faktiska returnerade ID:t | Standard— |
Fältmessages[].name | Typstring | KravValfritt | Värden & gränser | Standard— |
Fältmessages[].reasoning_content | Typstring | KravValfritt | Värden & gränser Gäller när: Skicka tillbaka det faktiska returnerade resonemanget när modellen använder det | Standard— |
Fältmessages[].reasoning_details | Typobject|array | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältmax_tokens | Typinteger | KravValfritt | Värden & gränser Minimum: 1 Beror på modellen | Standard— |
Fältmax_completion_tokens | Typinteger | KravValfritt | Värden & gränser Minimum: 1 Beror på modellen | Standard— |
Fältstream | Typboolean | KravValfritt | Värden & gränser | Standardfalse |
Fältstream_options.include_usage | Typboolean | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fälttemperature | Typnumber | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fälttop_p | Typnumber | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältstop | Typstring|string[] | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fälttools | Typfunction_tool[] | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fälttools[].type | Typstring | KravValfritt | Värden & gränser function Beror på modellen | Standard— |
Fälttools[].function.name | Typstring | KravObligatoriskt | Värden & gränser Gäller när: verktyg av typen funktion har tillhandahållits | Standard— |
Fälttools[].function.description | Typstring | KravValfritt | Värden & gränser | Standard— |
Fälttools[].function.parameters | TypJSON_schema | KravValfritt | Värden & gränser | Standard— |
Fälttool_choice | Typstring|object | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältparallel_tool_calls | Typboolean | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältresponse_format | Typobject | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältreasoning_effort | Typstring | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältreasoning | Typobject | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältservice_tier | Typstring | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältinstructions | Typstring | KravValfritt | Värden & gränser Kompatibilitetsfält | Standard— |
Fältfunctions | Typfunction[] | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältfunction_call | Typstring|object | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältprompt_cache_options | Typobject | KravValfritt | Värden & gränser Beror på modellen | Standard— |
Fältmodalities | Typstring[] | KravValfritt | Värden & gränser text | Standard— |
Fältprovider | Typobject | KravValfritt | Värden & gränser Villkor: provider.options avvisas på denna Ultra-textrutt | Standard— |
Fältcache_control.ttl | Typstring | KravValfritt | Värden & gränser Villkor: 1h avvisas på de faktiska platserna för promptcache | Standard— |
Text · UTF8-text
messages[].content
| Parameter | Avtal |
|---|---|
Parametercontent_type | Avtalapplication/json |
Parameterrequired | Avtalmodel, messages |
Parametermaterial_types | Avtaltext |
Parametermessages | Avtalmeddelandearray med strukturen role/content |
Parameterfile_material | Avtaldet faktiska UTF-8-dokumentet infogat som bokstavlig text; inget fil-ID härleds |
Parameteroptional_controls | Avtalstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Avtalmodellspecifikt; användarens funktionsverktyg skiljer sig från värdbaserade verktyg |
Parameteroutput_modalities | Avtaltext |
Parameterhosted_operations | Avtalfalse |
Parametermultimodal_input_binding | Avtalnull |
Livscykel: synchronous_or_streamed
Skicka det exakta modell-ID:t tillsammans med messages.
Kontextlängden är inte en utdatagräns.
En textfil kan tillhandahålla bokstavlig text; bild-/ljud-/filobjektsindata kräver exakt bindning.
Tariffuppgifter lägger inte till begäransalternativ. Parametrar som stöds anges för den valda metoden.
| Konfiguration | Prislista | Avgift |
|---|---|---|
| KonfigurationGrundpriser för token | PrislistaGrundpris | Avgift Indata · Indatatoken $0.0046 / 1K token Utdata · Utdatatoken $0.0138 / 1K token Indata · Cacheläsning $0 / 1K token Indata · Skrivning till cache $0 / 1K token Indata · Skrivning till cache, 1 tim — / 1K token |
Ailoot reserverar ett uppskattat belopp före en begäran. Efter resultatet slutregleras avgiften utifrån uppmätt förbrukning. Slutreglering för strömning använder den slutliga förbrukningsposten. Så fungerar reservation och slutreglering →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen2.5-omni-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Behåll varje fullständigt returnerat svar, fil och innehållsdel.
Behåll varje svarsalternativ och dess innehåll/verktygsanrop/resonemang. Sätt i SSE samman deltauppdateringar efter svarsalternativets/verktygets index och behåll den slutliga avslutsorsaken och användningsuppgifterna.
Behåll begärans/svarets ID:n och huvuden. Ingen generell URL för hämtning av textjobb tillhandahålls.
| Fält | Typ |
|---|---|
Fältchoices[].index | Typinteger |
Fältchoices[].message.content | Typstring|null |
Fältchoices[].message.tool_calls | Typtool_call[] |
Fältchoices[].message.reasoning_content | Typstring |
Fältchoices[].message.reasoning_details | Typobject|array |
Fältchoices[].finish_reason | Typstring|null |
Fältusage | Typobject |
| Svar | Villkor | Nästa steg |
|---|---|---|
Svar400 · invalid_request_error | VillkorOgiltiga obligatoriska fält, ogiltig representation av underlaget eller ogiltigt parametervärde | Nästa stegKorrigera de angivna fälten före en ny begäran om att skapa. |
Ailoot Ultra qwen2.5-omni-7b
Använd metodsökvägarna som visas ovan.
qwen2.5-omni-7bQwen2.5-Omni-7B kombinerar förståelse av text, bilder, ljud och video med textutdata och naturligt tal. Dess Thinker-Talker-arkitektur tidsanpassar ljud till video, stöder strömmad interaktion och erbjuder två dokumenterade röster i exakt denna öppna kontrollpunkt.
Den här beskrivningen omfattar modellens förmågor. Tillgängliga indata, utdata och alternativ i Ailoot anges nedan för den valda metoden.
Översikt: en modell för flera indatamodaliteter
Qwen2.5-Omni-7B är Qwens heltäckande multimodala modell för text, bilder, ljud och video. Den kan förstå dessa indata tillsammans och generera text med naturligt tal i ett strömmat arbetsflöde. Använd den när en uppgift beror på både det synliga och det hörbara, eller när användaren ger instruktionen med rösten i stället för att skriva. Detta är exakt 7B-kontrollpunkten; kommersiella Omni-Turbo och senare Omni-utgåvor har egna kontrakt.
Viktiga funktioner och arkitektur
Thinker-Talker-utformningen kombinerar förståelse med talgenerering. Thinker bearbetar den multimodala uppgiften och producerar textinnehåll, medan Talker deltar i att forma det talade svaret. TMRoPE, tillverkarens tidsanpassade multimodala positionsschema, synkroniserar tidsstämplar från video med ljud. Arkitekturen är utformad för indata i block och responsiv röst- eller videointeraktion; detta designmål är ingen garanti för en bestämd svarstid i varje gränssnitt.
Tillverkarens uppgiftsomfattning inkluderar taligenkänning, talöversättning, ljudförståelse, bildresonemang, videoförståelse och talgenerering. Talade instruktioner kan därför ingå direkt i en multimodal fråga utan att alltid kräva en separat tillhandahållen skriven transkription. Håll måluppgiften tydlig: att förstå ett ljudklipp, besvara en talad fråga och generera ett talat svar är skilda användningar även om modellen stöder alla deras indata- eller utdataformer.
Förbereda ett multimodalt samtal
Tillhandahåll relevanta medier och ange hur svaret ska koppla ihop dem. För en demonstration med berättarröst ska modellen ombes skilja de synliga stegen från talarens förklaring och identifiera var de överensstämmer. För en bild med en ljudfråga ska bildens roll anges och ett kortfattat svar grundat i det synliga innehållet begäras. För ett rent ljudutdrag ska det anges om syftet är att känna igen tal, förklara ljud eller besvara en fråga om innehållet. Detta är utformade tillämpningar av de dokumenterade uppgifterna.
Tillverkarens exempel visar samtal med enbart text, enbart ljud, enbart video och blandade medier. Bevara en videos ursprungliga ordning och timing. Märk separata tillgångar så att modellen kan hänvisa till dem utan att behandla orelaterade belägg som en enda händelse. Resultatet kan vara enbart text eller text med tal; välj den användbara artefakten innan begäran förbereds.
Förbereda talutdata
Qwens recept för kontrollpunkten kräver dess dokumenterade systemprompt för ljudförmåga när talutdata behövs. Prompten identifierar Qwen och dess förmågor för hörsel, syn, text och tal; en orelaterad ersättning kan förhindra det förväntade ljudbeteendet. Detta är vägledning för tillverkarens kontrollpunktsflöde, inte ett påstående om att varje applikation exponerar kontroller för systemprompt eller ljudgenerering.
Den specifika kontrollpunkten erbjuder två röster: Chelsie, en varm kvinnlig röst, och Ethan, en livlig manlig röst. Chelsie är dokumenterat standardval när ingen talare väljs. Genereringsexemplet skriver tal med samplingsfrekvensen 24,000 Hz. Dessa två röster ska inte ersättas med beskrivningen av fyra röster för en separat namngiven kommersiell modell.
Använda ljud från video
En videos ljudspår kan vara relevant för dess innebörd, exempelvis talade instruktioner eller ett ljud som uppstår vid en synlig handling. Qwen exponerar use_audio_in_video vid medieförberedelse, bearbetning och generering. Inställningen måste vara konsekvent i alla tre steg och genom ett samtal över flera turer; inkonsekventa inställningar kan ge oväntade resultat. En visuell tolkning av enbart video skiljer sig därför från en audiovisuell tolkning, även när filen är densamma.
Enbart textutdata och batchning
Tillverkaren stöder enbart textutdata genom inställningen return_audio=False. Talker kan också stängas av efter laddning, vilket minskar GPU-minnet med ungefär 2 GB men gör ljudutdata otillgängliga i den instansen. Det dokumenterade batchningsexemplet med blandade prov kräver return_audio=False och kombinerar begäranden med text, bild, ljud och video. Det batchningsexemplet ska inte omvandlas till ett påstående om batchad talgenerering.
Kontext och väsentliga begränsningar
Kontrollpunktens konfiguration för textstommen anger högsta antal positioner till 32,768. Text, representerade medier och genererade svar förbrukar sekvensutrymme; värdet definierar inte självständigt en universell ljud- eller videovaraktighet. Tillverkarens resursexempel visar att längre video behöver betydligt mer minne, så ett kort relevant klipp är ofta mer praktiskt än en stor ovidkommande inspelning. Exemplen publicerar ingen separat hård maximal svarslängd eller universellt garanterad medievaraktighet.
Kontrollera talcitat och slutsatser mot källan, bevara tillräckligt med visuella detaljer för frågan och behåll ett textresultat när en granskare behöver inspektera den talade förklaringen. Modellens dokumenterade värde är gemensam förståelse och text-/talsvar, medan exakta röstkontroller, mediebearbetning och utleverans förblir egenskaper hos det valda gränssnittet.
POST /v1/messagestextjson, sse| Fält | Typ | Krav | Värden & gränser | Standard |
|---|---|---|---|---|
Fältmodel | Typstring | KravObligatoriskt | Värden & gränser qwen2.5-omni-7b | Standard— |
Fältmessages | Typmessage[] | KravObligatoriskt | Värden & gränser | Standard— |
Fältmessages[].role | Typstring | KravObligatoriskt | Värden & gränser user, assistant | Standard— |
Fältmessages[].content | Typstring | KravObligatoriskt | Värden & gränser | Standard— |
Fältmax_tokens | Typinteger | KravObligatoriskt | Värden & gränser | Standard— |
Fältstream | Typboolean | KravValfritt | Värden & gränser | Standardfalse |
Text · UTF-8-text
sträng i messages[].content
| Parameter | Avtal |
|---|---|
Parametercontent_type | Avtalapplication/json |
Parameterrequired | Avtalmodel, messages, max_tokens |
Parameteroptional_controls | Avtalstream |
Parametermaterial_types | Avtaltext |
Parametertext_file_material | AvtalLäs det faktiska UTF-8-dokumentet och placera texten i det angivna input-fältet eller i strängen för meddelandets innehåll. |
Livscykel: synchronous_or_streamed
Tariffuppgifter lägger inte till begäransalternativ. Parametrar som stöds anges för den valda metoden.
| Konfiguration | Prislista | Avgift |
|---|---|---|
| KonfigurationGrundpriser för token | PrislistaGrundpris | Avgift Indata · Indatatoken $0.0046 / 1K token Utdata · Utdatatoken $0.0138 / 1K token Indata · Cacheläsning $0 / 1K token Indata · Skrivning till cache $0 / 1K token Indata · Skrivning till cache, 1 tim — / 1K token |
Ailoot reserverar ett uppskattat belopp före en begäran. Efter resultatet slutregleras avgiften utifrån uppmätt förbrukning. Slutreglering för strömning använder den slutliga förbrukningsposten. Så fungerar reservation och slutreglering →
{\n "model": "qwen2.5-omni-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Behåll varje fullständigt returnerat svar, fil och innehållsdel.
Behåll alla innehållsblock, resonemangssignaturer och faktiska ID:n för verktygsanvändning. Sätt samman alla SSE-deltauppdateringar för blocken; ett första textblock är inte hela utdata.
Behåll begärans/svarets ID:n och huvuden. Ingen generell URL för hämtning av textjobb tillhandahålls.
| Fält | Typ |
|---|---|
Fältid | Typstring |
Fältmodel | Typstring |
Fältcontent[] | Typtext|thinking|tool_use|other content block |
Fältstop_reason | Typstring|null |
Fältusage | Typobject |
| Svar | Villkor | Nästa steg |
|---|---|---|
Svar400 · invalid_request_error | VillkorOgiltiga obligatoriska fält, ogiltig representation av underlaget eller ogiltigt parametervärde | Nästa stegKorrigera de angivna fälten före en ny begäran om att skapa. |
Ailoot Ultra qwen2.5-omni-7b
Använd metodsökvägarna som visas ovan.
Tekniskt exempel på engelska
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.