Overzicht: één model voor meerdere invoermodaliteiten
Qwen2.5-Omni-7B is Qwens end-to-end multimodale model voor tekst, afbeeldingen, audio en video. Het kan deze invoervormen samen begrijpen en tekst met natuurlijke spraak genereren in een streamingworkflow. Gebruik het wanneer een taak afhangt van zowel wat zichtbaar als wat hoorbaar is, of wanneer de gebruiker de instructie met zijn stem geeft in plaats van te typen. Dit is het exacte 7B-checkpoint; commerciële Omni-Turbo en latere Omni-releases hebben hun eigen afspraken.
Belangrijkste functies en architectuur
Het Thinker-Talker-ontwerp combineert begrip met spraakgeneratie. Thinker verwerkt de multimodale taak en produceert tekstuele inhoud, terwijl Talker meewerkt aan de vorming van het gesproken antwoord. TMRoPE, het op tijd afgestemde multimodale positieschema van de maker, synchroniseert tijdstempels uit video met audio. De architectuur is ontworpen voor invoer in delen en vlotte spraak- of video-interactie; dit ontwerpdoel is geen garantie voor een vaste responstijd in elke interface.
De gedocumenteerde taken van de maker omvatten spraakherkenning, spraakvertaling, audiobegrip, redeneren over afbeeldingen, videobegrip en spraakgeneratie. Gesproken instructies kunnen daardoor rechtstreeks deel uitmaken van een multimodale vraag, zonder dat altijd een afzonderlijk getypt transcript moet worden aangeleverd. Houd de doeltaak duidelijk: een audiofragment begrijpen, een gesproken vraag beantwoorden en een gesproken antwoord genereren zijn verschillende toepassingen, ook al ondersteunt het model al hun invoer- of uitvoervormen.
Een multimodaal gesprek voorbereiden
Lever de relevante media aan en geef aan hoe het antwoord ze moet verbinden. Vraag bij een demonstratie met gesproken uitleg om de zichtbare stappen te onderscheiden van de uitleg van de spreker en aan te geven waar die overeenkomen. Benoem bij een afbeelding met een audiovraag de rol van de afbeelding en vraag om een beknopt antwoord dat op de zichtbare inhoud is gebaseerd. Geef bij een fragment met alleen audio aan of het doel spraakherkenning, het uitleggen van geluiden of het beantwoorden van een vraag over de inhoud is. Dit zijn uitgewerkte toepassingen van de gedocumenteerde taken.
De voorbeelden van de maker tonen gesprekken met alleen tekst, alleen audio, alleen video en gemengde media. Behoud de oorspronkelijke volgorde en timing van een video. Label afzonderlijke bestanden zodat het model ernaar kan verwijzen zonder ongerelateerd bewijsmateriaal als één gebeurtenis te behandelen. Het resultaat kan alleen tekst zijn of tekst met spraak; kies het nuttige eindproduct voordat u het verzoek voorbereidt.
Spraakuitvoer voorbereiden
De checkpointprocedure van Qwen vereist de gedocumenteerde systeemprompt voor audiomogelijkheden wanneer spraakuitvoer nodig is. De prompt identificeert Qwen en zijn mogelijkheden voor audio, visuele invoer, tekst en spraak; een ongerelateerde vervanging kan het verwachte audiogedrag verhinderen. Dit is een richtlijn voor de checkpointworkflow van de maker, geen bewering dat elke toepassing instellingen voor systeemprompts of audiogeneratie beschikbaar stelt.
Het exacte checkpoint biedt twee stemmen: Chelsie, een warme vrouwenstem, en Ethan, een opgewekte mannenstem. Chelsie is de gedocumenteerde standaard wanneer geen spreker wordt geselecteerd. Het generatievoorbeeld schrijft spraak weg met een samplefrequentie van 24,000 Hz. Deze twee stemmen mogen niet worden vervangen door de beschrijving van vier stemmen van een afzonderlijk benoemd commercieel model.
Audio uit video gebruiken
De soundtrack van een video kan relevant zijn voor de betekenis ervan, bijvoorbeeld door gesproken instructies of een geluid dat door een zichtbare handeling wordt veroorzaakt. Qwen biedt use_audio_in_video aan bij mediavoorbereiding, verwerking en generatie. De instelling moet in alle drie de fasen en gedurende een gesprek met meerdere beurten consistent blijven; inconsistente instellingen kunnen onverwachte resultaten opleveren. Een uitsluitend visuele interpretatie van video verschilt dus van een audiovisuele interpretatie, zelfs wanneer het om hetzelfde bestand gaat.
Uitvoer met alleen tekst en batchverwerking
De maker ondersteunt uitvoer met alleen tekst door return_audio=False in te stellen. Ook kan Talker na het laden worden uitgeschakeld, wat het GPU-geheugengebruik met ongeveer 2 GB verlaagt, maar audio-uitvoer in die instantie onmogelijk maakt. Het gedocumenteerde batchvoorbeeld met gemengde voorbeelden vereist return_audio=False en combineert verzoeken met tekst, afbeeldingen, audio en video. Dat batchvoorbeeld mag niet worden uitgelegd als ondersteuning voor spraakgeneratie in batches.
Context en inhoudelijke beperkingen
De configuratie van de tekstbackbone van het checkpoint stelt het maximale aantal posities in op 32,768. Tekst, gerepresenteerde media en gegenereerde antwoorden verbruiken sequentieruimte; deze waarde definieert niet zelfstandig een universele audio- of videoduur. De resourcevoorbeelden van de maker tonen dat langere video aanzienlijk meer geheugen nodig heeft, zodat een kort relevant fragment vaak praktischer is dan een grote ongerelateerde opname. De voorbeelden publiceren geen afzonderlijke harde maximale antwoordlengte of universeel gegarandeerde mediaduur.
Controleer spraakcitaten en conclusies aan de hand van de bron, behoud voldoende visuele details voor de vraag en bewaar een tekstresultaat wanneer een beoordelaar de gesproken uitleg moet kunnen controleren. De gedocumenteerde waarde van het model is gezamenlijk begrip en antwoorden als tekst of spraak, terwijl exacte steminstellingen, mediaverwerking en uitvoerlevering functies van de gekozen interface blijven.
", "aboutText": "Overzicht: één model voor meerdere invoermodaliteiten\n\nQwen2.5-Omni-7B is Qwens end-to-end multimodale model voor tekst, afbeeldingen, audio en video. Het kan deze invoervormen samen begrijpen en tekst met natuurlijke spraak genereren in een streamingworkflow. Gebruik het wanneer een taak afhangt van zowel wat zichtbaar als wat hoorbaar is, of wanneer de gebruiker de instructie met zijn stem geeft in plaats van te typen. Dit is het exacte 7B-checkpoint; commerciële Omni-Turbo en latere Omni-releases hebben hun eigen afspraken.\n\nBelangrijkste functies en architectuur\n\nHet Thinker-Talker-ontwerp combineert begrip met spraakgeneratie. Thinker verwerkt de multimodale taak en produceert tekstuele inhoud, terwijl Talker meewerkt aan de vorming van het gesproken antwoord. TMRoPE, het op tijd afgestemde multimodale positieschema van de maker, synchroniseert tijdstempels uit video met audio. De architectuur is ontworpen voor invoer in delen en vlotte spraak- of video-interactie; dit ontwerpdoel is geen garantie voor een vaste responstijd in elke interface.\n\nDe gedocumenteerde taken van de maker omvatten spraakherkenning, spraakvertaling, audiobegrip, redeneren over afbeeldingen, videobegrip en spraakgeneratie. Gesproken instructies kunnen daardoor rechtstreeks deel uitmaken van een multimodale vraag, zonder dat altijd een afzonderlijk getypt transcript moet worden aangeleverd. Houd de doeltaak duidelijk: een audiofragment begrijpen, een gesproken vraag beantwoorden en een gesproken antwoord genereren zijn verschillende toepassingen, ook al ondersteunt het model al hun invoer- of uitvoervormen.\n\nEen multimodaal gesprek voorbereiden\n\nLever de relevante media aan en geef aan hoe het antwoord ze moet verbinden. Vraag bij een demonstratie met gesproken uitleg om de zichtbare stappen te onderscheiden van de uitleg van de spreker en aan te geven waar die overeenkomen. Benoem bij een afbeelding met een audiovraag de rol van de afbeelding en vraag om een beknopt antwoord dat op de zichtbare inhoud is gebaseerd. Geef bij een fragment met alleen audio aan of het doel spraakherkenning, het uitleggen van geluiden of het beantwoorden van een vraag over de inhoud is. Dit zijn uitgewerkte toepassingen van de gedocumenteerde taken.\n\nDe voorbeelden van de maker tonen gesprekken met alleen tekst, alleen audio, alleen video en gemengde media. Behoud de oorspronkelijke volgorde en timing van een video. Label afzonderlijke bestanden zodat het model ernaar kan verwijzen zonder ongerelateerd bewijsmateriaal als één gebeurtenis te behandelen. Het resultaat kan alleen tekst zijn of tekst met spraak; kies het nuttige eindproduct voordat u het verzoek voorbereidt.\n\nSpraakuitvoer voorbereiden\n\nDe checkpointprocedure van Qwen vereist de gedocumenteerde systeemprompt voor audiomogelijkheden wanneer spraakuitvoer nodig is. De prompt identificeert Qwen en zijn mogelijkheden voor audio, visuele invoer, tekst en spraak; een ongerelateerde vervanging kan het verwachte audiogedrag verhinderen. Dit is een richtlijn voor de checkpointworkflow van de maker, geen bewering dat elke toepassing instellingen voor systeemprompts of audiogeneratie beschikbaar stelt.\n\nHet exacte checkpoint biedt twee stemmen: Chelsie, een warme vrouwenstem, en Ethan, een opgewekte mannenstem. Chelsie is de gedocumenteerde standaard wanneer geen spreker wordt geselecteerd. Het generatievoorbeeld schrijft spraak weg met een samplefrequentie van 24,000 Hz. Deze twee stemmen mogen niet worden vervangen door de beschrijving van vier stemmen van een afzonderlijk benoemd commercieel model.\n\nAudio uit video gebruiken\n\nDe soundtrack van een video kan relevant zijn voor de betekenis ervan, bijvoorbeeld door gesproken instructies of een geluid dat door een zichtbare handeling wordt veroorzaakt. Qwen biedt use_audio_in_video aan bij mediavoorbereiding, verwerking en generatie. De instelling moet in alle drie de fasen en gedurende een gesprek met meerdere beurten consistent blijven; inconsistente instellingen kunnen onverwachte resultaten opleveren. Een uitsluitend visuele interpretatie van video verschilt dus van een audiovisuele interpretatie, zelfs wanneer het om hetzelfde bestand gaat.\n\nUitvoer met alleen tekst en batchverwerking\n\nDe maker ondersteunt uitvoer met alleen tekst door return_audio=False in te stellen. Ook kan Talker na het laden worden uitgeschakeld, wat het GPU-geheugengebruik met ongeveer 2 GB verlaagt, maar audio-uitvoer in die instantie onmogelijk maakt. Het gedocumenteerde batchvoorbeeld met gemengde voorbeelden vereist return_audio=False en combineert verzoeken met tekst, afbeeldingen, audio en video. Dat batchvoorbeeld mag niet worden uitgelegd als ondersteuning voor spraakgeneratie in batches.\n\nContext en inhoudelijke beperkingen\n\nDe configuratie van de tekstbackbone van het checkpoint stelt het maximale aantal posities in op 32,768. Tekst, gerepresenteerde media en gegenereerde antwoorden verbruiken sequentieruimte; deze waarde definieert niet zelfstandig een universele audio- of videoduur. De resourcevoorbeelden van de maker tonen dat langere video aanzienlijk meer geheugen nodig heeft, zodat een kort relevant fragment vaak praktischer is dan een grote ongerelateerde opname. De voorbeelden publiceren geen afzonderlijke harde maximale antwoordlengte of universeel gegarandeerde mediaduur.\n\nControleer spraakcitaten en conclusies aan de hand van de bron, behoud voldoende visuele details voor de vraag en bewaar een tekstresultaat wanneer een beoordelaar de gesproken uitleg moet kunnen controleren. De gedocumenteerde waarde van het model is gezamenlijk begrip en antwoorden als tekst of spraak, terwijl exacte steminstellingen, mediaverwerking en uitvoerlevering functies van de gekozen interface blijven.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisch voorbeeld in het Engels
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.qwen2.5-omni-7bQwen2.5-Omni-7B combineert begrip van tekst, afbeeldingen, audio en video met uitvoer als tekst en natuurlijke spraak. De Thinker-Talker-architectuur stemt audio af op de videotiming, ondersteunt gestreamde interactie en biedt twee gedocumenteerde stemmen in dit exacte open checkpoint.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Overzicht: één model voor meerdere invoermodaliteiten
Qwen2.5-Omni-7B is Qwens end-to-end multimodale model voor tekst, afbeeldingen, audio en video. Het kan deze invoervormen samen begrijpen en tekst met natuurlijke spraak genereren in een streamingworkflow. Gebruik het wanneer een taak afhangt van zowel wat zichtbaar als wat hoorbaar is, of wanneer de gebruiker de instructie met zijn stem geeft in plaats van te typen. Dit is het exacte 7B-checkpoint; commerciële Omni-Turbo en latere Omni-releases hebben hun eigen afspraken.
Belangrijkste functies en architectuur
Het Thinker-Talker-ontwerp combineert begrip met spraakgeneratie. Thinker verwerkt de multimodale taak en produceert tekstuele inhoud, terwijl Talker meewerkt aan de vorming van het gesproken antwoord. TMRoPE, het op tijd afgestemde multimodale positieschema van de maker, synchroniseert tijdstempels uit video met audio. De architectuur is ontworpen voor invoer in delen en vlotte spraak- of video-interactie; dit ontwerpdoel is geen garantie voor een vaste responstijd in elke interface.
De gedocumenteerde taken van de maker omvatten spraakherkenning, spraakvertaling, audiobegrip, redeneren over afbeeldingen, videobegrip en spraakgeneratie. Gesproken instructies kunnen daardoor rechtstreeks deel uitmaken van een multimodale vraag, zonder dat altijd een afzonderlijk getypt transcript moet worden aangeleverd. Houd de doeltaak duidelijk: een audiofragment begrijpen, een gesproken vraag beantwoorden en een gesproken antwoord genereren zijn verschillende toepassingen, ook al ondersteunt het model al hun invoer- of uitvoervormen.
Een multimodaal gesprek voorbereiden
Lever de relevante media aan en geef aan hoe het antwoord ze moet verbinden. Vraag bij een demonstratie met gesproken uitleg om de zichtbare stappen te onderscheiden van de uitleg van de spreker en aan te geven waar die overeenkomen. Benoem bij een afbeelding met een audiovraag de rol van de afbeelding en vraag om een beknopt antwoord dat op de zichtbare inhoud is gebaseerd. Geef bij een fragment met alleen audio aan of het doel spraakherkenning, het uitleggen van geluiden of het beantwoorden van een vraag over de inhoud is. Dit zijn uitgewerkte toepassingen van de gedocumenteerde taken.
De voorbeelden van de maker tonen gesprekken met alleen tekst, alleen audio, alleen video en gemengde media. Behoud de oorspronkelijke volgorde en timing van een video. Label afzonderlijke bestanden zodat het model ernaar kan verwijzen zonder ongerelateerd bewijsmateriaal als één gebeurtenis te behandelen. Het resultaat kan alleen tekst zijn of tekst met spraak; kies het nuttige eindproduct voordat u het verzoek voorbereidt.
Spraakuitvoer voorbereiden
De checkpointprocedure van Qwen vereist de gedocumenteerde systeemprompt voor audiomogelijkheden wanneer spraakuitvoer nodig is. De prompt identificeert Qwen en zijn mogelijkheden voor audio, visuele invoer, tekst en spraak; een ongerelateerde vervanging kan het verwachte audiogedrag verhinderen. Dit is een richtlijn voor de checkpointworkflow van de maker, geen bewering dat elke toepassing instellingen voor systeemprompts of audiogeneratie beschikbaar stelt.
Het exacte checkpoint biedt twee stemmen: Chelsie, een warme vrouwenstem, en Ethan, een opgewekte mannenstem. Chelsie is de gedocumenteerde standaard wanneer geen spreker wordt geselecteerd. Het generatievoorbeeld schrijft spraak weg met een samplefrequentie van 24,000 Hz. Deze twee stemmen mogen niet worden vervangen door de beschrijving van vier stemmen van een afzonderlijk benoemd commercieel model.
Audio uit video gebruiken
De soundtrack van een video kan relevant zijn voor de betekenis ervan, bijvoorbeeld door gesproken instructies of een geluid dat door een zichtbare handeling wordt veroorzaakt. Qwen biedt use_audio_in_video aan bij mediavoorbereiding, verwerking en generatie. De instelling moet in alle drie de fasen en gedurende een gesprek met meerdere beurten consistent blijven; inconsistente instellingen kunnen onverwachte resultaten opleveren. Een uitsluitend visuele interpretatie van video verschilt dus van een audiovisuele interpretatie, zelfs wanneer het om hetzelfde bestand gaat.
Uitvoer met alleen tekst en batchverwerking
De maker ondersteunt uitvoer met alleen tekst door return_audio=False in te stellen. Ook kan Talker na het laden worden uitgeschakeld, wat het GPU-geheugengebruik met ongeveer 2 GB verlaagt, maar audio-uitvoer in die instantie onmogelijk maakt. Het gedocumenteerde batchvoorbeeld met gemengde voorbeelden vereist return_audio=False en combineert verzoeken met tekst, afbeeldingen, audio en video. Dat batchvoorbeeld mag niet worden uitgelegd als ondersteuning voor spraakgeneratie in batches.
Context en inhoudelijke beperkingen
De configuratie van de tekstbackbone van het checkpoint stelt het maximale aantal posities in op 32,768. Tekst, gerepresenteerde media en gegenereerde antwoorden verbruiken sequentieruimte; deze waarde definieert niet zelfstandig een universele audio- of videoduur. De resourcevoorbeelden van de maker tonen dat langere video aanzienlijk meer geheugen nodig heeft, zodat een kort relevant fragment vaak praktischer is dan een grote ongerelateerde opname. De voorbeelden publiceren geen afzonderlijke harde maximale antwoordlengte of universeel gegarandeerde mediaduur.
Controleer spraakcitaten en conclusies aan de hand van de bron, behoud voldoende visuele details voor de vraag en bewaar een tekstresultaat wanneer een beoordelaar de gesproken uitleg moet kunnen controleren. De gedocumenteerde waarde van het model is gezamenlijk begrip en antwoorden als tekst of spraak, terwijl exacte steminstellingen, mediaverwerking en uitvoerlevering functies van de gekozen interface blijven.
POST /v1/chat/completionstexttext| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten qwen2.5-omni-7b | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten Minimumaantal items: 1 | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten Voorbeelden: system, user, assistant, tool, function Voorwaarden: Deze rollen worden expliciet weergegeven door compatibiliteitstypen in de broncode; de exacte rollenverzameling van het model blijft modelspecifiek. Afhankelijk van het model | Standaard— |
Veldmessages[].content | Typestring|content_part[]|null | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_calls | Typetool_call[] | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_call_id | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: role=tool; gebruik het werkelijk teruggegeven ID | Standaard— |
Veldmessages[].name | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].reasoning_content | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: Stuur de werkelijk teruggegeven redeneringen terug wanneer dit model ze gebruikt | Standaard— |
Veldmessages[].reasoning_details | Typeobject|array | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmax_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldmax_completion_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Veldstream_options.include_usage | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtemperature | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtop_p | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldstop | Typestring|string[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools | Typefunction_tool[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools[].type | Typestring | VereisteOptioneel | Waarden en limieten function Afhankelijk van het model | Standaard— |
Veldtools[].function.name | Typestring | VereisteVereist | Waarden en limieten Geldt wanneer: functietool opgegeven | Standaard— |
Veldtools[].function.description | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtools[].function.parameters | TypeJSON_schema | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtool_choice | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldparallel_tool_calls | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldresponse_format | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning_effort | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldservice_tier | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldinstructions | Typestring | VereisteOptioneel | Waarden en limieten Compatibiliteitsveld | Standaard— |
Veldfunctions | Typefunction[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldfunction_call | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldprompt_cache_options | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmodalities | Typestring[] | VereisteOptioneel | Waarden en limieten text | Standaard— |
Veldprovider | Typeobject | VereisteOptioneel | Waarden en limieten Voorwaarden: provider.options wordt op deze Ultra-tekstroute geweigerd | Standaard— |
Veldcache_control.ttl | Typestring | VereisteOptioneel | Waarden en limieten Voorwaarden: 1h wordt op de daadwerkelijke locaties voor promptcaching geweigerd | Standaard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages |
Parametermaterial_types | Contracttext |
Parametermessages | Contractberichtenarray met de structuur role/content |
Parameterfile_material | Contractwerkelijk UTF-8-document ingevoegd als letterlijke tekst; er wordt geen bestands-ID afgeleid |
Parameteroptional_controls | Contractstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Contractmodelspecifiek; functietools van de gebruiker verschillen van gehoste tools |
Parameteroutput_modalities | Contracttext |
Parameterhosted_operations | Contractfalse |
Parametermultimodal_input_binding | Contractnull |
Levenscyclus: synchronous_or_streamed
Stuur het exacte model-ID mee met messages.
Contextlengte is geen uitvoerlimiet.
Een tekstbestand kan letterlijke tekst aanleveren; beeld-, audio- en bestandsobjectinvoer vereisen een exacte koppeling.
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
| Configuratie | Tariefstaffel | Kosten |
|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Kosten Invoer · Invoertokens $0.0046 / 1K tokens Uitvoer · Uitvoertokens $0.0138 / 1K tokens Invoer · Cache lezen $0 / 1K tokens Invoer · Cache schrijven $0 / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen2.5-omni-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar elke keuze en de bijbehorende inhoud, toolaanroepen en redeneringen. Voeg in SSE delta’s samen per keuze-/toolindex en bewaar de uiteindelijke reden van beëindiging en de verbruiksgegevens.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldchoices[].index | Typeinteger |
Veldchoices[].message.content | Typestring|null |
Veldchoices[].message.tool_calls | Typetool_call[] |
Veldchoices[].message.reasoning_content | Typestring |
Veldchoices[].message.reasoning_details | Typeobject|array |
Veldchoices[].finish_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra qwen2.5-omni-7b
Gebruik de hierboven getoonde methodepaden.
qwen2.5-omni-7bQwen2.5-Omni-7B combineert begrip van tekst, afbeeldingen, audio en video met uitvoer als tekst en natuurlijke spraak. De Thinker-Talker-architectuur stemt audio af op de videotiming, ondersteunt gestreamde interactie en biedt twee gedocumenteerde stemmen in dit exacte open checkpoint.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Overzicht: één model voor meerdere invoermodaliteiten
Qwen2.5-Omni-7B is Qwens end-to-end multimodale model voor tekst, afbeeldingen, audio en video. Het kan deze invoervormen samen begrijpen en tekst met natuurlijke spraak genereren in een streamingworkflow. Gebruik het wanneer een taak afhangt van zowel wat zichtbaar als wat hoorbaar is, of wanneer de gebruiker de instructie met zijn stem geeft in plaats van te typen. Dit is het exacte 7B-checkpoint; commerciële Omni-Turbo en latere Omni-releases hebben hun eigen afspraken.
Belangrijkste functies en architectuur
Het Thinker-Talker-ontwerp combineert begrip met spraakgeneratie. Thinker verwerkt de multimodale taak en produceert tekstuele inhoud, terwijl Talker meewerkt aan de vorming van het gesproken antwoord. TMRoPE, het op tijd afgestemde multimodale positieschema van de maker, synchroniseert tijdstempels uit video met audio. De architectuur is ontworpen voor invoer in delen en vlotte spraak- of video-interactie; dit ontwerpdoel is geen garantie voor een vaste responstijd in elke interface.
De gedocumenteerde taken van de maker omvatten spraakherkenning, spraakvertaling, audiobegrip, redeneren over afbeeldingen, videobegrip en spraakgeneratie. Gesproken instructies kunnen daardoor rechtstreeks deel uitmaken van een multimodale vraag, zonder dat altijd een afzonderlijk getypt transcript moet worden aangeleverd. Houd de doeltaak duidelijk: een audiofragment begrijpen, een gesproken vraag beantwoorden en een gesproken antwoord genereren zijn verschillende toepassingen, ook al ondersteunt het model al hun invoer- of uitvoervormen.
Een multimodaal gesprek voorbereiden
Lever de relevante media aan en geef aan hoe het antwoord ze moet verbinden. Vraag bij een demonstratie met gesproken uitleg om de zichtbare stappen te onderscheiden van de uitleg van de spreker en aan te geven waar die overeenkomen. Benoem bij een afbeelding met een audiovraag de rol van de afbeelding en vraag om een beknopt antwoord dat op de zichtbare inhoud is gebaseerd. Geef bij een fragment met alleen audio aan of het doel spraakherkenning, het uitleggen van geluiden of het beantwoorden van een vraag over de inhoud is. Dit zijn uitgewerkte toepassingen van de gedocumenteerde taken.
De voorbeelden van de maker tonen gesprekken met alleen tekst, alleen audio, alleen video en gemengde media. Behoud de oorspronkelijke volgorde en timing van een video. Label afzonderlijke bestanden zodat het model ernaar kan verwijzen zonder ongerelateerd bewijsmateriaal als één gebeurtenis te behandelen. Het resultaat kan alleen tekst zijn of tekst met spraak; kies het nuttige eindproduct voordat u het verzoek voorbereidt.
Spraakuitvoer voorbereiden
De checkpointprocedure van Qwen vereist de gedocumenteerde systeemprompt voor audiomogelijkheden wanneer spraakuitvoer nodig is. De prompt identificeert Qwen en zijn mogelijkheden voor audio, visuele invoer, tekst en spraak; een ongerelateerde vervanging kan het verwachte audiogedrag verhinderen. Dit is een richtlijn voor de checkpointworkflow van de maker, geen bewering dat elke toepassing instellingen voor systeemprompts of audiogeneratie beschikbaar stelt.
Het exacte checkpoint biedt twee stemmen: Chelsie, een warme vrouwenstem, en Ethan, een opgewekte mannenstem. Chelsie is de gedocumenteerde standaard wanneer geen spreker wordt geselecteerd. Het generatievoorbeeld schrijft spraak weg met een samplefrequentie van 24,000 Hz. Deze twee stemmen mogen niet worden vervangen door de beschrijving van vier stemmen van een afzonderlijk benoemd commercieel model.
Audio uit video gebruiken
De soundtrack van een video kan relevant zijn voor de betekenis ervan, bijvoorbeeld door gesproken instructies of een geluid dat door een zichtbare handeling wordt veroorzaakt. Qwen biedt use_audio_in_video aan bij mediavoorbereiding, verwerking en generatie. De instelling moet in alle drie de fasen en gedurende een gesprek met meerdere beurten consistent blijven; inconsistente instellingen kunnen onverwachte resultaten opleveren. Een uitsluitend visuele interpretatie van video verschilt dus van een audiovisuele interpretatie, zelfs wanneer het om hetzelfde bestand gaat.
Uitvoer met alleen tekst en batchverwerking
De maker ondersteunt uitvoer met alleen tekst door return_audio=False in te stellen. Ook kan Talker na het laden worden uitgeschakeld, wat het GPU-geheugengebruik met ongeveer 2 GB verlaagt, maar audio-uitvoer in die instantie onmogelijk maakt. Het gedocumenteerde batchvoorbeeld met gemengde voorbeelden vereist return_audio=False en combineert verzoeken met tekst, afbeeldingen, audio en video. Dat batchvoorbeeld mag niet worden uitgelegd als ondersteuning voor spraakgeneratie in batches.
Context en inhoudelijke beperkingen
De configuratie van de tekstbackbone van het checkpoint stelt het maximale aantal posities in op 32,768. Tekst, gerepresenteerde media en gegenereerde antwoorden verbruiken sequentieruimte; deze waarde definieert niet zelfstandig een universele audio- of videoduur. De resourcevoorbeelden van de maker tonen dat langere video aanzienlijk meer geheugen nodig heeft, zodat een kort relevant fragment vaak praktischer is dan een grote ongerelateerde opname. De voorbeelden publiceren geen afzonderlijke harde maximale antwoordlengte of universeel gegarandeerde mediaduur.
Controleer spraakcitaten en conclusies aan de hand van de bron, behoud voldoende visuele details voor de vraag en bewaar een tekstresultaat wanneer een beoordelaar de gesproken uitleg moet kunnen controleren. De gedocumenteerde waarde van het model is gezamenlijk begrip en antwoorden als tekst of spraak, terwijl exacte steminstellingen, mediaverwerking en uitvoerlevering functies van de gekozen interface blijven.
POST /v1/messagestextjson, sse| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten qwen2.5-omni-7b | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten user, assistant | Standaard— |
Veldmessages[].content | Typestring | VereisteVereist | Waarden en limieten | Standaard— |
Veldmax_tokens | Typeinteger | VereisteVereist | Waarden en limieten | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Tekst · UTF-8-tekst
messages[].content als tekenreeks
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages, max_tokens |
Parameteroptional_controls | Contractstream |
Parametermaterial_types | Contracttext |
Parametertext_file_material | ContractLees het werkelijke UTF-8-document en plaats de tekst ervan in de aangegeven invoer of in de inhoudstekenreeks van een bericht. |
Levenscyclus: synchronous_or_streamed
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
| Configuratie | Tariefstaffel | Kosten |
|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Kosten Invoer · Invoertokens $0.0046 / 1K tokens Uitvoer · Uitvoertokens $0.0138 / 1K tokens Invoer · Cache lezen $0 / 1K tokens Invoer · Cache schrijven $0 / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
{\n "model": "qwen2.5-omni-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar alle inhoudsblokken, handtekeningen van redeneringen en werkelijke toolgebruik-ID’s. Voeg alle SSE-blokdelta’s samen; het eerste tekstblok is niet de volledige uitvoer.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldid | Typestring |
Veldmodel | Typestring |
Veldcontent[] | Typetext|thinking|tool_use|other content block |
Veldstop_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra qwen2.5-omni-7b
Gebruik de hierboven getoonde methodepaden.
Technisch voorbeeld in het Engels
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.