Gambaran keseluruhan: satu model untuk beberapa modaliti input
Qwen2.5-Omni-7B ialah model multimodal hujung ke hujung Qwen untuk teks, imej, audio dan video. Ia boleh memahami input ini bersama-sama dan menjana teks dengan pertuturan semula jadi dalam aliran kerja penstriman. Gunakannya apabila tugas bergantung pada perkara yang kelihatan serta yang didengar, atau apabila pengguna memberikan arahan melalui suara dan bukannya menaip. Ini ialah checkpoint 7B tepat; Omni-Turbo komersial dan keluaran Omni kemudian mempunyai kontrak tersendiri.
Ciri utama dan seni bina
Reka bentuk Thinker-Talker menggabungkan pemahaman dengan penjanaan pertuturan. Thinker memproses tugas multimodal dan menghasilkan kandungan teks, manakala Talker mengambil bahagian dalam pembentukan respons pertuturan. TMRoPE, skema kedudukan multimodal sejajar masa pembuat, menyegerakkan cap masa video dengan audio. Seni bina direka untuk input bercebisan dan interaksi suara atau video yang responsif; matlamat reka bentuk ini bukan jaminan masa respons tetap bagi setiap antara muka.
Liputan tugas pembuat merangkumi pengecaman pertuturan, terjemahan pertuturan, pemahaman audio, penaakulan imej, pemahaman video dan penjanaan pertuturan. Oleh itu, arahan pertuturan boleh terlibat terus dalam soalan multimodal, tanpa sentiasa memerlukan transkrip bertaip yang dibekalkan secara berasingan. Pastikan tugas sasaran jelas: memahami klip audio, menjawab soalan lisan dan menjana jawapan pertuturan ialah penggunaan berbeza walaupun model menyokong semua bentuk input atau output tersebut.
Menyediakan perbualan multimodal
Berikan media berkaitan dan nyatakan cara jawapan perlu menghubungkannya. Untuk demonstrasi dengan penerangan lisan, minta model membezakan langkah yang kelihatan daripada penjelasan penutur dan mengenal pasti bahagian yang sepadan. Untuk gambar bersama soalan audio, kenal pasti peranan imej dan minta jawapan ringkas yang berasaskan kandungan kelihatan. Untuk petikan audio sahaja, nyatakan sama ada matlamatnya ialah mengecam pertuturan, menerangkan bunyi atau menjawab soalan tentang kandungan. Ini ialah aplikasi yang dirangka berdasarkan liputan tugas yang didokumenkan.
Contoh pembuat menunjukkan perbualan teks sahaja, audio sahaja, video sahaja dan media campuran. Kekalkan susunan serta masa asal video. Labelkan aset berasingan supaya model boleh merujuknya tanpa menganggap bukti tidak berkaitan sebagai satu peristiwa. Hasil boleh berupa teks sahaja atau teks bersama pertuturan; pilih artifak yang berguna sebelum menyediakan permintaan.
Penyediaan output pertuturan
Resipi checkpoint Qwen memerlukan prompt sistem keupayaan audio yang didokumenkannya apabila output pertuturan diperlukan. Prompt itu mengenal pasti Qwen dan keupayaan pendengaran, visual, teks serta pertuturannya; penggantian yang tidak berkaitan boleh menghalang tingkah laku audio yang dijangka. Ini ialah panduan bagi aliran kerja checkpoint pembuat, bukannya dakwaan bahawa setiap aplikasi menyediakan kawalan prompt sistem atau penjanaan audio.
Checkpoint tepat ini menawarkan dua suara: Chelsie, suara wanita yang mesra, dan Ethan, suara lelaki yang ceria. Chelsie ialah suara lalai yang didokumenkan apabila tiada penutur dipilih. Contoh penjanaannya menulis pertuturan pada kadar sampel 24,000 Hz. Dua suara ini tidak patut digantikan dengan huraian empat suara model komersial bernama berasingan.
Menggunakan audio daripada video
Runut bunyi video boleh berkaitan dengan maknanya, seperti arahan lisan atau bunyi yang dihasilkan tindakan kelihatan. Qwen menyediakan use_audio_in_video merentas penyediaan media, pemprosesan dan penjanaan. Tetapan mesti kekal konsisten pada ketiga-tiga peringkat serta sepanjang perbualan berbilang giliran; tetapan tidak konsisten boleh menghasilkan hasil yang tidak dijangka. Oleh itu, tafsiran visual video sahaja berbeza daripada tafsiran audiovisual, walaupun failnya sama.
Output teks sahaja dan pengelompokan
Pembuat menyokong output teks sahaja dengan menetapkan return_audio=False. Ia turut membenarkan Talker dinyahdayakan selepas pemuatan, mengurangkan memori GPU sebanyak kira-kira 2 GB tetapi menjadikan output audio tidak tersedia dalam instans itu. Contoh pengelompokan sampel campuran yang didokumenkan memerlukan return_audio=False dan menggabungkan permintaan teks, imej, audio serta video. Contoh kelompok itu tidak patut dinaikkan menjadi dakwaan penjanaan pertuturan secara kelompok.
Konteks dan had utama
Konfigurasi komponen teras teks checkpoint menetapkan kedudukan maksimum kepada 32,768. Teks, perwakilan media dan respons dijana menggunakan ruang urutan; nilai ini tidak mentakrifkan tempoh audio atau video sejagat secara bebas. Contoh sumber pembuat menunjukkan bahawa video lebih panjang memerlukan lebih banyak memori secara ketara, maka klip pendek yang berkaitan selalunya lebih praktikal daripada rakaman besar yang tidak berkaitan. Contohnya tidak menerbitkan had maksimum mutlak panjang jawapan yang berasingan atau tempoh media yang dijamin secara sejagat.
Periksa petikan pertuturan dan kesimpulan berdasarkan sumber, kekalkan butiran visual yang mencukupi untuk soalan, dan simpan hasil teks apabila penyemak perlu memeriksa penjelasan lisan. Nilai model yang didokumenkan ialah pemahaman bersepadu dan respons teks/pertuturan, manakala kawalan suara tepat, pemprosesan media dan penyampaian output kekal sebagai ciri antara muka yang dipilih.
", "aboutText": "Gambaran keseluruhan: satu model untuk beberapa modaliti input\n\nQwen2.5-Omni-7B ialah model multimodal hujung ke hujung Qwen untuk teks, imej, audio dan video. Ia boleh memahami input ini bersama-sama dan menjana teks dengan pertuturan semula jadi dalam aliran kerja penstriman. Gunakannya apabila tugas bergantung pada perkara yang kelihatan serta yang didengar, atau apabila pengguna memberikan arahan melalui suara dan bukannya menaip. Ini ialah checkpoint 7B tepat; Omni-Turbo komersial dan keluaran Omni kemudian mempunyai kontrak tersendiri.\n\nCiri utama dan seni bina\n\nReka bentuk Thinker-Talker menggabungkan pemahaman dengan penjanaan pertuturan. Thinker memproses tugas multimodal dan menghasilkan kandungan teks, manakala Talker mengambil bahagian dalam pembentukan respons pertuturan. TMRoPE, skema kedudukan multimodal sejajar masa pembuat, menyegerakkan cap masa video dengan audio. Seni bina direka untuk input bercebisan dan interaksi suara atau video yang responsif; matlamat reka bentuk ini bukan jaminan masa respons tetap bagi setiap antara muka.\n\nLiputan tugas pembuat merangkumi pengecaman pertuturan, terjemahan pertuturan, pemahaman audio, penaakulan imej, pemahaman video dan penjanaan pertuturan. Oleh itu, arahan pertuturan boleh terlibat terus dalam soalan multimodal, tanpa sentiasa memerlukan transkrip bertaip yang dibekalkan secara berasingan. Pastikan tugas sasaran jelas: memahami klip audio, menjawab soalan lisan dan menjana jawapan pertuturan ialah penggunaan berbeza walaupun model menyokong semua bentuk input atau output tersebut.\n\nMenyediakan perbualan multimodal\n\nBerikan media berkaitan dan nyatakan cara jawapan perlu menghubungkannya. Untuk demonstrasi dengan penerangan lisan, minta model membezakan langkah yang kelihatan daripada penjelasan penutur dan mengenal pasti bahagian yang sepadan. Untuk gambar bersama soalan audio, kenal pasti peranan imej dan minta jawapan ringkas yang berasaskan kandungan kelihatan. Untuk petikan audio sahaja, nyatakan sama ada matlamatnya ialah mengecam pertuturan, menerangkan bunyi atau menjawab soalan tentang kandungan. Ini ialah aplikasi yang dirangka berdasarkan liputan tugas yang didokumenkan.\n\nContoh pembuat menunjukkan perbualan teks sahaja, audio sahaja, video sahaja dan media campuran. Kekalkan susunan serta masa asal video. Labelkan aset berasingan supaya model boleh merujuknya tanpa menganggap bukti tidak berkaitan sebagai satu peristiwa. Hasil boleh berupa teks sahaja atau teks bersama pertuturan; pilih artifak yang berguna sebelum menyediakan permintaan.\n\nPenyediaan output pertuturan\n\nResipi checkpoint Qwen memerlukan prompt sistem keupayaan audio yang didokumenkannya apabila output pertuturan diperlukan. Prompt itu mengenal pasti Qwen dan keupayaan pendengaran, visual, teks serta pertuturannya; penggantian yang tidak berkaitan boleh menghalang tingkah laku audio yang dijangka. Ini ialah panduan bagi aliran kerja checkpoint pembuat, bukannya dakwaan bahawa setiap aplikasi menyediakan kawalan prompt sistem atau penjanaan audio.\n\nCheckpoint tepat ini menawarkan dua suara: Chelsie, suara wanita yang mesra, dan Ethan, suara lelaki yang ceria. Chelsie ialah suara lalai yang didokumenkan apabila tiada penutur dipilih. Contoh penjanaannya menulis pertuturan pada kadar sampel 24,000 Hz. Dua suara ini tidak patut digantikan dengan huraian empat suara model komersial bernama berasingan.\n\nMenggunakan audio daripada video\n\nRunut bunyi video boleh berkaitan dengan maknanya, seperti arahan lisan atau bunyi yang dihasilkan tindakan kelihatan. Qwen menyediakan use_audio_in_video merentas penyediaan media, pemprosesan dan penjanaan. Tetapan mesti kekal konsisten pada ketiga-tiga peringkat serta sepanjang perbualan berbilang giliran; tetapan tidak konsisten boleh menghasilkan hasil yang tidak dijangka. Oleh itu, tafsiran visual video sahaja berbeza daripada tafsiran audiovisual, walaupun failnya sama.\n\nOutput teks sahaja dan pengelompokan\n\nPembuat menyokong output teks sahaja dengan menetapkan return_audio=False. Ia turut membenarkan Talker dinyahdayakan selepas pemuatan, mengurangkan memori GPU sebanyak kira-kira 2 GB tetapi menjadikan output audio tidak tersedia dalam instans itu. Contoh pengelompokan sampel campuran yang didokumenkan memerlukan return_audio=False dan menggabungkan permintaan teks, imej, audio serta video. Contoh kelompok itu tidak patut dinaikkan menjadi dakwaan penjanaan pertuturan secara kelompok.\n\nKonteks dan had utama\n\nKonfigurasi komponen teras teks checkpoint menetapkan kedudukan maksimum kepada 32,768. Teks, perwakilan media dan respons dijana menggunakan ruang urutan; nilai ini tidak mentakrifkan tempoh audio atau video sejagat secara bebas. Contoh sumber pembuat menunjukkan bahawa video lebih panjang memerlukan lebih banyak memori secara ketara, maka klip pendek yang berkaitan selalunya lebih praktikal daripada rakaman besar yang tidak berkaitan. Contohnya tidak menerbitkan had maksimum mutlak panjang jawapan yang berasingan atau tempoh media yang dijamin secara sejagat.\n\nPeriksa petikan pertuturan dan kesimpulan berdasarkan sumber, kekalkan butiran visual yang mencukupi untuk soalan, dan simpan hasil teks apabila penyemak perlu memeriksa penjelasan lisan. Nilai model yang didokumenkan ialah pemahaman bersepadu dan respons teks/pertuturan, manakala kawalan suara tepat, pemprosesan media dan penyampaian output kekal sebagai ciri antara muka yang dipilih.", "editorialOverlay": { "copy_fields": { "practical_html": "Contoh teknikal dalam bahasa Inggeris
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.qwen2.5-omni-7bQwen2.5-Omni-7B menggabungkan pemahaman teks, imej, audio dan video dengan output teks serta pertuturan semula jadi. Seni bina Thinker-Talker menyelaraskan audio dengan masa video, menyokong interaksi penstriman dan menawarkan dua suara yang didokumenkan dalam checkpoint terbuka tepat ini.
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
Gambaran keseluruhan: satu model untuk beberapa modaliti input
Qwen2.5-Omni-7B ialah model multimodal hujung ke hujung Qwen untuk teks, imej, audio dan video. Ia boleh memahami input ini bersama-sama dan menjana teks dengan pertuturan semula jadi dalam aliran kerja penstriman. Gunakannya apabila tugas bergantung pada perkara yang kelihatan serta yang didengar, atau apabila pengguna memberikan arahan melalui suara dan bukannya menaip. Ini ialah checkpoint 7B tepat; Omni-Turbo komersial dan keluaran Omni kemudian mempunyai kontrak tersendiri.
Ciri utama dan seni bina
Reka bentuk Thinker-Talker menggabungkan pemahaman dengan penjanaan pertuturan. Thinker memproses tugas multimodal dan menghasilkan kandungan teks, manakala Talker mengambil bahagian dalam pembentukan respons pertuturan. TMRoPE, skema kedudukan multimodal sejajar masa pembuat, menyegerakkan cap masa video dengan audio. Seni bina direka untuk input bercebisan dan interaksi suara atau video yang responsif; matlamat reka bentuk ini bukan jaminan masa respons tetap bagi setiap antara muka.
Liputan tugas pembuat merangkumi pengecaman pertuturan, terjemahan pertuturan, pemahaman audio, penaakulan imej, pemahaman video dan penjanaan pertuturan. Oleh itu, arahan pertuturan boleh terlibat terus dalam soalan multimodal, tanpa sentiasa memerlukan transkrip bertaip yang dibekalkan secara berasingan. Pastikan tugas sasaran jelas: memahami klip audio, menjawab soalan lisan dan menjana jawapan pertuturan ialah penggunaan berbeza walaupun model menyokong semua bentuk input atau output tersebut.
Menyediakan perbualan multimodal
Berikan media berkaitan dan nyatakan cara jawapan perlu menghubungkannya. Untuk demonstrasi dengan penerangan lisan, minta model membezakan langkah yang kelihatan daripada penjelasan penutur dan mengenal pasti bahagian yang sepadan. Untuk gambar bersama soalan audio, kenal pasti peranan imej dan minta jawapan ringkas yang berasaskan kandungan kelihatan. Untuk petikan audio sahaja, nyatakan sama ada matlamatnya ialah mengecam pertuturan, menerangkan bunyi atau menjawab soalan tentang kandungan. Ini ialah aplikasi yang dirangka berdasarkan liputan tugas yang didokumenkan.
Contoh pembuat menunjukkan perbualan teks sahaja, audio sahaja, video sahaja dan media campuran. Kekalkan susunan serta masa asal video. Labelkan aset berasingan supaya model boleh merujuknya tanpa menganggap bukti tidak berkaitan sebagai satu peristiwa. Hasil boleh berupa teks sahaja atau teks bersama pertuturan; pilih artifak yang berguna sebelum menyediakan permintaan.
Penyediaan output pertuturan
Resipi checkpoint Qwen memerlukan prompt sistem keupayaan audio yang didokumenkannya apabila output pertuturan diperlukan. Prompt itu mengenal pasti Qwen dan keupayaan pendengaran, visual, teks serta pertuturannya; penggantian yang tidak berkaitan boleh menghalang tingkah laku audio yang dijangka. Ini ialah panduan bagi aliran kerja checkpoint pembuat, bukannya dakwaan bahawa setiap aplikasi menyediakan kawalan prompt sistem atau penjanaan audio.
Checkpoint tepat ini menawarkan dua suara: Chelsie, suara wanita yang mesra, dan Ethan, suara lelaki yang ceria. Chelsie ialah suara lalai yang didokumenkan apabila tiada penutur dipilih. Contoh penjanaannya menulis pertuturan pada kadar sampel 24,000 Hz. Dua suara ini tidak patut digantikan dengan huraian empat suara model komersial bernama berasingan.
Menggunakan audio daripada video
Runut bunyi video boleh berkaitan dengan maknanya, seperti arahan lisan atau bunyi yang dihasilkan tindakan kelihatan. Qwen menyediakan use_audio_in_video merentas penyediaan media, pemprosesan dan penjanaan. Tetapan mesti kekal konsisten pada ketiga-tiga peringkat serta sepanjang perbualan berbilang giliran; tetapan tidak konsisten boleh menghasilkan hasil yang tidak dijangka. Oleh itu, tafsiran visual video sahaja berbeza daripada tafsiran audiovisual, walaupun failnya sama.
Output teks sahaja dan pengelompokan
Pembuat menyokong output teks sahaja dengan menetapkan return_audio=False. Ia turut membenarkan Talker dinyahdayakan selepas pemuatan, mengurangkan memori GPU sebanyak kira-kira 2 GB tetapi menjadikan output audio tidak tersedia dalam instans itu. Contoh pengelompokan sampel campuran yang didokumenkan memerlukan return_audio=False dan menggabungkan permintaan teks, imej, audio serta video. Contoh kelompok itu tidak patut dinaikkan menjadi dakwaan penjanaan pertuturan secara kelompok.
Konteks dan had utama
Konfigurasi komponen teras teks checkpoint menetapkan kedudukan maksimum kepada 32,768. Teks, perwakilan media dan respons dijana menggunakan ruang urutan; nilai ini tidak mentakrifkan tempoh audio atau video sejagat secara bebas. Contoh sumber pembuat menunjukkan bahawa video lebih panjang memerlukan lebih banyak memori secara ketara, maka klip pendek yang berkaitan selalunya lebih praktikal daripada rakaman besar yang tidak berkaitan. Contohnya tidak menerbitkan had maksimum mutlak panjang jawapan yang berasingan atau tempoh media yang dijamin secara sejagat.
Periksa petikan pertuturan dan kesimpulan berdasarkan sumber, kekalkan butiran visual yang mencukupi untuk soalan, dan simpan hasil teks apabila penyemak perlu memeriksa penjelasan lisan. Nilai model yang didokumenkan ialah pemahaman bersepadu dan respons teks/pertuturan, manakala kawalan suara tepat, pemprosesan media dan penyampaian output kekal sebagai ciri antara muka yang dipilih.
POST /v1/chat/completionstexttext| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had qwen2.5-omni-7b | Lalai— |
Medanmessages | Jenismessage[] | KeperluanDiperlukan | Nilai & had Item minimum: 1 | Lalai— |
Medanmessages[].role | Jenisstring | KeperluanDiperlukan | Nilai & had Contoh: system, user, assistant, tool, function Syarat: Peranan ini diwakili secara eksplisit oleh jenis keserasian dalam kod sumber; set peranan model yang tepat kekal khusus untuk setiap model. Bergantung pada model | Lalai— |
Medanmessages[].content | Jenisstring|content_part[]|null | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].tool_calls | Jenistool_call[] | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].tool_call_id | Jenisstring | KeperluanPilihan | Nilai & had Terpakai apabila: role=tool; gunakan ID sebenar yang dipulangkan | Lalai— |
Medanmessages[].name | Jenisstring | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].reasoning_content | Jenisstring | KeperluanPilihan | Nilai & had Terpakai apabila: Hantar semula penaakulan sebenar yang dipulangkan apabila model ini menggunakannya | Lalai— |
Medanmessages[].reasoning_details | Jenisobject|array | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanmax_tokens | Jenisinteger | KeperluanPilihan | Nilai & had Minimum: 1 Bergantung pada model | Lalai— |
Medanmax_completion_tokens | Jenisinteger | KeperluanPilihan | Nilai & had Minimum: 1 Bergantung pada model | Lalai— |
Medanstream | Jenisboolean | KeperluanPilihan | Nilai & had | Lalaifalse |
Medanstream_options.include_usage | Jenisboolean | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantemperature | Jenisnumber | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantop_p | Jenisnumber | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanstop | Jenisstring|string[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantools | Jenisfunction_tool[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantools[].type | Jenisstring | KeperluanPilihan | Nilai & had function Bergantung pada model | Lalai— |
Medantools[].function.name | Jenisstring | KeperluanDiperlukan | Nilai & had Terpakai apabila: alat fungsi dibekalkan | Lalai— |
Medantools[].function.description | Jenisstring | KeperluanPilihan | Nilai & had | Lalai— |
Medantools[].function.parameters | JenisJSON_schema | KeperluanPilihan | Nilai & had | Lalai— |
Medantool_choice | Jenisstring|object | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanparallel_tool_calls | Jenisboolean | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanresponse_format | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanreasoning_effort | Jenisstring | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanreasoning | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanservice_tier | Jenisstring | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medaninstructions | Jenisstring | KeperluanPilihan | Nilai & had Medan keserasian | Lalai— |
Medanfunctions | Jenisfunction[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanfunction_call | Jenisstring|object | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanprompt_cache_options | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanmodalities | Jenisstring[] | KeperluanPilihan | Nilai & had text | Lalai— |
Medanprovider | Jenisobject | KeperluanPilihan | Nilai & had Syarat: provider.options ditolak pada laluan teks Ultra ini | Lalai— |
Medancache_control.ttl | Jenisstring | KeperluanPilihan | Nilai & had Syarat: 1h ditolak pada lokasi cache prompt yang digunakan | Lalai— |
Teks · Teks UTF8
messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages |
Parametermaterial_types | Kontraktext |
Parametermessages | Kontraktatasusunan mesej dengan struktur role/content |
Parameterfile_material | Kontrakdokumen UTF-8 sebenar dimasukkan sebagai teks literal; ID fail tidak diandaikan |
Parameteroptional_controls | Kontrakstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontrakkhusus model; alat fungsi pengguna berbeza daripada alat yang dihoskan |
Parameteroutput_modalities | Kontraktext |
Parameterhosted_operations | Kontrakfalse |
Parametermultimodal_input_binding | Kontraknull |
Kitar hayat: synchronous_or_streamed
Hantar ID model yang tepat bersama messages.
Panjang konteks bukan had output.
Fail teks boleh membekalkan teks literal; input imej/audio/objek fail memerlukan pengikatan tepat.
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
| Konfigurasi | Jadual kadar | Caj |
|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Caj Input · Token input $0.0046 / 1K token Output · Token output $0.0138 / 1K token Input · Bacaan cache $0 / 1K token Input · Penulisan cache $0 / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen2.5-omni-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson atau SSE
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Kekalkan setiap pilihan jawapan bersama kandungan, panggilan alat dan penaakulannya. Dalam SSE, gabungkan delta mengikut indeks pilihan jawapan/alat dan kekalkan sebab penamatan akhir serta data penggunaan.
Kekalkan ID permintaan/respons dan pengepala. Tiada URL umum bagi pengambilan tugas teks dibekalkan.
| Medan | Jenis |
|---|---|
Medanchoices[].index | Jenisinteger |
Medanchoices[].message.content | Jenisstring|null |
Medanchoices[].message.tool_calls | Jenistool_call[] |
Medanchoices[].message.reasoning_content | Jenisstring |
Medanchoices[].message.reasoning_details | Jenisobject|array |
Medanchoices[].finish_reason | Jenisstring|null |
Medanusage | Jenisobject |
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Ailoot Ultra qwen2.5-omni-7b
Gunakan laluan kaedah yang dipaparkan di atas.
qwen2.5-omni-7bQwen2.5-Omni-7B menggabungkan pemahaman teks, imej, audio dan video dengan output teks serta pertuturan semula jadi. Seni bina Thinker-Talker menyelaraskan audio dengan masa video, menyokong interaksi penstriman dan menawarkan dua suara yang didokumenkan dalam checkpoint terbuka tepat ini.
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
Gambaran keseluruhan: satu model untuk beberapa modaliti input
Qwen2.5-Omni-7B ialah model multimodal hujung ke hujung Qwen untuk teks, imej, audio dan video. Ia boleh memahami input ini bersama-sama dan menjana teks dengan pertuturan semula jadi dalam aliran kerja penstriman. Gunakannya apabila tugas bergantung pada perkara yang kelihatan serta yang didengar, atau apabila pengguna memberikan arahan melalui suara dan bukannya menaip. Ini ialah checkpoint 7B tepat; Omni-Turbo komersial dan keluaran Omni kemudian mempunyai kontrak tersendiri.
Ciri utama dan seni bina
Reka bentuk Thinker-Talker menggabungkan pemahaman dengan penjanaan pertuturan. Thinker memproses tugas multimodal dan menghasilkan kandungan teks, manakala Talker mengambil bahagian dalam pembentukan respons pertuturan. TMRoPE, skema kedudukan multimodal sejajar masa pembuat, menyegerakkan cap masa video dengan audio. Seni bina direka untuk input bercebisan dan interaksi suara atau video yang responsif; matlamat reka bentuk ini bukan jaminan masa respons tetap bagi setiap antara muka.
Liputan tugas pembuat merangkumi pengecaman pertuturan, terjemahan pertuturan, pemahaman audio, penaakulan imej, pemahaman video dan penjanaan pertuturan. Oleh itu, arahan pertuturan boleh terlibat terus dalam soalan multimodal, tanpa sentiasa memerlukan transkrip bertaip yang dibekalkan secara berasingan. Pastikan tugas sasaran jelas: memahami klip audio, menjawab soalan lisan dan menjana jawapan pertuturan ialah penggunaan berbeza walaupun model menyokong semua bentuk input atau output tersebut.
Menyediakan perbualan multimodal
Berikan media berkaitan dan nyatakan cara jawapan perlu menghubungkannya. Untuk demonstrasi dengan penerangan lisan, minta model membezakan langkah yang kelihatan daripada penjelasan penutur dan mengenal pasti bahagian yang sepadan. Untuk gambar bersama soalan audio, kenal pasti peranan imej dan minta jawapan ringkas yang berasaskan kandungan kelihatan. Untuk petikan audio sahaja, nyatakan sama ada matlamatnya ialah mengecam pertuturan, menerangkan bunyi atau menjawab soalan tentang kandungan. Ini ialah aplikasi yang dirangka berdasarkan liputan tugas yang didokumenkan.
Contoh pembuat menunjukkan perbualan teks sahaja, audio sahaja, video sahaja dan media campuran. Kekalkan susunan serta masa asal video. Labelkan aset berasingan supaya model boleh merujuknya tanpa menganggap bukti tidak berkaitan sebagai satu peristiwa. Hasil boleh berupa teks sahaja atau teks bersama pertuturan; pilih artifak yang berguna sebelum menyediakan permintaan.
Penyediaan output pertuturan
Resipi checkpoint Qwen memerlukan prompt sistem keupayaan audio yang didokumenkannya apabila output pertuturan diperlukan. Prompt itu mengenal pasti Qwen dan keupayaan pendengaran, visual, teks serta pertuturannya; penggantian yang tidak berkaitan boleh menghalang tingkah laku audio yang dijangka. Ini ialah panduan bagi aliran kerja checkpoint pembuat, bukannya dakwaan bahawa setiap aplikasi menyediakan kawalan prompt sistem atau penjanaan audio.
Checkpoint tepat ini menawarkan dua suara: Chelsie, suara wanita yang mesra, dan Ethan, suara lelaki yang ceria. Chelsie ialah suara lalai yang didokumenkan apabila tiada penutur dipilih. Contoh penjanaannya menulis pertuturan pada kadar sampel 24,000 Hz. Dua suara ini tidak patut digantikan dengan huraian empat suara model komersial bernama berasingan.
Menggunakan audio daripada video
Runut bunyi video boleh berkaitan dengan maknanya, seperti arahan lisan atau bunyi yang dihasilkan tindakan kelihatan. Qwen menyediakan use_audio_in_video merentas penyediaan media, pemprosesan dan penjanaan. Tetapan mesti kekal konsisten pada ketiga-tiga peringkat serta sepanjang perbualan berbilang giliran; tetapan tidak konsisten boleh menghasilkan hasil yang tidak dijangka. Oleh itu, tafsiran visual video sahaja berbeza daripada tafsiran audiovisual, walaupun failnya sama.
Output teks sahaja dan pengelompokan
Pembuat menyokong output teks sahaja dengan menetapkan return_audio=False. Ia turut membenarkan Talker dinyahdayakan selepas pemuatan, mengurangkan memori GPU sebanyak kira-kira 2 GB tetapi menjadikan output audio tidak tersedia dalam instans itu. Contoh pengelompokan sampel campuran yang didokumenkan memerlukan return_audio=False dan menggabungkan permintaan teks, imej, audio serta video. Contoh kelompok itu tidak patut dinaikkan menjadi dakwaan penjanaan pertuturan secara kelompok.
Konteks dan had utama
Konfigurasi komponen teras teks checkpoint menetapkan kedudukan maksimum kepada 32,768. Teks, perwakilan media dan respons dijana menggunakan ruang urutan; nilai ini tidak mentakrifkan tempoh audio atau video sejagat secara bebas. Contoh sumber pembuat menunjukkan bahawa video lebih panjang memerlukan lebih banyak memori secara ketara, maka klip pendek yang berkaitan selalunya lebih praktikal daripada rakaman besar yang tidak berkaitan. Contohnya tidak menerbitkan had maksimum mutlak panjang jawapan yang berasingan atau tempoh media yang dijamin secara sejagat.
Periksa petikan pertuturan dan kesimpulan berdasarkan sumber, kekalkan butiran visual yang mencukupi untuk soalan, dan simpan hasil teks apabila penyemak perlu memeriksa penjelasan lisan. Nilai model yang didokumenkan ialah pemahaman bersepadu dan respons teks/pertuturan, manakala kawalan suara tepat, pemprosesan media dan penyampaian output kekal sebagai ciri antara muka yang dipilih.
POST /v1/messagestextjson, sse| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had qwen2.5-omni-7b | Lalai— |
Medanmessages | Jenismessage[] | KeperluanDiperlukan | Nilai & had | Lalai— |
Medanmessages[].role | Jenisstring | KeperluanDiperlukan | Nilai & had user, assistant | Lalai— |
Medanmessages[].content | Jenisstring | KeperluanDiperlukan | Nilai & had | Lalai— |
Medanmax_tokens | Jenisinteger | KeperluanDiperlukan | Nilai & had | Lalai— |
Medanstream | Jenisboolean | KeperluanPilihan | Nilai & had | Lalaifalse |
Teks · Teks UTF-8
rentetan messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages, max_tokens |
Parameteroptional_controls | Kontrakstream |
Parametermaterial_types | Kontraktext |
Parametertext_file_material | KontrakBaca dokumen UTF-8 sebenar dan letakkan teksnya dalam rentetan input atau kandungan mesej yang ditunjukkan. |
Kitar hayat: synchronous_or_streamed
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
| Konfigurasi | Jadual kadar | Caj |
|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Caj Input · Token input $0.0046 / 1K token Output · Token output $0.0138 / 1K token Input · Bacaan cache $0 / 1K token Input · Penulisan cache $0 / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
{\n "model": "qwen2.5-omni-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON atau SSE
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Kekalkan semua blok kandungan, tandatangan penaakulan dan ID penggunaan alat sebenar. Gabungkan semua delta blok SSE; blok teks pertama bukan keseluruhan output.
Kekalkan ID permintaan/respons dan pengepala. Tiada URL umum bagi pengambilan tugas teks dibekalkan.
| Medan | Jenis |
|---|---|
Medanid | Jenisstring |
Medanmodel | Jenisstring |
Medancontent[] | Jenistext|thinking|tool_use|other content block |
Medanstop_reason | Jenisstring|null |
Medanusage | Jenisobject |
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Ailoot Ultra qwen2.5-omni-7b
Gunakan laluan kaedah yang dipaparkan di atas.
Contoh teknikal dalam bahasa Inggeris
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.