Gambaran keseluruhan: pemahaman gabungan media dan jawapan pertuturan
Qwen-Omni-Turbo ialah model pemahaman dan penjanaan multimodal Qwen. Model ini menerima teks, imej, pertuturan dan video, termasuk gabungan input tersebut, dan menghasilkan teks atau teks bersama pertuturan semula jadi. Pengeluar menerangkan penstriman teks dan pertuturan secara serentak, dengan empat pilihan suara perbualan semula jadi. Ini menjadikan model sesuai untuk tugasan yang soalan dan buktinya diterima dalam bentuk berlainan, seperti soalan lisan tentang foto atau penerangan tentang adegan audiovisual.
Nama yang tepat dan edisinya
Halaman model semasa pengeluar menerangkan qwen-omni-turbo sebagai setara dari segi fungsi dengan versi bertarikh qwen-omni-turbo-2025-03-26. Halaman tersebut menyenaraikan qwen-omni-turbo-latest secara berasingan sebagai nama yang dikemas kini secara dinamik dan membezakan versi terdahulu qwen-omni-turbo-2025-01-19. Versi Mac diterangkan sebagai mempunyai keupayaan visual yang lebih baik berbanding versi Januari. Ini ialah hubungan antara edisi yang dinyatakan oleh pengeluar, bukan bukti bahawa setiap laluan aplikasi yang mempunyai nama serupa menggunakan pemberat atau tetapan yang sama. Kekalkan nama versi bertarikh apabila tugasan memerlukan versi yang tepat.
Nama Turbo tidak merujuk kepada edisi masa nyata yang berasingan, generasi Qwen-Omni yang lebih baharu atau checkpoint terbuka Qwen2.5-Omni-7B. Peraturan input, suara dan antara mukanya memerlukan dokumentasi tersendiri. Khususnya, empat pilihan suara yang diterangkan untuk Omni-Turbo tidak patut disalin ke dalam penerangan checkpoint terbuka yang mempunyai dua suara.
Menyediakan tugasan gabungan media
Nyatakan perkara yang perlu dihubungkan oleh model merentas input. Untuk soalan lisan tentang rajah, berikan rajah dan soalan bersama-sama, kemudian minta penerangan tentang unsur yang kelihatan dan sedang dibincangkan. Untuk video yang mengandungi pertuturan, nyatakan sama ada hasil yang dikehendaki ialah ringkasan perkara yang dilihat, perkara yang dikatakan atau hubungan antara kedua-duanya. Output yang berguna boleh memisahkan pemerhatian visual daripada pemerhatian audio sebelum membuat kesimpulan.
Untuk semakan multimedia, berikan petikan pendek yang berkaitan, bukannya beberapa bahan yang tidak berkaitan. Labelkan imej dan terangkan peranannya jika terdapat lebih daripada satu. Kekalkan audio dan maklumat masa yang penting kepada soalan. Minta hasil yang terarah, seperti penerangan lisan untuk pendengar atau senarai teks ringkas tentang butiran adegan. Ini ialah contoh aplikasi yang dirumuskan berdasarkan keupayaan input gabungan yang didokumenkan, bukan dakwaan bahawa sesuatu klip tertentu telah dianalisis.
Output teks dan pertuturan
Penerangan model oleh pengeluar menyatakan sokongan untuk respons teks serta teks dan pertuturan yang distrim secara serentak. Penerangan lisan boleh sesuai untuk bantuan perbualan, manakala teks lebih mudah diperiksa, dicari dan dibandingkan dengan bahan sumber. Mod output yang dipilih dan kawalan suara bergantung pada antara muka yang menyediakan model. Penstriman menerangkan penghantaran dalam bahagian berturutan; ia bukan jaminan masa respons atau bukti bahawa protokol perbualan masa nyata yang berasingan tersedia.
Had konteks dan output
Spesifikasi khusus menyenaraikan tetingkap konteks 32 768 token, panjang input maksimum 30 720 token dan panjang output maksimum 2 048 token. Sediakan bahan sumber dan jawapan yang dikehendaki dengan mengambil kira had yang berasingan ini. Input multimodal mesti muat dalam bajet representasinya, bukannya sekadar bilangan aksara yang ditaip. Permintaan naratif panjang perlu dikecilkan kepada penerangan ringkas yang muat dalam had output.
Had token tersebut tidak menetapkan tempoh universal dalam minit atau bilangan imej universal. Prapemprosesan media dan edisi yang dipilih mempengaruhi jumlah bahan yang boleh dimuatkan. Halaman model tidak menerbitkan seni bina checkpoint atau bilangan parameter, maka label Turbo tidak patut digunakan untuk mereka-reka saiz atau meminjam seni bina model Omni yang lain.
Alat dan batasan penting
Matriks keupayaan model tepat ini tidak menyokong pemanggilan fungsi, carian web terbina dalam atau output berstruktur yang dikuatkuasakan. Ia menyenaraikan inferens kelompok dalam beberapa konfigurasi pengeluar dan penyimpanan konteks dalam cache dalam konfigurasi lain. Permintaan senarai atau jawapan berbentuk JSON ialah permintaan format teks, bukan jaminan penguatkuasaan skema. Keupayaan model memahami tugasan visual atau lisan juga tidak memberikannya akses kepada maklumat semasa atau sistem luaran.
Semak sama ada jawapan membezakan bukti yang kelihatan, kandungan yang didengar dan tafsiran. Petikan pertuturan, label visual kecil dan hubungan yang dibuat melalui inferens perlu dibandingkan dengan bahan yang diberikan. Untuk hasil pertuturan, simpan teks yang mengiringinya apabila tersedia supaya penyemak boleh meneliti penerangan tersebut. Kelebihan praktikalnya ialah menghubungkan beberapa modaliti dalam satu respons, dengan output ringkas yang disesuaikan dengan edisi yang didokumenkan.
", "aboutText": "Gambaran keseluruhan: pemahaman gabungan media dan jawapan pertuturan\n\nQwen-Omni-Turbo ialah model pemahaman dan penjanaan multimodal Qwen. Model ini menerima teks, imej, pertuturan dan video, termasuk gabungan input tersebut, dan menghasilkan teks atau teks bersama pertuturan semula jadi. Pengeluar menerangkan penstriman teks dan pertuturan secara serentak, dengan empat pilihan suara perbualan semula jadi. Ini menjadikan model sesuai untuk tugasan yang soalan dan buktinya diterima dalam bentuk berlainan, seperti soalan lisan tentang foto atau penerangan tentang adegan audiovisual.\n\nNama yang tepat dan edisinya\n\nHalaman model semasa pengeluar menerangkan qwen-omni-turbo sebagai setara dari segi fungsi dengan versi bertarikh qwen-omni-turbo-2025-03-26. Halaman tersebut menyenaraikan qwen-omni-turbo-latest secara berasingan sebagai nama yang dikemas kini secara dinamik dan membezakan versi terdahulu qwen-omni-turbo-2025-01-19. Versi Mac diterangkan sebagai mempunyai keupayaan visual yang lebih baik berbanding versi Januari. Ini ialah hubungan antara edisi yang dinyatakan oleh pengeluar, bukan bukti bahawa setiap laluan aplikasi yang mempunyai nama serupa menggunakan pemberat atau tetapan yang sama. Kekalkan nama versi bertarikh apabila tugasan memerlukan versi yang tepat.\n\nNama Turbo tidak merujuk kepada edisi masa nyata yang berasingan, generasi Qwen-Omni yang lebih baharu atau checkpoint terbuka Qwen2.5-Omni-7B. Peraturan input, suara dan antara mukanya memerlukan dokumentasi tersendiri. Khususnya, empat pilihan suara yang diterangkan untuk Omni-Turbo tidak patut disalin ke dalam penerangan checkpoint terbuka yang mempunyai dua suara.\n\nMenyediakan tugasan gabungan media\n\nNyatakan perkara yang perlu dihubungkan oleh model merentas input. Untuk soalan lisan tentang rajah, berikan rajah dan soalan bersama-sama, kemudian minta penerangan tentang unsur yang kelihatan dan sedang dibincangkan. Untuk video yang mengandungi pertuturan, nyatakan sama ada hasil yang dikehendaki ialah ringkasan perkara yang dilihat, perkara yang dikatakan atau hubungan antara kedua-duanya. Output yang berguna boleh memisahkan pemerhatian visual daripada pemerhatian audio sebelum membuat kesimpulan.\n\nUntuk semakan multimedia, berikan petikan pendek yang berkaitan, bukannya beberapa bahan yang tidak berkaitan. Labelkan imej dan terangkan peranannya jika terdapat lebih daripada satu. Kekalkan audio dan maklumat masa yang penting kepada soalan. Minta hasil yang terarah, seperti penerangan lisan untuk pendengar atau senarai teks ringkas tentang butiran adegan. Ini ialah contoh aplikasi yang dirumuskan berdasarkan keupayaan input gabungan yang didokumenkan, bukan dakwaan bahawa sesuatu klip tertentu telah dianalisis.\n\nOutput teks dan pertuturan\n\nPenerangan model oleh pengeluar menyatakan sokongan untuk respons teks serta teks dan pertuturan yang distrim secara serentak. Penerangan lisan boleh sesuai untuk bantuan perbualan, manakala teks lebih mudah diperiksa, dicari dan dibandingkan dengan bahan sumber. Mod output yang dipilih dan kawalan suara bergantung pada antara muka yang menyediakan model. Penstriman menerangkan penghantaran dalam bahagian berturutan; ia bukan jaminan masa respons atau bukti bahawa protokol perbualan masa nyata yang berasingan tersedia.\n\nHad konteks dan output\n\nSpesifikasi khusus menyenaraikan tetingkap konteks 32 768 token, panjang input maksimum 30 720 token dan panjang output maksimum 2 048 token. Sediakan bahan sumber dan jawapan yang dikehendaki dengan mengambil kira had yang berasingan ini. Input multimodal mesti muat dalam bajet representasinya, bukannya sekadar bilangan aksara yang ditaip. Permintaan naratif panjang perlu dikecilkan kepada penerangan ringkas yang muat dalam had output.\n\nHad token tersebut tidak menetapkan tempoh universal dalam minit atau bilangan imej universal. Prapemprosesan media dan edisi yang dipilih mempengaruhi jumlah bahan yang boleh dimuatkan. Halaman model tidak menerbitkan seni bina checkpoint atau bilangan parameter, maka label Turbo tidak patut digunakan untuk mereka-reka saiz atau meminjam seni bina model Omni yang lain.\n\nAlat dan batasan penting\n\nMatriks keupayaan model tepat ini tidak menyokong pemanggilan fungsi, carian web terbina dalam atau output berstruktur yang dikuatkuasakan. Ia menyenaraikan inferens kelompok dalam beberapa konfigurasi pengeluar dan penyimpanan konteks dalam cache dalam konfigurasi lain. Permintaan senarai atau jawapan berbentuk JSON ialah permintaan format teks, bukan jaminan penguatkuasaan skema. Keupayaan model memahami tugasan visual atau lisan juga tidak memberikannya akses kepada maklumat semasa atau sistem luaran.\n\nSemak sama ada jawapan membezakan bukti yang kelihatan, kandungan yang didengar dan tafsiran. Petikan pertuturan, label visual kecil dan hubungan yang dibuat melalui inferens perlu dibandingkan dengan bahan yang diberikan. Untuk hasil pertuturan, simpan teks yang mengiringinya apabila tersedia supaya penyemak boleh meneliti penerangan tersebut. Kelebihan praktikalnya ialah menghubungkan beberapa modaliti dalam satu respons, dengan output ringkas yang disesuaikan dengan edisi yang didokumenkan.", "editorialOverlay": { "copy_fields": { "practical_html": "Contoh teknikal dalam bahasa Inggeris
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.qwen-omni-turboQwen-Omni-Turbo menggabungkan teks, imej, audio dan video dalam satu tugasan multimodal serta boleh menstrim teks bersama respons pertuturan. Gunakannya untuk menghubungkan soalan lisan dengan bukti visual atau menerangkan klip audiovisual, dalam had pengeluar: konteks 32 768 token dan output 2 048 token.
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
Gambaran keseluruhan: pemahaman gabungan media dan jawapan pertuturan
Qwen-Omni-Turbo ialah model pemahaman dan penjanaan multimodal Qwen. Model ini menerima teks, imej, pertuturan dan video, termasuk gabungan input tersebut, dan menghasilkan teks atau teks bersama pertuturan semula jadi. Pengeluar menerangkan penstriman teks dan pertuturan secara serentak, dengan empat pilihan suara perbualan semula jadi. Ini menjadikan model sesuai untuk tugasan yang soalan dan buktinya diterima dalam bentuk berlainan, seperti soalan lisan tentang foto atau penerangan tentang adegan audiovisual.
Nama yang tepat dan edisinya
Halaman model semasa pengeluar menerangkan qwen-omni-turbo sebagai setara dari segi fungsi dengan versi bertarikh qwen-omni-turbo-2025-03-26. Halaman tersebut menyenaraikan qwen-omni-turbo-latest secara berasingan sebagai nama yang dikemas kini secara dinamik dan membezakan versi terdahulu qwen-omni-turbo-2025-01-19. Versi Mac diterangkan sebagai mempunyai keupayaan visual yang lebih baik berbanding versi Januari. Ini ialah hubungan antara edisi yang dinyatakan oleh pengeluar, bukan bukti bahawa setiap laluan aplikasi yang mempunyai nama serupa menggunakan pemberat atau tetapan yang sama. Kekalkan nama versi bertarikh apabila tugasan memerlukan versi yang tepat.
Nama Turbo tidak merujuk kepada edisi masa nyata yang berasingan, generasi Qwen-Omni yang lebih baharu atau checkpoint terbuka Qwen2.5-Omni-7B. Peraturan input, suara dan antara mukanya memerlukan dokumentasi tersendiri. Khususnya, empat pilihan suara yang diterangkan untuk Omni-Turbo tidak patut disalin ke dalam penerangan checkpoint terbuka yang mempunyai dua suara.
Menyediakan tugasan gabungan media
Nyatakan perkara yang perlu dihubungkan oleh model merentas input. Untuk soalan lisan tentang rajah, berikan rajah dan soalan bersama-sama, kemudian minta penerangan tentang unsur yang kelihatan dan sedang dibincangkan. Untuk video yang mengandungi pertuturan, nyatakan sama ada hasil yang dikehendaki ialah ringkasan perkara yang dilihat, perkara yang dikatakan atau hubungan antara kedua-duanya. Output yang berguna boleh memisahkan pemerhatian visual daripada pemerhatian audio sebelum membuat kesimpulan.
Untuk semakan multimedia, berikan petikan pendek yang berkaitan, bukannya beberapa bahan yang tidak berkaitan. Labelkan imej dan terangkan peranannya jika terdapat lebih daripada satu. Kekalkan audio dan maklumat masa yang penting kepada soalan. Minta hasil yang terarah, seperti penerangan lisan untuk pendengar atau senarai teks ringkas tentang butiran adegan. Ini ialah contoh aplikasi yang dirumuskan berdasarkan keupayaan input gabungan yang didokumenkan, bukan dakwaan bahawa sesuatu klip tertentu telah dianalisis.
Output teks dan pertuturan
Penerangan model oleh pengeluar menyatakan sokongan untuk respons teks serta teks dan pertuturan yang distrim secara serentak. Penerangan lisan boleh sesuai untuk bantuan perbualan, manakala teks lebih mudah diperiksa, dicari dan dibandingkan dengan bahan sumber. Mod output yang dipilih dan kawalan suara bergantung pada antara muka yang menyediakan model. Penstriman menerangkan penghantaran dalam bahagian berturutan; ia bukan jaminan masa respons atau bukti bahawa protokol perbualan masa nyata yang berasingan tersedia.
Had konteks dan output
Spesifikasi khusus menyenaraikan tetingkap konteks 32 768 token, panjang input maksimum 30 720 token dan panjang output maksimum 2 048 token. Sediakan bahan sumber dan jawapan yang dikehendaki dengan mengambil kira had yang berasingan ini. Input multimodal mesti muat dalam bajet representasinya, bukannya sekadar bilangan aksara yang ditaip. Permintaan naratif panjang perlu dikecilkan kepada penerangan ringkas yang muat dalam had output.
Had token tersebut tidak menetapkan tempoh universal dalam minit atau bilangan imej universal. Prapemprosesan media dan edisi yang dipilih mempengaruhi jumlah bahan yang boleh dimuatkan. Halaman model tidak menerbitkan seni bina checkpoint atau bilangan parameter, maka label Turbo tidak patut digunakan untuk mereka-reka saiz atau meminjam seni bina model Omni yang lain.
Alat dan batasan penting
Matriks keupayaan model tepat ini tidak menyokong pemanggilan fungsi, carian web terbina dalam atau output berstruktur yang dikuatkuasakan. Ia menyenaraikan inferens kelompok dalam beberapa konfigurasi pengeluar dan penyimpanan konteks dalam cache dalam konfigurasi lain. Permintaan senarai atau jawapan berbentuk JSON ialah permintaan format teks, bukan jaminan penguatkuasaan skema. Keupayaan model memahami tugasan visual atau lisan juga tidak memberikannya akses kepada maklumat semasa atau sistem luaran.
Semak sama ada jawapan membezakan bukti yang kelihatan, kandungan yang didengar dan tafsiran. Petikan pertuturan, label visual kecil dan hubungan yang dibuat melalui inferens perlu dibandingkan dengan bahan yang diberikan. Untuk hasil pertuturan, simpan teks yang mengiringinya apabila tersedia supaya penyemak boleh meneliti penerangan tersebut. Kelebihan praktikalnya ialah menghubungkan beberapa modaliti dalam satu respons, dengan output ringkas yang disesuaikan dengan edisi yang didokumenkan.
POST /v1/chat/completionstexttext| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had qwen-omni-turbo | Lalai— |
Medanmessages | Jenismessage[] | KeperluanDiperlukan | Nilai & had Item minimum: 1 | Lalai— |
Medanmessages[].role | Jenisstring | KeperluanDiperlukan | Nilai & had Contoh: system, user, assistant, tool, function Syarat: Peranan ini diwakili secara eksplisit oleh jenis keserasian dalam kod sumber; set peranan model yang tepat kekal khusus untuk setiap model. Bergantung pada model | Lalai— |
Medanmessages[].content | Jenisstring|content_part[]|null | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].tool_calls | Jenistool_call[] | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].tool_call_id | Jenisstring | KeperluanPilihan | Nilai & had Terpakai apabila: role=tool; gunakan ID sebenar yang dipulangkan | Lalai— |
Medanmessages[].name | Jenisstring | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].reasoning_content | Jenisstring | KeperluanPilihan | Nilai & had Terpakai apabila: Hantar semula penaakulan sebenar yang dipulangkan apabila model ini menggunakannya | Lalai— |
Medanmessages[].reasoning_details | Jenisobject|array | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanmax_tokens | Jenisinteger | KeperluanPilihan | Nilai & had Minimum: 1 Bergantung pada model | Lalai— |
Medanmax_completion_tokens | Jenisinteger | KeperluanPilihan | Nilai & had Minimum: 1 Bergantung pada model | Lalai— |
Medanstream | Jenisboolean | KeperluanPilihan | Nilai & had | Lalaifalse |
Medanstream_options.include_usage | Jenisboolean | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantemperature | Jenisnumber | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantop_p | Jenisnumber | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanstop | Jenisstring|string[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantools | Jenisfunction_tool[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantools[].type | Jenisstring | KeperluanPilihan | Nilai & had function Bergantung pada model | Lalai— |
Medantools[].function.name | Jenisstring | KeperluanDiperlukan | Nilai & had Terpakai apabila: alat fungsi dibekalkan | Lalai— |
Medantools[].function.description | Jenisstring | KeperluanPilihan | Nilai & had | Lalai— |
Medantools[].function.parameters | JenisJSON_schema | KeperluanPilihan | Nilai & had | Lalai— |
Medantool_choice | Jenisstring|object | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanparallel_tool_calls | Jenisboolean | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanresponse_format | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanreasoning_effort | Jenisstring | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanreasoning | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanservice_tier | Jenisstring | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medaninstructions | Jenisstring | KeperluanPilihan | Nilai & had Medan keserasian | Lalai— |
Medanfunctions | Jenisfunction[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanfunction_call | Jenisstring|object | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanprompt_cache_options | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanmodalities | Jenisstring[] | KeperluanPilihan | Nilai & had text | Lalai— |
Medanprovider | Jenisobject | KeperluanPilihan | Nilai & had Syarat: provider.options ditolak pada laluan teks Ultra ini | Lalai— |
Medancache_control.ttl | Jenisstring | KeperluanPilihan | Nilai & had Syarat: 1h ditolak pada lokasi cache prompt yang digunakan | Lalai— |
Teks · Teks UTF8
messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages |
Parametermaterial_types | Kontraktext |
Parametermessages | Kontraktatasusunan mesej dengan struktur role/content |
Parameterfile_material | Kontrakdokumen UTF-8 sebenar dimasukkan sebagai teks literal; ID fail tidak diandaikan |
Parameteroptional_controls | Kontrakstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontrakkhusus model; alat fungsi pengguna berbeza daripada alat yang dihoskan |
Parameteroutput_modalities | Kontraktext |
Parameterhosted_operations | Kontrakfalse |
Parametermultimodal_input_binding | Kontraknull |
Kitar hayat: synchronous_or_streamed
Hantar ID model yang tepat bersama messages.
Panjang konteks bukan had output.
Fail teks boleh membekalkan teks literal; input imej/audio/objek fail memerlukan pengikatan tepat.
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
| Konfigurasi | Jadual kadar | Caj |
|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Caj Input · Token input $0.0046 / 1K token Output · Token output $0.0138 / 1K token Input · Bacaan cache $0 / 1K token Input · Penulisan cache $0 / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen-omni-turbo", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson atau SSE
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Kekalkan setiap pilihan jawapan bersama kandungan, panggilan alat dan penaakulannya. Dalam SSE, gabungkan delta mengikut indeks pilihan jawapan/alat dan kekalkan sebab penamatan akhir serta data penggunaan.
Kekalkan ID permintaan/respons dan pengepala. Tiada URL umum bagi pengambilan tugas teks dibekalkan.
| Medan | Jenis |
|---|---|
Medanchoices[].index | Jenisinteger |
Medanchoices[].message.content | Jenisstring|null |
Medanchoices[].message.tool_calls | Jenistool_call[] |
Medanchoices[].message.reasoning_content | Jenisstring |
Medanchoices[].message.reasoning_details | Jenisobject|array |
Medanchoices[].finish_reason | Jenisstring|null |
Medanusage | Jenisobject |
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Ailoot Ultra qwen-omni-turbo
Gunakan laluan kaedah yang dipaparkan di atas.
qwen-omni-turboQwen-Omni-Turbo menggabungkan teks, imej, audio dan video dalam satu tugasan multimodal serta boleh menstrim teks bersama respons pertuturan. Gunakannya untuk menghubungkan soalan lisan dengan bukti visual atau menerangkan klip audiovisual, dalam had pengeluar: konteks 32 768 token dan output 2 048 token.
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
Gambaran keseluruhan: pemahaman gabungan media dan jawapan pertuturan
Qwen-Omni-Turbo ialah model pemahaman dan penjanaan multimodal Qwen. Model ini menerima teks, imej, pertuturan dan video, termasuk gabungan input tersebut, dan menghasilkan teks atau teks bersama pertuturan semula jadi. Pengeluar menerangkan penstriman teks dan pertuturan secara serentak, dengan empat pilihan suara perbualan semula jadi. Ini menjadikan model sesuai untuk tugasan yang soalan dan buktinya diterima dalam bentuk berlainan, seperti soalan lisan tentang foto atau penerangan tentang adegan audiovisual.
Nama yang tepat dan edisinya
Halaman model semasa pengeluar menerangkan qwen-omni-turbo sebagai setara dari segi fungsi dengan versi bertarikh qwen-omni-turbo-2025-03-26. Halaman tersebut menyenaraikan qwen-omni-turbo-latest secara berasingan sebagai nama yang dikemas kini secara dinamik dan membezakan versi terdahulu qwen-omni-turbo-2025-01-19. Versi Mac diterangkan sebagai mempunyai keupayaan visual yang lebih baik berbanding versi Januari. Ini ialah hubungan antara edisi yang dinyatakan oleh pengeluar, bukan bukti bahawa setiap laluan aplikasi yang mempunyai nama serupa menggunakan pemberat atau tetapan yang sama. Kekalkan nama versi bertarikh apabila tugasan memerlukan versi yang tepat.
Nama Turbo tidak merujuk kepada edisi masa nyata yang berasingan, generasi Qwen-Omni yang lebih baharu atau checkpoint terbuka Qwen2.5-Omni-7B. Peraturan input, suara dan antara mukanya memerlukan dokumentasi tersendiri. Khususnya, empat pilihan suara yang diterangkan untuk Omni-Turbo tidak patut disalin ke dalam penerangan checkpoint terbuka yang mempunyai dua suara.
Menyediakan tugasan gabungan media
Nyatakan perkara yang perlu dihubungkan oleh model merentas input. Untuk soalan lisan tentang rajah, berikan rajah dan soalan bersama-sama, kemudian minta penerangan tentang unsur yang kelihatan dan sedang dibincangkan. Untuk video yang mengandungi pertuturan, nyatakan sama ada hasil yang dikehendaki ialah ringkasan perkara yang dilihat, perkara yang dikatakan atau hubungan antara kedua-duanya. Output yang berguna boleh memisahkan pemerhatian visual daripada pemerhatian audio sebelum membuat kesimpulan.
Untuk semakan multimedia, berikan petikan pendek yang berkaitan, bukannya beberapa bahan yang tidak berkaitan. Labelkan imej dan terangkan peranannya jika terdapat lebih daripada satu. Kekalkan audio dan maklumat masa yang penting kepada soalan. Minta hasil yang terarah, seperti penerangan lisan untuk pendengar atau senarai teks ringkas tentang butiran adegan. Ini ialah contoh aplikasi yang dirumuskan berdasarkan keupayaan input gabungan yang didokumenkan, bukan dakwaan bahawa sesuatu klip tertentu telah dianalisis.
Output teks dan pertuturan
Penerangan model oleh pengeluar menyatakan sokongan untuk respons teks serta teks dan pertuturan yang distrim secara serentak. Penerangan lisan boleh sesuai untuk bantuan perbualan, manakala teks lebih mudah diperiksa, dicari dan dibandingkan dengan bahan sumber. Mod output yang dipilih dan kawalan suara bergantung pada antara muka yang menyediakan model. Penstriman menerangkan penghantaran dalam bahagian berturutan; ia bukan jaminan masa respons atau bukti bahawa protokol perbualan masa nyata yang berasingan tersedia.
Had konteks dan output
Spesifikasi khusus menyenaraikan tetingkap konteks 32 768 token, panjang input maksimum 30 720 token dan panjang output maksimum 2 048 token. Sediakan bahan sumber dan jawapan yang dikehendaki dengan mengambil kira had yang berasingan ini. Input multimodal mesti muat dalam bajet representasinya, bukannya sekadar bilangan aksara yang ditaip. Permintaan naratif panjang perlu dikecilkan kepada penerangan ringkas yang muat dalam had output.
Had token tersebut tidak menetapkan tempoh universal dalam minit atau bilangan imej universal. Prapemprosesan media dan edisi yang dipilih mempengaruhi jumlah bahan yang boleh dimuatkan. Halaman model tidak menerbitkan seni bina checkpoint atau bilangan parameter, maka label Turbo tidak patut digunakan untuk mereka-reka saiz atau meminjam seni bina model Omni yang lain.
Alat dan batasan penting
Matriks keupayaan model tepat ini tidak menyokong pemanggilan fungsi, carian web terbina dalam atau output berstruktur yang dikuatkuasakan. Ia menyenaraikan inferens kelompok dalam beberapa konfigurasi pengeluar dan penyimpanan konteks dalam cache dalam konfigurasi lain. Permintaan senarai atau jawapan berbentuk JSON ialah permintaan format teks, bukan jaminan penguatkuasaan skema. Keupayaan model memahami tugasan visual atau lisan juga tidak memberikannya akses kepada maklumat semasa atau sistem luaran.
Semak sama ada jawapan membezakan bukti yang kelihatan, kandungan yang didengar dan tafsiran. Petikan pertuturan, label visual kecil dan hubungan yang dibuat melalui inferens perlu dibandingkan dengan bahan yang diberikan. Untuk hasil pertuturan, simpan teks yang mengiringinya apabila tersedia supaya penyemak boleh meneliti penerangan tersebut. Kelebihan praktikalnya ialah menghubungkan beberapa modaliti dalam satu respons, dengan output ringkas yang disesuaikan dengan edisi yang didokumenkan.
POST /v1/messagestextjson, sse| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had qwen-omni-turbo | Lalai— |
Medanmessages | Jenismessage[] | KeperluanDiperlukan | Nilai & had | Lalai— |
Medanmessages[].role | Jenisstring | KeperluanDiperlukan | Nilai & had user, assistant | Lalai— |
Medanmessages[].content | Jenisstring | KeperluanDiperlukan | Nilai & had | Lalai— |
Medanmax_tokens | Jenisinteger | KeperluanDiperlukan | Nilai & had | Lalai— |
Medanstream | Jenisboolean | KeperluanPilihan | Nilai & had | Lalaifalse |
Teks · Teks UTF-8
rentetan messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages, max_tokens |
Parameteroptional_controls | Kontrakstream |
Parametermaterial_types | Kontraktext |
Parametertext_file_material | KontrakBaca dokumen UTF-8 sebenar dan letakkan teksnya dalam rentetan input atau kandungan mesej yang ditunjukkan. |
Kitar hayat: synchronous_or_streamed
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
| Konfigurasi | Jadual kadar | Caj |
|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Caj Input · Token input $0.0046 / 1K token Output · Token output $0.0138 / 1K token Input · Bacaan cache $0 / 1K token Input · Penulisan cache $0 / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
{\n "model": "qwen-omni-turbo",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON atau SSE
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Kekalkan semua blok kandungan, tandatangan penaakulan dan ID penggunaan alat sebenar. Gabungkan semua delta blok SSE; blok teks pertama bukan keseluruhan output.
Kekalkan ID permintaan/respons dan pengepala. Tiada URL umum bagi pengambilan tugas teks dibekalkan.
| Medan | Jenis |
|---|---|
Medanid | Jenisstring |
Medanmodel | Jenisstring |
Medancontent[] | Jenistext|thinking|tool_use|other content block |
Medanstop_reason | Jenisstring|null |
Medanusage | Jenisobject |
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Ailoot Ultra qwen-omni-turbo
Gunakan laluan kaedah yang dipaparkan di atas.
Contoh teknikal dalam bahasa Inggeris
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.