Ikhtisar: pemahaman media gabungan dan jawaban lisan
Qwen-Omni-Turbo adalah model pemahaman dan generasi multimodal Qwen. Model ini menerima teks, gambar, ucapan, dan video, termasuk kombinasi masukan tersebut, serta menghasilkan teks atau teks dengan ucapan alami. Produsen menjelaskan streaming teks dan ucapan secara bersamaan, dengan empat pilihan suara percakapan alami. Ini membuat model relevan untuk tugas ketika pertanyaan dan buktinya datang dalam bentuk berbeda, seperti pertanyaan lisan tentang foto atau penjelasan adegan audiovisual.
Nama yang tepat dan edisinya
Halaman model terkini produsen menjelaskan qwen-omni-turbo sebagai setara secara fungsional dengan snapshot qwen-omni-turbo-2025-03-26. Halaman tersebut mencantumkan qwen-omni-turbo-latest secara terpisah sebagai nama yang diperbarui secara dinamis dan membedakan snapshot terdahulu qwen-omni-turbo-2025-01-19. Snapshot Maret dijelaskan meningkatkan kemampuan visual dibandingkan Januari. Ini adalah hubungan antaredisi yang dijelaskan produsen, bukan bukti bahwa setiap rute aplikasi bernama mirip menggunakan bobot atau pengaturan identik. Pertahankan nama snapshot bertanggal ketika tugas memerlukan versi yang tepat.
Nama Turbo tidak mengidentifikasi edisi real-time yang terpisah, generasi Qwen-Omni yang lebih baru, atau checkpoint terbuka Qwen2.5-Omni-7B. Aturan masukan, suara, dan antarmukanya memerlukan dokumentasi masing-masing. Khususnya, empat pilihan suara yang dijelaskan untuk Omni-Turbo tidak boleh disalin ke deskripsi checkpoint terbuka yang memiliki dua suara.
Menyiapkan tugas media gabungan
Nyatakan apa yang perlu dihubungkan model antarmasukan. Untuk pertanyaan lisan tentang diagram, berikan diagram dan pertanyaan bersama-sama, lalu minta penjelasan tentang elemen yang terlihat dan sedang dibahas. Untuk video dengan ucapan, tentukan apakah hasil yang diinginkan adalah ringkasan hal yang terlihat, hal yang dikatakan, atau hubungan keduanya. Keluaran yang berguna dapat memisahkan pengamatan visual dari pengamatan audio sebelum kesimpulan.
Untuk peninjauan multimedia, berikan cuplikan singkat yang relevan, bukan beberapa aset yang tidak berkaitan. Beri label pada gambar dan jelaskan perannya jika ada lebih dari satu. Pertahankan audio dan informasi waktu yang penting untuk pertanyaan. Minta hasil yang terarah, seperti penjelasan lisan untuk pendengar atau daftar teks ringkas tentang detail adegan. Ini adalah contoh penerapan yang dirumuskan dari kemampuan masukan gabungan yang didokumentasikan, bukan klaim bahwa klip tertentu telah dianalisis.
Keluaran teks dan ucapan
Menurut deskripsi produsen, model ini mendukung respons teks serta streaming teks dan ucapan secara bersamaan. Penjelasan lisan dapat sesuai untuk bantuan percakapan, sedangkan teks lebih mudah diperiksa, dicari, dan dibandingkan dengan materi sumber. Mode keluaran yang dipilih dan kendali suara bergantung pada antarmuka yang menyediakan model. Streaming menjelaskan pengiriman dalam bagian-bagian berurutan; ini bukan jaminan waktu respons atau bukti bahwa protokol percakapan real-time yang terpisah tersedia.
Batas konteks dan keluaran
Spesifikasi khusus mencantumkan jendela konteks 32.768 token, panjang masukan maksimum 30.720 token, dan panjang keluaran maksimum 2.048 token. Siapkan materi sumber dan jawaban yang diinginkan dengan mempertimbangkan batas-batas terpisah tersebut. Masukan multimodal harus muat dalam anggaran representasinya, bukan hanya hitungan karakter yang diketik. Permintaan narasi panjang perlu dipersempit menjadi penjelasan singkat yang muat dalam jatah keluaran.
Batas token tersebut tidak menetapkan durasi universal dalam menit atau jumlah gambar universal. Prapemrosesan media dan edisi yang dipilih memengaruhi jumlah materi yang dapat dimuat. Halaman model tidak memublikasikan arsitektur checkpoint atau jumlah parameter, jadi label Turbo tidak boleh digunakan untuk mengarang ukuran atau mengambil arsitektur model Omni lain.
Alat dan batasan penting
Matriks kemampuan model yang tepat ini tidak mendukung pemanggilan fungsi, pencarian web bawaan, atau keluaran terstruktur dengan penegakan skema. Matriks tersebut mencantumkan inferensi batch pada beberapa konfigurasi produsen dan caching konteks pada konfigurasi lain. Meminta daftar atau jawaban berbentuk JSON adalah permintaan format teks, bukan jaminan penegakan skema. Kemampuan model memahami tugas visual atau lisan juga tidak memberinya akses ke informasi terkini atau sistem eksternal.
Periksa apakah jawaban membedakan bukti yang terlihat, konten yang terdengar, dan interpretasi. Kutipan ucapan, label visual kecil, dan hubungan yang disimpulkan perlu dibandingkan dengan materi yang diberikan. Untuk hasil lisan, simpan teks pendamping jika tersedia agar peninjau dapat memeriksa penjelasannya. Keuntungan praktisnya adalah menghubungkan beberapa modalitas dalam satu respons, dengan keluaran ringkas yang ukurannya disesuaikan dengan edisi yang didokumentasikan.
", "aboutText": "Ikhtisar: pemahaman media gabungan dan jawaban lisan\n\nQwen-Omni-Turbo adalah model pemahaman dan generasi multimodal Qwen. Model ini menerima teks, gambar, ucapan, dan video, termasuk kombinasi masukan tersebut, serta menghasilkan teks atau teks dengan ucapan alami. Produsen menjelaskan streaming teks dan ucapan secara bersamaan, dengan empat pilihan suara percakapan alami. Ini membuat model relevan untuk tugas ketika pertanyaan dan buktinya datang dalam bentuk berbeda, seperti pertanyaan lisan tentang foto atau penjelasan adegan audiovisual.\n\nNama yang tepat dan edisinya\n\nHalaman model terkini produsen menjelaskan qwen-omni-turbo sebagai setara secara fungsional dengan snapshot qwen-omni-turbo-2025-03-26. Halaman tersebut mencantumkan qwen-omni-turbo-latest secara terpisah sebagai nama yang diperbarui secara dinamis dan membedakan snapshot terdahulu qwen-omni-turbo-2025-01-19. Snapshot Maret dijelaskan meningkatkan kemampuan visual dibandingkan Januari. Ini adalah hubungan antaredisi yang dijelaskan produsen, bukan bukti bahwa setiap rute aplikasi bernama mirip menggunakan bobot atau pengaturan identik. Pertahankan nama snapshot bertanggal ketika tugas memerlukan versi yang tepat.\n\nNama Turbo tidak mengidentifikasi edisi real-time yang terpisah, generasi Qwen-Omni yang lebih baru, atau checkpoint terbuka Qwen2.5-Omni-7B. Aturan masukan, suara, dan antarmukanya memerlukan dokumentasi masing-masing. Khususnya, empat pilihan suara yang dijelaskan untuk Omni-Turbo tidak boleh disalin ke deskripsi checkpoint terbuka yang memiliki dua suara.\n\nMenyiapkan tugas media gabungan\n\nNyatakan apa yang perlu dihubungkan model antarmasukan. Untuk pertanyaan lisan tentang diagram, berikan diagram dan pertanyaan bersama-sama, lalu minta penjelasan tentang elemen yang terlihat dan sedang dibahas. Untuk video dengan ucapan, tentukan apakah hasil yang diinginkan adalah ringkasan hal yang terlihat, hal yang dikatakan, atau hubungan keduanya. Keluaran yang berguna dapat memisahkan pengamatan visual dari pengamatan audio sebelum kesimpulan.\n\nUntuk peninjauan multimedia, berikan cuplikan singkat yang relevan, bukan beberapa aset yang tidak berkaitan. Beri label pada gambar dan jelaskan perannya jika ada lebih dari satu. Pertahankan audio dan informasi waktu yang penting untuk pertanyaan. Minta hasil yang terarah, seperti penjelasan lisan untuk pendengar atau daftar teks ringkas tentang detail adegan. Ini adalah contoh penerapan yang dirumuskan dari kemampuan masukan gabungan yang didokumentasikan, bukan klaim bahwa klip tertentu telah dianalisis.\n\nKeluaran teks dan ucapan\n\nMenurut deskripsi produsen, model ini mendukung respons teks serta streaming teks dan ucapan secara bersamaan. Penjelasan lisan dapat sesuai untuk bantuan percakapan, sedangkan teks lebih mudah diperiksa, dicari, dan dibandingkan dengan materi sumber. Mode keluaran yang dipilih dan kendali suara bergantung pada antarmuka yang menyediakan model. Streaming menjelaskan pengiriman dalam bagian-bagian berurutan; ini bukan jaminan waktu respons atau bukti bahwa protokol percakapan real-time yang terpisah tersedia.\n\nBatas konteks dan keluaran\n\nSpesifikasi khusus mencantumkan jendela konteks 32.768 token, panjang masukan maksimum 30.720 token, dan panjang keluaran maksimum 2.048 token. Siapkan materi sumber dan jawaban yang diinginkan dengan mempertimbangkan batas-batas terpisah tersebut. Masukan multimodal harus muat dalam anggaran representasinya, bukan hanya hitungan karakter yang diketik. Permintaan narasi panjang perlu dipersempit menjadi penjelasan singkat yang muat dalam jatah keluaran.\n\nBatas token tersebut tidak menetapkan durasi universal dalam menit atau jumlah gambar universal. Prapemrosesan media dan edisi yang dipilih memengaruhi jumlah materi yang dapat dimuat. Halaman model tidak memublikasikan arsitektur checkpoint atau jumlah parameter, jadi label Turbo tidak boleh digunakan untuk mengarang ukuran atau mengambil arsitektur model Omni lain.\n\nAlat dan batasan penting\n\nMatriks kemampuan model yang tepat ini tidak mendukung pemanggilan fungsi, pencarian web bawaan, atau keluaran terstruktur dengan penegakan skema. Matriks tersebut mencantumkan inferensi batch pada beberapa konfigurasi produsen dan caching konteks pada konfigurasi lain. Meminta daftar atau jawaban berbentuk JSON adalah permintaan format teks, bukan jaminan penegakan skema. Kemampuan model memahami tugas visual atau lisan juga tidak memberinya akses ke informasi terkini atau sistem eksternal.\n\nPeriksa apakah jawaban membedakan bukti yang terlihat, konten yang terdengar, dan interpretasi. Kutipan ucapan, label visual kecil, dan hubungan yang disimpulkan perlu dibandingkan dengan materi yang diberikan. Untuk hasil lisan, simpan teks pendamping jika tersedia agar peninjau dapat memeriksa penjelasannya. Keuntungan praktisnya adalah menghubungkan beberapa modalitas dalam satu respons, dengan keluaran ringkas yang ukurannya disesuaikan dengan edisi yang didokumentasikan.", "editorialOverlay": { "copy_fields": { "practical_html": "Contoh teknis dalam bahasa Inggris
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.qwen-omni-turboQwen-Omni-Turbo menggabungkan teks, gambar, audio, dan video dalam satu tugas multimodal serta dapat melakukan streaming teks dengan respons lisan. Gunakan untuk menghubungkan pertanyaan lisan dengan bukti visual atau menjelaskan klip audiovisual, dalam batas produsen: konteks 32.768 token dan keluaran 2.048 token.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
Ikhtisar: pemahaman media gabungan dan jawaban lisan
Qwen-Omni-Turbo adalah model pemahaman dan generasi multimodal Qwen. Model ini menerima teks, gambar, ucapan, dan video, termasuk kombinasi masukan tersebut, serta menghasilkan teks atau teks dengan ucapan alami. Produsen menjelaskan streaming teks dan ucapan secara bersamaan, dengan empat pilihan suara percakapan alami. Ini membuat model relevan untuk tugas ketika pertanyaan dan buktinya datang dalam bentuk berbeda, seperti pertanyaan lisan tentang foto atau penjelasan adegan audiovisual.
Nama yang tepat dan edisinya
Halaman model terkini produsen menjelaskan qwen-omni-turbo sebagai setara secara fungsional dengan snapshot qwen-omni-turbo-2025-03-26. Halaman tersebut mencantumkan qwen-omni-turbo-latest secara terpisah sebagai nama yang diperbarui secara dinamis dan membedakan snapshot terdahulu qwen-omni-turbo-2025-01-19. Snapshot Maret dijelaskan meningkatkan kemampuan visual dibandingkan Januari. Ini adalah hubungan antaredisi yang dijelaskan produsen, bukan bukti bahwa setiap rute aplikasi bernama mirip menggunakan bobot atau pengaturan identik. Pertahankan nama snapshot bertanggal ketika tugas memerlukan versi yang tepat.
Nama Turbo tidak mengidentifikasi edisi real-time yang terpisah, generasi Qwen-Omni yang lebih baru, atau checkpoint terbuka Qwen2.5-Omni-7B. Aturan masukan, suara, dan antarmukanya memerlukan dokumentasi masing-masing. Khususnya, empat pilihan suara yang dijelaskan untuk Omni-Turbo tidak boleh disalin ke deskripsi checkpoint terbuka yang memiliki dua suara.
Menyiapkan tugas media gabungan
Nyatakan apa yang perlu dihubungkan model antarmasukan. Untuk pertanyaan lisan tentang diagram, berikan diagram dan pertanyaan bersama-sama, lalu minta penjelasan tentang elemen yang terlihat dan sedang dibahas. Untuk video dengan ucapan, tentukan apakah hasil yang diinginkan adalah ringkasan hal yang terlihat, hal yang dikatakan, atau hubungan keduanya. Keluaran yang berguna dapat memisahkan pengamatan visual dari pengamatan audio sebelum kesimpulan.
Untuk peninjauan multimedia, berikan cuplikan singkat yang relevan, bukan beberapa aset yang tidak berkaitan. Beri label pada gambar dan jelaskan perannya jika ada lebih dari satu. Pertahankan audio dan informasi waktu yang penting untuk pertanyaan. Minta hasil yang terarah, seperti penjelasan lisan untuk pendengar atau daftar teks ringkas tentang detail adegan. Ini adalah contoh penerapan yang dirumuskan dari kemampuan masukan gabungan yang didokumentasikan, bukan klaim bahwa klip tertentu telah dianalisis.
Keluaran teks dan ucapan
Menurut deskripsi produsen, model ini mendukung respons teks serta streaming teks dan ucapan secara bersamaan. Penjelasan lisan dapat sesuai untuk bantuan percakapan, sedangkan teks lebih mudah diperiksa, dicari, dan dibandingkan dengan materi sumber. Mode keluaran yang dipilih dan kendali suara bergantung pada antarmuka yang menyediakan model. Streaming menjelaskan pengiriman dalam bagian-bagian berurutan; ini bukan jaminan waktu respons atau bukti bahwa protokol percakapan real-time yang terpisah tersedia.
Batas konteks dan keluaran
Spesifikasi khusus mencantumkan jendela konteks 32.768 token, panjang masukan maksimum 30.720 token, dan panjang keluaran maksimum 2.048 token. Siapkan materi sumber dan jawaban yang diinginkan dengan mempertimbangkan batas-batas terpisah tersebut. Masukan multimodal harus muat dalam anggaran representasinya, bukan hanya hitungan karakter yang diketik. Permintaan narasi panjang perlu dipersempit menjadi penjelasan singkat yang muat dalam jatah keluaran.
Batas token tersebut tidak menetapkan durasi universal dalam menit atau jumlah gambar universal. Prapemrosesan media dan edisi yang dipilih memengaruhi jumlah materi yang dapat dimuat. Halaman model tidak memublikasikan arsitektur checkpoint atau jumlah parameter, jadi label Turbo tidak boleh digunakan untuk mengarang ukuran atau mengambil arsitektur model Omni lain.
Alat dan batasan penting
Matriks kemampuan model yang tepat ini tidak mendukung pemanggilan fungsi, pencarian web bawaan, atau keluaran terstruktur dengan penegakan skema. Matriks tersebut mencantumkan inferensi batch pada beberapa konfigurasi produsen dan caching konteks pada konfigurasi lain. Meminta daftar atau jawaban berbentuk JSON adalah permintaan format teks, bukan jaminan penegakan skema. Kemampuan model memahami tugas visual atau lisan juga tidak memberinya akses ke informasi terkini atau sistem eksternal.
Periksa apakah jawaban membedakan bukti yang terlihat, konten yang terdengar, dan interpretasi. Kutipan ucapan, label visual kecil, dan hubungan yang disimpulkan perlu dibandingkan dengan materi yang diberikan. Untuk hasil lisan, simpan teks pendamping jika tersedia agar peninjau dapat memeriksa penjelasannya. Keuntungan praktisnya adalah menghubungkan beberapa modalitas dalam satu respons, dengan keluaran ringkas yang ukurannya disesuaikan dengan edisi yang didokumentasikan.
POST /v1/chat/completionstexttext| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan qwen-omni-turbo | Bawaan— |
Kolommessages | Jenismessage[] | PersyaratanWajib | Nilai & batasan Item minimum: 1 | Bawaan— |
Kolommessages[].role | Jenisstring | PersyaratanWajib | Nilai & batasan Contoh: system, user, assistant, tool, function Kondisi: Peran ini direpresentasikan secara eksplisit oleh tipe kompatibilitas dalam kode sumber; kumpulan peran model yang tepat tetap khusus untuk tiap model. Bergantung pada model | Bawaan— |
Kolommessages[].content | Jenisstring|content_part[]|null | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].tool_calls | Jenistool_call[] | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].tool_call_id | Jenisstring | PersyaratanOpsional | Nilai & batasan Berlaku jika: role=tool; gunakan ID yang benar-benar dikembalikan | Bawaan— |
Kolommessages[].name | Jenisstring | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].reasoning_content | Jenisstring | PersyaratanOpsional | Nilai & batasan Berlaku jika: Kirim kembali penalaran yang benar-benar dikembalikan jika model ini menggunakannya | Bawaan— |
Kolommessages[].reasoning_details | Jenisobject|array | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolommax_tokens | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Bergantung pada model | Bawaan— |
Kolommax_completion_tokens | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Bergantung pada model | Bawaan— |
Kolomstream | Jenisboolean | PersyaratanOpsional | Nilai & batasan | Bawaanfalse |
Kolomstream_options.include_usage | Jenisboolean | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtemperature | Jenisnumber | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtop_p | Jenisnumber | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomstop | Jenisstring|string[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtools | Jenisfunction_tool[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtools[].type | Jenisstring | PersyaratanOpsional | Nilai & batasan function Bergantung pada model | Bawaan— |
Kolomtools[].function.name | Jenisstring | PersyaratanWajib | Nilai & batasan Berlaku jika: alat fungsi disediakan | Bawaan— |
Kolomtools[].function.description | Jenisstring | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolomtools[].function.parameters | JenisJSON_schema | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolomtool_choice | Jenisstring|object | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomparallel_tool_calls | Jenisboolean | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomresponse_format | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomreasoning_effort | Jenisstring | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomreasoning | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomservice_tier | Jenisstring | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolominstructions | Jenisstring | PersyaratanOpsional | Nilai & batasan Kolom kompatibilitas | Bawaan— |
Kolomfunctions | Jenisfunction[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomfunction_call | Jenisstring|object | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomprompt_cache_options | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolommodalities | Jenisstring[] | PersyaratanOpsional | Nilai & batasan text | Bawaan— |
Kolomprovider | Jenisobject | PersyaratanOpsional | Nilai & batasan Kondisi: provider.options ditolak pada rute teks Ultra ini | Bawaan— |
Kolomcache_control.ttl | Jenisstring | PersyaratanOpsional | Nilai & batasan Kondisi: 1h ditolak pada lokasi cache prompt yang digunakan | Bawaan— |
Teks · Teks UTF8
messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages |
Parametermaterial_types | Kontraktext |
Parametermessages | Kontrakarray pesan dengan struktur role/content |
Parameterfile_material | Kontrakdokumen UTF-8 yang sebenarnya dimasukkan sebagai teks apa adanya; ID file tidak disimpulkan |
Parameteroptional_controls | Kontrakstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontrakkhusus model; alat fungsi pengguna berbeda dari alat yang dihosting |
Parameteroutput_modalities | Kontraktext |
Parameterhosted_operations | Kontrakfalse |
Parametermultimodal_input_binding | Kontraknull |
Siklus hidup: synchronous_or_streamed
Kirim ID model yang tepat bersama messages.
Panjang konteks bukan batas keluaran.
File teks dapat menyediakan teks apa adanya; masukan gambar/audio/objek file memerlukan pengikatan yang tepat.
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.0046 / 1K token Keluaran · Token keluaran $0.0138 / 1K token Masukan · Pembacaan cache $0 / 1K token Masukan · Penulisan cache $0 / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen-omni-turbo", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen-omni-turbo',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson atau SSE
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan setiap alternatif jawaban beserta konten, panggilan alat, dan penalarannya. Dalam SSE, gabungkan delta menurut indeks alternatif jawaban/alat, lalu pertahankan alasan penghentian akhir dan data penggunaan.
Simpan ID permintaan/respons dan header. URL umum untuk pengambilan tugas teks tidak disediakan.
| Kolom | Jenis |
|---|---|
Kolomchoices[].index | Jenisinteger |
Kolomchoices[].message.content | Jenisstring|null |
Kolomchoices[].message.tool_calls | Jenistool_call[] |
Kolomchoices[].message.reasoning_content | Jenisstring |
Kolomchoices[].message.reasoning_details | Jenisobject|array |
Kolomchoices[].finish_reason | Jenisstring|null |
Kolomusage | Jenisobject |
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Ailoot Ultra qwen-omni-turbo
Gunakan jalur metode yang ditampilkan di atas.
qwen-omni-turboQwen-Omni-Turbo menggabungkan teks, gambar, audio, dan video dalam satu tugas multimodal serta dapat melakukan streaming teks dengan respons lisan. Gunakan untuk menghubungkan pertanyaan lisan dengan bukti visual atau menjelaskan klip audiovisual, dalam batas produsen: konteks 32.768 token dan keluaran 2.048 token.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
Ikhtisar: pemahaman media gabungan dan jawaban lisan
Qwen-Omni-Turbo adalah model pemahaman dan generasi multimodal Qwen. Model ini menerima teks, gambar, ucapan, dan video, termasuk kombinasi masukan tersebut, serta menghasilkan teks atau teks dengan ucapan alami. Produsen menjelaskan streaming teks dan ucapan secara bersamaan, dengan empat pilihan suara percakapan alami. Ini membuat model relevan untuk tugas ketika pertanyaan dan buktinya datang dalam bentuk berbeda, seperti pertanyaan lisan tentang foto atau penjelasan adegan audiovisual.
Nama yang tepat dan edisinya
Halaman model terkini produsen menjelaskan qwen-omni-turbo sebagai setara secara fungsional dengan snapshot qwen-omni-turbo-2025-03-26. Halaman tersebut mencantumkan qwen-omni-turbo-latest secara terpisah sebagai nama yang diperbarui secara dinamis dan membedakan snapshot terdahulu qwen-omni-turbo-2025-01-19. Snapshot Maret dijelaskan meningkatkan kemampuan visual dibandingkan Januari. Ini adalah hubungan antaredisi yang dijelaskan produsen, bukan bukti bahwa setiap rute aplikasi bernama mirip menggunakan bobot atau pengaturan identik. Pertahankan nama snapshot bertanggal ketika tugas memerlukan versi yang tepat.
Nama Turbo tidak mengidentifikasi edisi real-time yang terpisah, generasi Qwen-Omni yang lebih baru, atau checkpoint terbuka Qwen2.5-Omni-7B. Aturan masukan, suara, dan antarmukanya memerlukan dokumentasi masing-masing. Khususnya, empat pilihan suara yang dijelaskan untuk Omni-Turbo tidak boleh disalin ke deskripsi checkpoint terbuka yang memiliki dua suara.
Menyiapkan tugas media gabungan
Nyatakan apa yang perlu dihubungkan model antarmasukan. Untuk pertanyaan lisan tentang diagram, berikan diagram dan pertanyaan bersama-sama, lalu minta penjelasan tentang elemen yang terlihat dan sedang dibahas. Untuk video dengan ucapan, tentukan apakah hasil yang diinginkan adalah ringkasan hal yang terlihat, hal yang dikatakan, atau hubungan keduanya. Keluaran yang berguna dapat memisahkan pengamatan visual dari pengamatan audio sebelum kesimpulan.
Untuk peninjauan multimedia, berikan cuplikan singkat yang relevan, bukan beberapa aset yang tidak berkaitan. Beri label pada gambar dan jelaskan perannya jika ada lebih dari satu. Pertahankan audio dan informasi waktu yang penting untuk pertanyaan. Minta hasil yang terarah, seperti penjelasan lisan untuk pendengar atau daftar teks ringkas tentang detail adegan. Ini adalah contoh penerapan yang dirumuskan dari kemampuan masukan gabungan yang didokumentasikan, bukan klaim bahwa klip tertentu telah dianalisis.
Keluaran teks dan ucapan
Menurut deskripsi produsen, model ini mendukung respons teks serta streaming teks dan ucapan secara bersamaan. Penjelasan lisan dapat sesuai untuk bantuan percakapan, sedangkan teks lebih mudah diperiksa, dicari, dan dibandingkan dengan materi sumber. Mode keluaran yang dipilih dan kendali suara bergantung pada antarmuka yang menyediakan model. Streaming menjelaskan pengiriman dalam bagian-bagian berurutan; ini bukan jaminan waktu respons atau bukti bahwa protokol percakapan real-time yang terpisah tersedia.
Batas konteks dan keluaran
Spesifikasi khusus mencantumkan jendela konteks 32.768 token, panjang masukan maksimum 30.720 token, dan panjang keluaran maksimum 2.048 token. Siapkan materi sumber dan jawaban yang diinginkan dengan mempertimbangkan batas-batas terpisah tersebut. Masukan multimodal harus muat dalam anggaran representasinya, bukan hanya hitungan karakter yang diketik. Permintaan narasi panjang perlu dipersempit menjadi penjelasan singkat yang muat dalam jatah keluaran.
Batas token tersebut tidak menetapkan durasi universal dalam menit atau jumlah gambar universal. Prapemrosesan media dan edisi yang dipilih memengaruhi jumlah materi yang dapat dimuat. Halaman model tidak memublikasikan arsitektur checkpoint atau jumlah parameter, jadi label Turbo tidak boleh digunakan untuk mengarang ukuran atau mengambil arsitektur model Omni lain.
Alat dan batasan penting
Matriks kemampuan model yang tepat ini tidak mendukung pemanggilan fungsi, pencarian web bawaan, atau keluaran terstruktur dengan penegakan skema. Matriks tersebut mencantumkan inferensi batch pada beberapa konfigurasi produsen dan caching konteks pada konfigurasi lain. Meminta daftar atau jawaban berbentuk JSON adalah permintaan format teks, bukan jaminan penegakan skema. Kemampuan model memahami tugas visual atau lisan juga tidak memberinya akses ke informasi terkini atau sistem eksternal.
Periksa apakah jawaban membedakan bukti yang terlihat, konten yang terdengar, dan interpretasi. Kutipan ucapan, label visual kecil, dan hubungan yang disimpulkan perlu dibandingkan dengan materi yang diberikan. Untuk hasil lisan, simpan teks pendamping jika tersedia agar peninjau dapat memeriksa penjelasannya. Keuntungan praktisnya adalah menghubungkan beberapa modalitas dalam satu respons, dengan keluaran ringkas yang ukurannya disesuaikan dengan edisi yang didokumentasikan.
POST /v1/messagestextjson, sse| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan qwen-omni-turbo | Bawaan— |
Kolommessages | Jenismessage[] | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolommessages[].role | Jenisstring | PersyaratanWajib | Nilai & batasan user, assistant | Bawaan— |
Kolommessages[].content | Jenisstring | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolommax_tokens | Jenisinteger | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolomstream | Jenisboolean | PersyaratanOpsional | Nilai & batasan | Bawaanfalse |
Teks · Teks UTF-8
string messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages, max_tokens |
Parameteroptional_controls | Kontrakstream |
Parametermaterial_types | Kontraktext |
Parametertext_file_material | KontrakBaca dokumen UTF-8 yang sebenarnya dan masukkan teksnya ke string masukan atau konten pesan yang ditunjukkan. |
Siklus hidup: synchronous_or_streamed
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.0046 / 1K token Keluaran · Token keluaran $0.0138 / 1K token Masukan · Pembacaan cache $0 / 1K token Masukan · Penulisan cache $0 / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
{\n "model": "qwen-omni-turbo",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen-omni-turbo', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON atau SSE
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan semua blok konten, tanda tangan penalaran, dan ID penggunaan alat yang sebenarnya. Gabungkan semua delta blok SSE; blok teks pertama bukan keseluruhan keluaran.
Simpan ID permintaan/respons dan header. URL umum untuk pengambilan tugas teks tidak disediakan.
| Kolom | Jenis |
|---|---|
Kolomid | Jenisstring |
Kolommodel | Jenisstring |
Kolomcontent[] | Jenistext|thinking|tool_use|other content block |
Kolomstop_reason | Jenisstring|null |
Kolomusage | Jenisobject |
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Ailoot Ultra qwen-omni-turbo
Gunakan jalur metode yang ditampilkan di atas.
Contoh teknis dalam bahasa Inggris
Reconcile written scene and speech notes\n\nCompare these text notes from a training clip. [Visible note] The operator places a red tag on the empty bin. [Speech transcript] "Use a yellow tag when cleaning is due." Summarize the discrepancy and draft one clarification question for the trainer. Use only the supplied notes; do not claim to hear audio or view video.A concise discrepancy statement and one question, with visible-note and speech-transcript evidence kept separate.Check that neither color is silently corrected and the response makes no claim of media access.