Ikhtisar: satu model untuk beberapa modalitas masukan
Qwen2.5-Omni-7B adalah model multimodal menyeluruh Qwen untuk teks, gambar, audio, dan video. Model ini dapat memahami masukan tersebut secara bersama-sama dan menghasilkan teks beserta ucapan alami dalam alur kerja streaming. Gunakan model ini ketika tugas bergantung pada apa yang terlihat sekaligus terdengar, atau ketika pengguna memberikan instruksi lewat suara alih-alih mengetik. Ini adalah checkpoint 7B yang spesifik; Omni-Turbo komersial dan rilis Omni yang lebih baru memiliki kontrak tersendiri.
Fitur utama dan arsitektur
Desain Thinker-Talker menggabungkan pemahaman dengan pembuatan ucapan. Thinker memproses tugas multimodal dan menghasilkan konten tekstual, sedangkan Talker berperan dalam membentuk respons lisan. TMRoPE, skema posisi multimodal yang diselaraskan dengan waktu dari pembuatnya, menyinkronkan stempel waktu video dengan audio. Arsitektur ini dirancang untuk masukan per potongan dan interaksi suara atau video yang responsif; tujuan desain tersebut bukan jaminan waktu respons tetap untuk setiap antarmuka.
Cakupan tugas dari pembuatnya meliputi pengenalan ucapan, penerjemahan ucapan, pemahaman audio, penalaran gambar, pemahaman video, dan pembuatan ucapan. Karena itu, instruksi lisan dapat berperan langsung dalam pertanyaan multimodal tanpa selalu memerlukan transkrip ketikan yang disediakan secara terpisah. Pastikan tugas sasaran jelas: memahami klip audio, menjawab pertanyaan lisan, dan menghasilkan jawaban lisan adalah penggunaan yang berbeda meskipun model mendukung semua bentuk masukan atau keluarannya.
Menyiapkan percakapan multimodal
Berikan media yang relevan dan jelaskan bagaimana jawaban harus menghubungkannya. Untuk demonstrasi bernarasi, minta model membedakan langkah yang terlihat dari penjelasan pembicara dan mengidentifikasi bagian yang selaras. Untuk gambar beserta pertanyaan audio, jelaskan peran gambar dan minta jawaban ringkas berdasarkan konten yang terlihat. Untuk cuplikan yang hanya berisi audio, nyatakan apakah tujuannya mengenali ucapan, menjelaskan suara, atau menjawab pertanyaan tentang konten. Ini merupakan penerapan yang dirancang berdasarkan cakupan tugas yang didokumentasikan.
Contoh dari pembuatnya memperlihatkan percakapan hanya teks, hanya audio, hanya video, dan media campuran. Pertahankan urutan dan waktu asli video. Beri label pada aset terpisah agar model dapat merujuknya tanpa memperlakukan bukti yang tidak berkaitan sebagai satu kejadian. Hasil dapat berupa teks saja atau teks beserta ucapan; pilih artefak yang berguna sebelum menyiapkan permintaan.
Persiapan keluaran ucapan
Resep checkpoint Qwen memerlukan prompt sistem kemampuan audio yang didokumentasikan ketika keluaran ucapan diperlukan. Prompt tersebut mengidentifikasi Qwen dan kemampuan pendengaran, visual, teks, serta ucapannya; penggantian yang tidak berkaitan dapat menghalangi perilaku audio yang diharapkan. Ini merupakan panduan untuk alur kerja checkpoint dari pembuatnya, bukan pernyataan bahwa setiap aplikasi menyediakan kontrol prompt sistem atau pembuatan audio.
Checkpoint yang spesifik ini menawarkan dua suara: Chelsie, suara perempuan yang hangat, dan Ethan, suara laki-laki yang ceria. Chelsie adalah pilihan bawaan yang didokumentasikan ketika tidak ada pembicara yang dipilih. Contoh pembuatannya menulis ucapan dengan laju sampel 24,000 Hz. Kedua suara ini tidak boleh diganti dengan deskripsi empat suara dari model komersial bernama lain.
Menggunakan audio dari video
Trek suara video dapat relevan dengan maknanya, seperti instruksi lisan atau suara yang dihasilkan tindakan yang terlihat. Qwen menyediakan use_audio_in_video pada tahap persiapan media, pemrosesan, dan pembuatan keluaran. Pengaturan ini harus konsisten pada ketiga tahap dan sepanjang percakapan beberapa giliran; pengaturan yang tidak konsisten dapat menghasilkan hasil tak terduga. Karena itu, interpretasi visual video saja berbeda dari interpretasi audiovisual, meskipun berkasnya sama.
Keluaran hanya teks dan pemrosesan batch
Pembuatnya mendukung keluaran hanya teks dengan mengatur return_audio=False. Talker juga dapat dinonaktifkan setelah pemuatan, sehingga mengurangi memori GPU sekitar 2 GB, tetapi keluaran audio menjadi tidak tersedia dalam instans tersebut. Contoh pemrosesan batch sampel campuran yang didokumentasikan memerlukan return_audio=False dan menggabungkan permintaan teks, gambar, audio, serta video. Contoh batch tersebut tidak boleh dijadikan klaim pembuatan ucapan dalam batch.
Konteks dan batasan substantif
Konfigurasi tulang punggung teks checkpoint ini menetapkan posisi maksimum sebesar 32,768. Teks, media yang direpresentasikan, dan respons yang dihasilkan memakai ruang urutan; nilai ini tidak secara mandiri menetapkan durasi audio atau video yang berlaku universal. Contoh sumber daya dari pembuatnya menunjukkan bahwa video yang lebih panjang memerlukan jauh lebih banyak memori, sehingga klip pendek yang relevan sering lebih praktis daripada rekaman besar yang tidak berkaitan. Contoh-contoh tersebut tidak memublikasikan panjang jawaban maksimum tegas yang terpisah atau durasi media yang dijamin secara universal.
Periksa kutipan ucapan dan kesimpulan terhadap sumber, pertahankan detail visual yang cukup untuk pertanyaan, dan simpan hasil tekstual ketika peninjau perlu memeriksa penjelasan lisan. Nilai model yang didokumentasikan adalah pemahaman gabungan serta respons teks/ucapan, sedangkan kontrol suara yang tepat, pemrosesan media, dan penyampaian keluaran tetap merupakan fitur antarmuka yang dipilih.
", "aboutText": "Ikhtisar: satu model untuk beberapa modalitas masukan\n\nQwen2.5-Omni-7B adalah model multimodal menyeluruh Qwen untuk teks, gambar, audio, dan video. Model ini dapat memahami masukan tersebut secara bersama-sama dan menghasilkan teks beserta ucapan alami dalam alur kerja streaming. Gunakan model ini ketika tugas bergantung pada apa yang terlihat sekaligus terdengar, atau ketika pengguna memberikan instruksi lewat suara alih-alih mengetik. Ini adalah checkpoint 7B yang spesifik; Omni-Turbo komersial dan rilis Omni yang lebih baru memiliki kontrak tersendiri.\n\nFitur utama dan arsitektur\n\nDesain Thinker-Talker menggabungkan pemahaman dengan pembuatan ucapan. Thinker memproses tugas multimodal dan menghasilkan konten tekstual, sedangkan Talker berperan dalam membentuk respons lisan. TMRoPE, skema posisi multimodal yang diselaraskan dengan waktu dari pembuatnya, menyinkronkan stempel waktu video dengan audio. Arsitektur ini dirancang untuk masukan per potongan dan interaksi suara atau video yang responsif; tujuan desain tersebut bukan jaminan waktu respons tetap untuk setiap antarmuka.\n\nCakupan tugas dari pembuatnya meliputi pengenalan ucapan, penerjemahan ucapan, pemahaman audio, penalaran gambar, pemahaman video, dan pembuatan ucapan. Karena itu, instruksi lisan dapat berperan langsung dalam pertanyaan multimodal tanpa selalu memerlukan transkrip ketikan yang disediakan secara terpisah. Pastikan tugas sasaran jelas: memahami klip audio, menjawab pertanyaan lisan, dan menghasilkan jawaban lisan adalah penggunaan yang berbeda meskipun model mendukung semua bentuk masukan atau keluarannya.\n\nMenyiapkan percakapan multimodal\n\nBerikan media yang relevan dan jelaskan bagaimana jawaban harus menghubungkannya. Untuk demonstrasi bernarasi, minta model membedakan langkah yang terlihat dari penjelasan pembicara dan mengidentifikasi bagian yang selaras. Untuk gambar beserta pertanyaan audio, jelaskan peran gambar dan minta jawaban ringkas berdasarkan konten yang terlihat. Untuk cuplikan yang hanya berisi audio, nyatakan apakah tujuannya mengenali ucapan, menjelaskan suara, atau menjawab pertanyaan tentang konten. Ini merupakan penerapan yang dirancang berdasarkan cakupan tugas yang didokumentasikan.\n\nContoh dari pembuatnya memperlihatkan percakapan hanya teks, hanya audio, hanya video, dan media campuran. Pertahankan urutan dan waktu asli video. Beri label pada aset terpisah agar model dapat merujuknya tanpa memperlakukan bukti yang tidak berkaitan sebagai satu kejadian. Hasil dapat berupa teks saja atau teks beserta ucapan; pilih artefak yang berguna sebelum menyiapkan permintaan.\n\nPersiapan keluaran ucapan\n\nResep checkpoint Qwen memerlukan prompt sistem kemampuan audio yang didokumentasikan ketika keluaran ucapan diperlukan. Prompt tersebut mengidentifikasi Qwen dan kemampuan pendengaran, visual, teks, serta ucapannya; penggantian yang tidak berkaitan dapat menghalangi perilaku audio yang diharapkan. Ini merupakan panduan untuk alur kerja checkpoint dari pembuatnya, bukan pernyataan bahwa setiap aplikasi menyediakan kontrol prompt sistem atau pembuatan audio.\n\nCheckpoint yang spesifik ini menawarkan dua suara: Chelsie, suara perempuan yang hangat, dan Ethan, suara laki-laki yang ceria. Chelsie adalah pilihan bawaan yang didokumentasikan ketika tidak ada pembicara yang dipilih. Contoh pembuatannya menulis ucapan dengan laju sampel 24,000 Hz. Kedua suara ini tidak boleh diganti dengan deskripsi empat suara dari model komersial bernama lain.\n\nMenggunakan audio dari video\n\nTrek suara video dapat relevan dengan maknanya, seperti instruksi lisan atau suara yang dihasilkan tindakan yang terlihat. Qwen menyediakan use_audio_in_video pada tahap persiapan media, pemrosesan, dan pembuatan keluaran. Pengaturan ini harus konsisten pada ketiga tahap dan sepanjang percakapan beberapa giliran; pengaturan yang tidak konsisten dapat menghasilkan hasil tak terduga. Karena itu, interpretasi visual video saja berbeda dari interpretasi audiovisual, meskipun berkasnya sama.\n\nKeluaran hanya teks dan pemrosesan batch\n\nPembuatnya mendukung keluaran hanya teks dengan mengatur return_audio=False. Talker juga dapat dinonaktifkan setelah pemuatan, sehingga mengurangi memori GPU sekitar 2 GB, tetapi keluaran audio menjadi tidak tersedia dalam instans tersebut. Contoh pemrosesan batch sampel campuran yang didokumentasikan memerlukan return_audio=False dan menggabungkan permintaan teks, gambar, audio, serta video. Contoh batch tersebut tidak boleh dijadikan klaim pembuatan ucapan dalam batch.\n\nKonteks dan batasan substantif\n\nKonfigurasi tulang punggung teks checkpoint ini menetapkan posisi maksimum sebesar 32,768. Teks, media yang direpresentasikan, dan respons yang dihasilkan memakai ruang urutan; nilai ini tidak secara mandiri menetapkan durasi audio atau video yang berlaku universal. Contoh sumber daya dari pembuatnya menunjukkan bahwa video yang lebih panjang memerlukan jauh lebih banyak memori, sehingga klip pendek yang relevan sering lebih praktis daripada rekaman besar yang tidak berkaitan. Contoh-contoh tersebut tidak memublikasikan panjang jawaban maksimum tegas yang terpisah atau durasi media yang dijamin secara universal.\n\nPeriksa kutipan ucapan dan kesimpulan terhadap sumber, pertahankan detail visual yang cukup untuk pertanyaan, dan simpan hasil tekstual ketika peninjau perlu memeriksa penjelasan lisan. Nilai model yang didokumentasikan adalah pemahaman gabungan serta respons teks/ucapan, sedangkan kontrol suara yang tepat, pemrosesan media, dan penyampaian keluaran tetap merupakan fitur antarmuka yang dipilih.", "editorialOverlay": { "copy_fields": { "practical_html": "Contoh teknis dalam bahasa Inggris
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.qwen2.5-omni-7bQwen2.5-Omni-7B menggabungkan pemahaman teks, gambar, audio, dan video dengan keluaran teks serta ucapan alami. Arsitektur Thinker-Talker-nya menyelaraskan audio dengan waktu video, mendukung interaksi streaming, dan menawarkan dua suara yang didokumentasikan dalam checkpoint terbuka yang spesifik ini.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
Ikhtisar: satu model untuk beberapa modalitas masukan
Qwen2.5-Omni-7B adalah model multimodal menyeluruh Qwen untuk teks, gambar, audio, dan video. Model ini dapat memahami masukan tersebut secara bersama-sama dan menghasilkan teks beserta ucapan alami dalam alur kerja streaming. Gunakan model ini ketika tugas bergantung pada apa yang terlihat sekaligus terdengar, atau ketika pengguna memberikan instruksi lewat suara alih-alih mengetik. Ini adalah checkpoint 7B yang spesifik; Omni-Turbo komersial dan rilis Omni yang lebih baru memiliki kontrak tersendiri.
Fitur utama dan arsitektur
Desain Thinker-Talker menggabungkan pemahaman dengan pembuatan ucapan. Thinker memproses tugas multimodal dan menghasilkan konten tekstual, sedangkan Talker berperan dalam membentuk respons lisan. TMRoPE, skema posisi multimodal yang diselaraskan dengan waktu dari pembuatnya, menyinkronkan stempel waktu video dengan audio. Arsitektur ini dirancang untuk masukan per potongan dan interaksi suara atau video yang responsif; tujuan desain tersebut bukan jaminan waktu respons tetap untuk setiap antarmuka.
Cakupan tugas dari pembuatnya meliputi pengenalan ucapan, penerjemahan ucapan, pemahaman audio, penalaran gambar, pemahaman video, dan pembuatan ucapan. Karena itu, instruksi lisan dapat berperan langsung dalam pertanyaan multimodal tanpa selalu memerlukan transkrip ketikan yang disediakan secara terpisah. Pastikan tugas sasaran jelas: memahami klip audio, menjawab pertanyaan lisan, dan menghasilkan jawaban lisan adalah penggunaan yang berbeda meskipun model mendukung semua bentuk masukan atau keluarannya.
Menyiapkan percakapan multimodal
Berikan media yang relevan dan jelaskan bagaimana jawaban harus menghubungkannya. Untuk demonstrasi bernarasi, minta model membedakan langkah yang terlihat dari penjelasan pembicara dan mengidentifikasi bagian yang selaras. Untuk gambar beserta pertanyaan audio, jelaskan peran gambar dan minta jawaban ringkas berdasarkan konten yang terlihat. Untuk cuplikan yang hanya berisi audio, nyatakan apakah tujuannya mengenali ucapan, menjelaskan suara, atau menjawab pertanyaan tentang konten. Ini merupakan penerapan yang dirancang berdasarkan cakupan tugas yang didokumentasikan.
Contoh dari pembuatnya memperlihatkan percakapan hanya teks, hanya audio, hanya video, dan media campuran. Pertahankan urutan dan waktu asli video. Beri label pada aset terpisah agar model dapat merujuknya tanpa memperlakukan bukti yang tidak berkaitan sebagai satu kejadian. Hasil dapat berupa teks saja atau teks beserta ucapan; pilih artefak yang berguna sebelum menyiapkan permintaan.
Persiapan keluaran ucapan
Resep checkpoint Qwen memerlukan prompt sistem kemampuan audio yang didokumentasikan ketika keluaran ucapan diperlukan. Prompt tersebut mengidentifikasi Qwen dan kemampuan pendengaran, visual, teks, serta ucapannya; penggantian yang tidak berkaitan dapat menghalangi perilaku audio yang diharapkan. Ini merupakan panduan untuk alur kerja checkpoint dari pembuatnya, bukan pernyataan bahwa setiap aplikasi menyediakan kontrol prompt sistem atau pembuatan audio.
Checkpoint yang spesifik ini menawarkan dua suara: Chelsie, suara perempuan yang hangat, dan Ethan, suara laki-laki yang ceria. Chelsie adalah pilihan bawaan yang didokumentasikan ketika tidak ada pembicara yang dipilih. Contoh pembuatannya menulis ucapan dengan laju sampel 24,000 Hz. Kedua suara ini tidak boleh diganti dengan deskripsi empat suara dari model komersial bernama lain.
Menggunakan audio dari video
Trek suara video dapat relevan dengan maknanya, seperti instruksi lisan atau suara yang dihasilkan tindakan yang terlihat. Qwen menyediakan use_audio_in_video pada tahap persiapan media, pemrosesan, dan pembuatan keluaran. Pengaturan ini harus konsisten pada ketiga tahap dan sepanjang percakapan beberapa giliran; pengaturan yang tidak konsisten dapat menghasilkan hasil tak terduga. Karena itu, interpretasi visual video saja berbeda dari interpretasi audiovisual, meskipun berkasnya sama.
Keluaran hanya teks dan pemrosesan batch
Pembuatnya mendukung keluaran hanya teks dengan mengatur return_audio=False. Talker juga dapat dinonaktifkan setelah pemuatan, sehingga mengurangi memori GPU sekitar 2 GB, tetapi keluaran audio menjadi tidak tersedia dalam instans tersebut. Contoh pemrosesan batch sampel campuran yang didokumentasikan memerlukan return_audio=False dan menggabungkan permintaan teks, gambar, audio, serta video. Contoh batch tersebut tidak boleh dijadikan klaim pembuatan ucapan dalam batch.
Konteks dan batasan substantif
Konfigurasi tulang punggung teks checkpoint ini menetapkan posisi maksimum sebesar 32,768. Teks, media yang direpresentasikan, dan respons yang dihasilkan memakai ruang urutan; nilai ini tidak secara mandiri menetapkan durasi audio atau video yang berlaku universal. Contoh sumber daya dari pembuatnya menunjukkan bahwa video yang lebih panjang memerlukan jauh lebih banyak memori, sehingga klip pendek yang relevan sering lebih praktis daripada rekaman besar yang tidak berkaitan. Contoh-contoh tersebut tidak memublikasikan panjang jawaban maksimum tegas yang terpisah atau durasi media yang dijamin secara universal.
Periksa kutipan ucapan dan kesimpulan terhadap sumber, pertahankan detail visual yang cukup untuk pertanyaan, dan simpan hasil tekstual ketika peninjau perlu memeriksa penjelasan lisan. Nilai model yang didokumentasikan adalah pemahaman gabungan serta respons teks/ucapan, sedangkan kontrol suara yang tepat, pemrosesan media, dan penyampaian keluaran tetap merupakan fitur antarmuka yang dipilih.
POST /v1/chat/completionstexttext| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan qwen2.5-omni-7b | Bawaan— |
Kolommessages | Jenismessage[] | PersyaratanWajib | Nilai & batasan Item minimum: 1 | Bawaan— |
Kolommessages[].role | Jenisstring | PersyaratanWajib | Nilai & batasan Contoh: system, user, assistant, tool, function Kondisi: Peran ini direpresentasikan secara eksplisit oleh tipe kompatibilitas dalam kode sumber; kumpulan peran model yang tepat tetap khusus untuk tiap model. Bergantung pada model | Bawaan— |
Kolommessages[].content | Jenisstring|content_part[]|null | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].tool_calls | Jenistool_call[] | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].tool_call_id | Jenisstring | PersyaratanOpsional | Nilai & batasan Berlaku jika: role=tool; gunakan ID yang benar-benar dikembalikan | Bawaan— |
Kolommessages[].name | Jenisstring | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].reasoning_content | Jenisstring | PersyaratanOpsional | Nilai & batasan Berlaku jika: Kirim kembali penalaran yang benar-benar dikembalikan jika model ini menggunakannya | Bawaan— |
Kolommessages[].reasoning_details | Jenisobject|array | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolommax_tokens | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Bergantung pada model | Bawaan— |
Kolommax_completion_tokens | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Bergantung pada model | Bawaan— |
Kolomstream | Jenisboolean | PersyaratanOpsional | Nilai & batasan | Bawaanfalse |
Kolomstream_options.include_usage | Jenisboolean | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtemperature | Jenisnumber | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtop_p | Jenisnumber | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomstop | Jenisstring|string[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtools | Jenisfunction_tool[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtools[].type | Jenisstring | PersyaratanOpsional | Nilai & batasan function Bergantung pada model | Bawaan— |
Kolomtools[].function.name | Jenisstring | PersyaratanWajib | Nilai & batasan Berlaku jika: alat fungsi disediakan | Bawaan— |
Kolomtools[].function.description | Jenisstring | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolomtools[].function.parameters | JenisJSON_schema | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolomtool_choice | Jenisstring|object | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomparallel_tool_calls | Jenisboolean | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomresponse_format | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomreasoning_effort | Jenisstring | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomreasoning | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomservice_tier | Jenisstring | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolominstructions | Jenisstring | PersyaratanOpsional | Nilai & batasan Kolom kompatibilitas | Bawaan— |
Kolomfunctions | Jenisfunction[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomfunction_call | Jenisstring|object | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomprompt_cache_options | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolommodalities | Jenisstring[] | PersyaratanOpsional | Nilai & batasan text | Bawaan— |
Kolomprovider | Jenisobject | PersyaratanOpsional | Nilai & batasan Kondisi: provider.options ditolak pada rute teks Ultra ini | Bawaan— |
Kolomcache_control.ttl | Jenisstring | PersyaratanOpsional | Nilai & batasan Kondisi: 1h ditolak pada lokasi cache prompt yang digunakan | Bawaan— |
Teks · Teks UTF8
messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages |
Parametermaterial_types | Kontraktext |
Parametermessages | Kontrakarray pesan dengan struktur role/content |
Parameterfile_material | Kontrakdokumen UTF-8 yang sebenarnya dimasukkan sebagai teks apa adanya; ID file tidak disimpulkan |
Parameteroptional_controls | Kontrakstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontrakkhusus model; alat fungsi pengguna berbeda dari alat yang dihosting |
Parameteroutput_modalities | Kontraktext |
Parameterhosted_operations | Kontrakfalse |
Parametermultimodal_input_binding | Kontraknull |
Siklus hidup: synchronous_or_streamed
Kirim ID model yang tepat bersama messages.
Panjang konteks bukan batas keluaran.
File teks dapat menyediakan teks apa adanya; masukan gambar/audio/objek file memerlukan pengikatan yang tepat.
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.0046 / 1K token Keluaran · Token keluaran $0.0138 / 1K token Masukan · Pembacaan cache $0 / 1K token Masukan · Penulisan cache $0 / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen2.5-omni-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson atau SSE
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan setiap alternatif jawaban beserta konten, panggilan alat, dan penalarannya. Dalam SSE, gabungkan delta menurut indeks alternatif jawaban/alat, lalu pertahankan alasan penghentian akhir dan data penggunaan.
Simpan ID permintaan/respons dan header. URL umum untuk pengambilan tugas teks tidak disediakan.
| Kolom | Jenis |
|---|---|
Kolomchoices[].index | Jenisinteger |
Kolomchoices[].message.content | Jenisstring|null |
Kolomchoices[].message.tool_calls | Jenistool_call[] |
Kolomchoices[].message.reasoning_content | Jenisstring |
Kolomchoices[].message.reasoning_details | Jenisobject|array |
Kolomchoices[].finish_reason | Jenisstring|null |
Kolomusage | Jenisobject |
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Ailoot Ultra qwen2.5-omni-7b
Gunakan jalur metode yang ditampilkan di atas.
qwen2.5-omni-7bQwen2.5-Omni-7B menggabungkan pemahaman teks, gambar, audio, dan video dengan keluaran teks serta ucapan alami. Arsitektur Thinker-Talker-nya menyelaraskan audio dengan waktu video, mendukung interaksi streaming, dan menawarkan dua suara yang didokumentasikan dalam checkpoint terbuka yang spesifik ini.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
Ikhtisar: satu model untuk beberapa modalitas masukan
Qwen2.5-Omni-7B adalah model multimodal menyeluruh Qwen untuk teks, gambar, audio, dan video. Model ini dapat memahami masukan tersebut secara bersama-sama dan menghasilkan teks beserta ucapan alami dalam alur kerja streaming. Gunakan model ini ketika tugas bergantung pada apa yang terlihat sekaligus terdengar, atau ketika pengguna memberikan instruksi lewat suara alih-alih mengetik. Ini adalah checkpoint 7B yang spesifik; Omni-Turbo komersial dan rilis Omni yang lebih baru memiliki kontrak tersendiri.
Fitur utama dan arsitektur
Desain Thinker-Talker menggabungkan pemahaman dengan pembuatan ucapan. Thinker memproses tugas multimodal dan menghasilkan konten tekstual, sedangkan Talker berperan dalam membentuk respons lisan. TMRoPE, skema posisi multimodal yang diselaraskan dengan waktu dari pembuatnya, menyinkronkan stempel waktu video dengan audio. Arsitektur ini dirancang untuk masukan per potongan dan interaksi suara atau video yang responsif; tujuan desain tersebut bukan jaminan waktu respons tetap untuk setiap antarmuka.
Cakupan tugas dari pembuatnya meliputi pengenalan ucapan, penerjemahan ucapan, pemahaman audio, penalaran gambar, pemahaman video, dan pembuatan ucapan. Karena itu, instruksi lisan dapat berperan langsung dalam pertanyaan multimodal tanpa selalu memerlukan transkrip ketikan yang disediakan secara terpisah. Pastikan tugas sasaran jelas: memahami klip audio, menjawab pertanyaan lisan, dan menghasilkan jawaban lisan adalah penggunaan yang berbeda meskipun model mendukung semua bentuk masukan atau keluarannya.
Menyiapkan percakapan multimodal
Berikan media yang relevan dan jelaskan bagaimana jawaban harus menghubungkannya. Untuk demonstrasi bernarasi, minta model membedakan langkah yang terlihat dari penjelasan pembicara dan mengidentifikasi bagian yang selaras. Untuk gambar beserta pertanyaan audio, jelaskan peran gambar dan minta jawaban ringkas berdasarkan konten yang terlihat. Untuk cuplikan yang hanya berisi audio, nyatakan apakah tujuannya mengenali ucapan, menjelaskan suara, atau menjawab pertanyaan tentang konten. Ini merupakan penerapan yang dirancang berdasarkan cakupan tugas yang didokumentasikan.
Contoh dari pembuatnya memperlihatkan percakapan hanya teks, hanya audio, hanya video, dan media campuran. Pertahankan urutan dan waktu asli video. Beri label pada aset terpisah agar model dapat merujuknya tanpa memperlakukan bukti yang tidak berkaitan sebagai satu kejadian. Hasil dapat berupa teks saja atau teks beserta ucapan; pilih artefak yang berguna sebelum menyiapkan permintaan.
Persiapan keluaran ucapan
Resep checkpoint Qwen memerlukan prompt sistem kemampuan audio yang didokumentasikan ketika keluaran ucapan diperlukan. Prompt tersebut mengidentifikasi Qwen dan kemampuan pendengaran, visual, teks, serta ucapannya; penggantian yang tidak berkaitan dapat menghalangi perilaku audio yang diharapkan. Ini merupakan panduan untuk alur kerja checkpoint dari pembuatnya, bukan pernyataan bahwa setiap aplikasi menyediakan kontrol prompt sistem atau pembuatan audio.
Checkpoint yang spesifik ini menawarkan dua suara: Chelsie, suara perempuan yang hangat, dan Ethan, suara laki-laki yang ceria. Chelsie adalah pilihan bawaan yang didokumentasikan ketika tidak ada pembicara yang dipilih. Contoh pembuatannya menulis ucapan dengan laju sampel 24,000 Hz. Kedua suara ini tidak boleh diganti dengan deskripsi empat suara dari model komersial bernama lain.
Menggunakan audio dari video
Trek suara video dapat relevan dengan maknanya, seperti instruksi lisan atau suara yang dihasilkan tindakan yang terlihat. Qwen menyediakan use_audio_in_video pada tahap persiapan media, pemrosesan, dan pembuatan keluaran. Pengaturan ini harus konsisten pada ketiga tahap dan sepanjang percakapan beberapa giliran; pengaturan yang tidak konsisten dapat menghasilkan hasil tak terduga. Karena itu, interpretasi visual video saja berbeda dari interpretasi audiovisual, meskipun berkasnya sama.
Keluaran hanya teks dan pemrosesan batch
Pembuatnya mendukung keluaran hanya teks dengan mengatur return_audio=False. Talker juga dapat dinonaktifkan setelah pemuatan, sehingga mengurangi memori GPU sekitar 2 GB, tetapi keluaran audio menjadi tidak tersedia dalam instans tersebut. Contoh pemrosesan batch sampel campuran yang didokumentasikan memerlukan return_audio=False dan menggabungkan permintaan teks, gambar, audio, serta video. Contoh batch tersebut tidak boleh dijadikan klaim pembuatan ucapan dalam batch.
Konteks dan batasan substantif
Konfigurasi tulang punggung teks checkpoint ini menetapkan posisi maksimum sebesar 32,768. Teks, media yang direpresentasikan, dan respons yang dihasilkan memakai ruang urutan; nilai ini tidak secara mandiri menetapkan durasi audio atau video yang berlaku universal. Contoh sumber daya dari pembuatnya menunjukkan bahwa video yang lebih panjang memerlukan jauh lebih banyak memori, sehingga klip pendek yang relevan sering lebih praktis daripada rekaman besar yang tidak berkaitan. Contoh-contoh tersebut tidak memublikasikan panjang jawaban maksimum tegas yang terpisah atau durasi media yang dijamin secara universal.
Periksa kutipan ucapan dan kesimpulan terhadap sumber, pertahankan detail visual yang cukup untuk pertanyaan, dan simpan hasil tekstual ketika peninjau perlu memeriksa penjelasan lisan. Nilai model yang didokumentasikan adalah pemahaman gabungan serta respons teks/ucapan, sedangkan kontrol suara yang tepat, pemrosesan media, dan penyampaian keluaran tetap merupakan fitur antarmuka yang dipilih.
POST /v1/messagestextjson, sse| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan qwen2.5-omni-7b | Bawaan— |
Kolommessages | Jenismessage[] | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolommessages[].role | Jenisstring | PersyaratanWajib | Nilai & batasan user, assistant | Bawaan— |
Kolommessages[].content | Jenisstring | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolommax_tokens | Jenisinteger | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolomstream | Jenisboolean | PersyaratanOpsional | Nilai & batasan | Bawaanfalse |
Teks · Teks UTF-8
string messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages, max_tokens |
Parameteroptional_controls | Kontrakstream |
Parametermaterial_types | Kontraktext |
Parametertext_file_material | KontrakBaca dokumen UTF-8 yang sebenarnya dan masukkan teksnya ke string masukan atau konten pesan yang ditunjukkan. |
Siklus hidup: synchronous_or_streamed
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.0046 / 1K token Keluaran · Token keluaran $0.0138 / 1K token Masukan · Pembacaan cache $0 / 1K token Masukan · Penulisan cache $0 / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
{\n "model": "qwen2.5-omni-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON atau SSE
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan semua blok konten, tanda tangan penalaran, dan ID penggunaan alat yang sebenarnya. Gabungkan semua delta blok SSE; blok teks pertama bukan keseluruhan keluaran.
Simpan ID permintaan/respons dan header. URL umum untuk pengambilan tugas teks tidak disediakan.
| Kolom | Jenis |
|---|---|
Kolomid | Jenisstring |
Kolommodel | Jenisstring |
Kolomcontent[] | Jenistext|thinking|tool_use|other content block |
Kolomstop_reason | Jenisstring|null |
Kolomusage | Jenisobject |
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Ailoot Ultra qwen2.5-omni-7b
Gunakan jalur metode yang ditampilkan di atas.
Contoh teknis dalam bahasa Inggris
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.