Qwen3-32B-FP8 adalah checkpoint FP8 resmi dari model bahasa dense Qwen3-32B. Pengembang menjelaskan matematika, penalaran logis, generasi kode, penulisan kreatif, dialog berbasis peran, dan mengikuti instruksi dalam banyak giliran. Keluarga mendukung lebih dari 100 bahasa dan dialek. Masukan dan keluaran berupa teks, dan rilis yang sama menyediakan perilaku berpikir serta respons langsung.
Model memiliki 32,8 miliar parameter, termasuk 31,2 miliar di luar embedding, dan 64 lapisan. Grouped-query attention memiliki 64 head kueri dan delapan head key/value. Ini adalah arsitektur dense, berbeda dari rilis mixture-of-experts Qwen3 dengan jumlah parameter total dan aktif. FP8 juga termasuk identitas edisi persis. Untuk asisten pengembangan, berikan fungsi, spesifikasi, dan beberapa masukan, lalu minta penjelasan perilaku saat ini dan implementasi revisi yang mempertahankan antarmuka yang disepakati. Untuk tugas editorial, berikan sumber sebenarnya, pembaca sasaran, dan istilah, bukan mengandalkan latar yang tidak ditentukan.
Panduan mulai cepat pengembang memakai templat chat yang ditetapkan. Pisahkan tugas dari materi yang diberikan dan tentukan bentuk akhir. Permintaan analisis bermanfaat dapat membandingkan dua pendekatan validasi data dengan aturan bidang sama, mengidentifikasi kasus yang diterima tiap pendekatan, dan mengembalikan usulan fungsi validasi. Sertakan aturan nilai yang hilang, data representatif, dan pesan galat yang diperlukan. Untuk konten multibahasa, berikan glosarium dan minta terjemahan serta daftar istilah yang perlu ditinjau. Persiapan ini membuat hasil generasi dapat diperiksa terhadap masukan konkret. Integrasi yang dipublikasikan membutuhkan lingkungan eksekusi yang mengenali Qwen3; kartu memperingatkan bahwa versi Transformers di bawah 4.51.0 tidak mengenali arsitektur yang diperlukan.
Catatan FP8 menjelaskan kuantisasi berbutir halus dengan ukuran blok 128. Konfigurasi checkpoint juga mengidentifikasi pengaturan kuantisasi FP8. Pengembang mencantumkan Transformers, SGLang, dan vLLM untuk inferensi, tetapi menyoroti masalah inferensi terdistribusi dengan FP8 berbutir halus dalam Transformers dan menyebut penggunaan banyak perangkat mungkin memerlukan CUDA_LAUNCH_BLOCKING=1. Pisahkan peringatan kompatibilitas ini dari kemampuan teks. Identitas terkuantisasi tidak dengan sendirinya menetapkan latensi terukur, penghematan perangkat keras, atau kesetaraan respons dengan checkpoint awal.
Berpikir diaktifkan secara bawaan dalam templat yang diberikan. Pengaturan keras tanpa berpikir menekan bagian penalaran. Ketika berpikir tetap aktif, /think dan /no_think menjadi kontrol lunak untuk giliran selanjutnya, dengan instruksi terbaru berlaku; kontrol ini tidak menimpa penonaktifan keras. Minta penalaran ketika model harus memeriksa kondisi bertentangan, lalu gunakan tindak lanjut langsung untuk menyajikan hasil yang diterima dalam format ringkas. Pisahkan respons akhir dan gunakan respons akhir, bukan penalaran sebelumnya, sebagai riwayat giliran berikutnya. Dengan berpikir aktif, bahkan permintaan lunak tanpa berpikir tetap mempertahankan blok penalaran; isinya dapat kosong. Penonaktifan keras menghapus blok itu.
Kartu mencakup penggunaan agen dan menyarankan Qwen-Agent untuk pemformatan serta penguraian alat. Aplikasi menyediakan definisi alat, memeriksa pemanggilan, mengeksekusi, dan mengembalikan hasil. Dalam contoh validasi, pelaksana pengujian terkendali dapat mengevaluasi kode usulan terhadap kasus yang diberikan. Minta model merangkum hasil lulus/gagal sebenarnya dan merevisi kondisi gagal yang disebutkan. Keluaran tidak boleh memperlakukan usulan pemanggilan sebagai bukti eksekusi. Tentukan ruang lingkup yang diizinkan dan bidang keluaran alat sebelum memulai alur kerja. Panduan Qwen3 juga menjelaskan pemanggilan alat paralel dan multilangkah, dengan argumen direpresentasikan sebagai objek dan hasil diberikan kembali ke percakapan.
Kartu persis mencantumkan 32.768 token konteks asli dan 131.072 dengan YaRN. Perluasan bergantung konfigurasi; penskalaan statis dapat memengaruhi teks lebih pendek. Masukan dan hasil generasi mengisi anggaran urutan. Labeli bagian sumber panjang dan alokasikan ruang cukup untuk kode serta penjelasan yang diperlukan. Contoh keluaran yang dipublikasikan dan panjang yang disarankan tidak menetapkan batas keras keluaran universal. Untuk generasi lebih panjang, evaluasi apakah hasil tetap koheren dan memenuhi persyaratan tugas. Dokumentasi Qwen3 membahas panjang pesan asisten 38.912 token dalam mode berpikir dan 16.384 dalam mode tanpa berpikir dalam penjelasan panjang pelatihannya serta menyarankan evaluasi kualitas generasi lebih panjang. Angka ini berbeda dari jendela konteks keseluruhan dan bukan batas keras khusus endpoint. Kartu juga menjelaskan alokasi posisi bawaan 40.960 token sebagai 8.192 untuk prompt umum ditambah 32.768 untuk keluaran; ini panduan konfigurasi pengembang, terpisah dari konteks pelatihan asli dan batas endpoint apa pun.
Pengaturan sampel yang disarankan adalah temperature 0,6, top-p 0,95, top-k 20, dan min-p 0 untuk berpikir, serta 0,7, 0,8, 20, dan 0 untuk mode langsung. Pengembang memperingatkan agar menghindari penalaran greedy karena pengulangan; presence penalty tinggi kadang dapat mencampur bahasa. Wajibkan jawaban akhir yang dapat diperiksa, seperti tabel keputusan, fungsi lengkap, dan daftar kasus. Validasi bidang terstruktur yang dikembalikan, periksa perhitungan terhadap sumber, dan jalankan kode dalam lingkungan yang dituju, dengan mempertahankan identitas FP8 persis ini ketika mencatat hasil.
", "aboutText": "Qwen3-32B-FP8 adalah checkpoint FP8 resmi dari model bahasa dense Qwen3-32B. Pengembang menjelaskan matematika, penalaran logis, generasi kode, penulisan kreatif, dialog berbasis peran, dan mengikuti instruksi dalam banyak giliran. Keluarga mendukung lebih dari 100 bahasa dan dialek. Masukan dan keluaran berupa teks, dan rilis yang sama menyediakan perilaku berpikir serta respons langsung.\n\nModel memiliki 32,8 miliar parameter, termasuk 31,2 miliar di luar embedding, dan 64 lapisan. Grouped-query attention memiliki 64 head kueri dan delapan head key/value. Ini adalah arsitektur dense, berbeda dari rilis mixture-of-experts Qwen3 dengan jumlah parameter total dan aktif. FP8 juga termasuk identitas edisi persis. Untuk asisten pengembangan, berikan fungsi, spesifikasi, dan beberapa masukan, lalu minta penjelasan perilaku saat ini dan implementasi revisi yang mempertahankan antarmuka yang disepakati. Untuk tugas editorial, berikan sumber sebenarnya, pembaca sasaran, dan istilah, bukan mengandalkan latar yang tidak ditentukan.\n\nPanduan mulai cepat pengembang memakai templat chat yang ditetapkan. Pisahkan tugas dari materi yang diberikan dan tentukan bentuk akhir. Permintaan analisis bermanfaat dapat membandingkan dua pendekatan validasi data dengan aturan bidang sama, mengidentifikasi kasus yang diterima tiap pendekatan, dan mengembalikan usulan fungsi validasi. Sertakan aturan nilai yang hilang, data representatif, dan pesan galat yang diperlukan. Untuk konten multibahasa, berikan glosarium dan minta terjemahan serta daftar istilah yang perlu ditinjau. Persiapan ini membuat hasil generasi dapat diperiksa terhadap masukan konkret. Integrasi yang dipublikasikan membutuhkan lingkungan eksekusi yang mengenali Qwen3; kartu memperingatkan bahwa versi Transformers di bawah 4.51.0 tidak mengenali arsitektur yang diperlukan.\n\nCatatan FP8 menjelaskan kuantisasi berbutir halus dengan ukuran blok 128. Konfigurasi checkpoint juga mengidentifikasi pengaturan kuantisasi FP8. Pengembang mencantumkan Transformers, SGLang, dan vLLM untuk inferensi, tetapi menyoroti masalah inferensi terdistribusi dengan FP8 berbutir halus dalam Transformers dan menyebut penggunaan banyak perangkat mungkin memerlukan CUDA_LAUNCH_BLOCKING=1. Pisahkan peringatan kompatibilitas ini dari kemampuan teks. Identitas terkuantisasi tidak dengan sendirinya menetapkan latensi terukur, penghematan perangkat keras, atau kesetaraan respons dengan checkpoint awal.\n\nBerpikir diaktifkan secara bawaan dalam templat yang diberikan. Pengaturan keras tanpa berpikir menekan bagian penalaran. Ketika berpikir tetap aktif, /think dan /no_think menjadi kontrol lunak untuk giliran selanjutnya, dengan instruksi terbaru berlaku; kontrol ini tidak menimpa penonaktifan keras. Minta penalaran ketika model harus memeriksa kondisi bertentangan, lalu gunakan tindak lanjut langsung untuk menyajikan hasil yang diterima dalam format ringkas. Pisahkan respons akhir dan gunakan respons akhir, bukan penalaran sebelumnya, sebagai riwayat giliran berikutnya. Dengan berpikir aktif, bahkan permintaan lunak tanpa berpikir tetap mempertahankan blok penalaran; isinya dapat kosong. Penonaktifan keras menghapus blok itu.\n\nKartu mencakup penggunaan agen dan menyarankan Qwen-Agent untuk pemformatan serta penguraian alat. Aplikasi menyediakan definisi alat, memeriksa pemanggilan, mengeksekusi, dan mengembalikan hasil. Dalam contoh validasi, pelaksana pengujian terkendali dapat mengevaluasi kode usulan terhadap kasus yang diberikan. Minta model merangkum hasil lulus/gagal sebenarnya dan merevisi kondisi gagal yang disebutkan. Keluaran tidak boleh memperlakukan usulan pemanggilan sebagai bukti eksekusi. Tentukan ruang lingkup yang diizinkan dan bidang keluaran alat sebelum memulai alur kerja. Panduan Qwen3 juga menjelaskan pemanggilan alat paralel dan multilangkah, dengan argumen direpresentasikan sebagai objek dan hasil diberikan kembali ke percakapan.\n\nKartu persis mencantumkan 32.768 token konteks asli dan 131.072 dengan YaRN. Perluasan bergantung konfigurasi; penskalaan statis dapat memengaruhi teks lebih pendek. Masukan dan hasil generasi mengisi anggaran urutan. Labeli bagian sumber panjang dan alokasikan ruang cukup untuk kode serta penjelasan yang diperlukan. Contoh keluaran yang dipublikasikan dan panjang yang disarankan tidak menetapkan batas keras keluaran universal. Untuk generasi lebih panjang, evaluasi apakah hasil tetap koheren dan memenuhi persyaratan tugas. Dokumentasi Qwen3 membahas panjang pesan asisten 38.912 token dalam mode berpikir dan 16.384 dalam mode tanpa berpikir dalam penjelasan panjang pelatihannya serta menyarankan evaluasi kualitas generasi lebih panjang. Angka ini berbeda dari jendela konteks keseluruhan dan bukan batas keras khusus endpoint. Kartu juga menjelaskan alokasi posisi bawaan 40.960 token sebagai 8.192 untuk prompt umum ditambah 32.768 untuk keluaran; ini panduan konfigurasi pengembang, terpisah dari konteks pelatihan asli dan batas endpoint apa pun.\n\nPengaturan sampel yang disarankan adalah temperature 0,6, top-p 0,95, top-k 20, dan min-p 0 untuk berpikir, serta 0,7, 0,8, 20, dan 0 untuk mode langsung. Pengembang memperingatkan agar menghindari penalaran greedy karena pengulangan; presence penalty tinggi kadang dapat mencampur bahasa. Wajibkan jawaban akhir yang dapat diperiksa, seperti tabel keputusan, fungsi lengkap, dan daftar kasus. Validasi bidang terstruktur yang dikembalikan, periksa perhitungan terhadap sumber, dan jalankan kode dalam lingkungan yang dituju, dengan mempertahankan identitas FP8 persis ini ketika mencatat hasil.", "editorialOverlay": { "copy_fields": { "practical_html": "Contoh teknis dalam bahasa Inggris
Compare missing-value validators\n\nCompare two Python validators for an optional quantity: A uses if not value: return None; B uses if value is None: return None. Requirement: None means omitted, integer zero is valid, and negative quantities are invalid. Explain each validator's behavior for None, 0 and -1, then propose a complete function with explicit validation errors.A three-input comparison table and a proposed function implementing the supplied rules.Check zero is preserved rather than treated as missing, and negatives are rejected explicitly.qwen/qwen3-32b-fp8Qwen3-32B-FP8 adalah edisi FP8 berbutir halus dari model teks dense 32,8 miliar parameter Qwen3. Model menggabungkan respons langsung dan berpikir untuk penulisan multibahasa, kode, dan analisis, dengan detail checkpoint serta kompatibilitas tersendiri.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
Qwen3-32B-FP8 adalah checkpoint FP8 resmi dari model bahasa dense Qwen3-32B. Pengembang menjelaskan matematika, penalaran logis, generasi kode, penulisan kreatif, dialog berbasis peran, dan mengikuti instruksi dalam banyak giliran. Keluarga mendukung lebih dari 100 bahasa dan dialek. Masukan dan keluaran berupa teks, dan rilis yang sama menyediakan perilaku berpikir serta respons langsung.
Model memiliki 32,8 miliar parameter, termasuk 31,2 miliar di luar embedding, dan 64 lapisan. Grouped-query attention memiliki 64 head kueri dan delapan head key/value. Ini adalah arsitektur dense, berbeda dari rilis mixture-of-experts Qwen3 dengan jumlah parameter total dan aktif. FP8 juga termasuk identitas edisi persis. Untuk asisten pengembangan, berikan fungsi, spesifikasi, dan beberapa masukan, lalu minta penjelasan perilaku saat ini dan implementasi revisi yang mempertahankan antarmuka yang disepakati. Untuk tugas editorial, berikan sumber sebenarnya, pembaca sasaran, dan istilah, bukan mengandalkan latar yang tidak ditentukan.
Panduan mulai cepat pengembang memakai templat chat yang ditetapkan. Pisahkan tugas dari materi yang diberikan dan tentukan bentuk akhir. Permintaan analisis bermanfaat dapat membandingkan dua pendekatan validasi data dengan aturan bidang sama, mengidentifikasi kasus yang diterima tiap pendekatan, dan mengembalikan usulan fungsi validasi. Sertakan aturan nilai yang hilang, data representatif, dan pesan galat yang diperlukan. Untuk konten multibahasa, berikan glosarium dan minta terjemahan serta daftar istilah yang perlu ditinjau. Persiapan ini membuat hasil generasi dapat diperiksa terhadap masukan konkret. Integrasi yang dipublikasikan membutuhkan lingkungan eksekusi yang mengenali Qwen3; kartu memperingatkan bahwa versi Transformers di bawah 4.51.0 tidak mengenali arsitektur yang diperlukan.
Catatan FP8 menjelaskan kuantisasi berbutir halus dengan ukuran blok 128. Konfigurasi checkpoint juga mengidentifikasi pengaturan kuantisasi FP8. Pengembang mencantumkan Transformers, SGLang, dan vLLM untuk inferensi, tetapi menyoroti masalah inferensi terdistribusi dengan FP8 berbutir halus dalam Transformers dan menyebut penggunaan banyak perangkat mungkin memerlukan CUDA_LAUNCH_BLOCKING=1. Pisahkan peringatan kompatibilitas ini dari kemampuan teks. Identitas terkuantisasi tidak dengan sendirinya menetapkan latensi terukur, penghematan perangkat keras, atau kesetaraan respons dengan checkpoint awal.
Berpikir diaktifkan secara bawaan dalam templat yang diberikan. Pengaturan keras tanpa berpikir menekan bagian penalaran. Ketika berpikir tetap aktif, /think dan /no_think menjadi kontrol lunak untuk giliran selanjutnya, dengan instruksi terbaru berlaku; kontrol ini tidak menimpa penonaktifan keras. Minta penalaran ketika model harus memeriksa kondisi bertentangan, lalu gunakan tindak lanjut langsung untuk menyajikan hasil yang diterima dalam format ringkas. Pisahkan respons akhir dan gunakan respons akhir, bukan penalaran sebelumnya, sebagai riwayat giliran berikutnya. Dengan berpikir aktif, bahkan permintaan lunak tanpa berpikir tetap mempertahankan blok penalaran; isinya dapat kosong. Penonaktifan keras menghapus blok itu.
Kartu mencakup penggunaan agen dan menyarankan Qwen-Agent untuk pemformatan serta penguraian alat. Aplikasi menyediakan definisi alat, memeriksa pemanggilan, mengeksekusi, dan mengembalikan hasil. Dalam contoh validasi, pelaksana pengujian terkendali dapat mengevaluasi kode usulan terhadap kasus yang diberikan. Minta model merangkum hasil lulus/gagal sebenarnya dan merevisi kondisi gagal yang disebutkan. Keluaran tidak boleh memperlakukan usulan pemanggilan sebagai bukti eksekusi. Tentukan ruang lingkup yang diizinkan dan bidang keluaran alat sebelum memulai alur kerja. Panduan Qwen3 juga menjelaskan pemanggilan alat paralel dan multilangkah, dengan argumen direpresentasikan sebagai objek dan hasil diberikan kembali ke percakapan.
Kartu persis mencantumkan 32.768 token konteks asli dan 131.072 dengan YaRN. Perluasan bergantung konfigurasi; penskalaan statis dapat memengaruhi teks lebih pendek. Masukan dan hasil generasi mengisi anggaran urutan. Labeli bagian sumber panjang dan alokasikan ruang cukup untuk kode serta penjelasan yang diperlukan. Contoh keluaran yang dipublikasikan dan panjang yang disarankan tidak menetapkan batas keras keluaran universal. Untuk generasi lebih panjang, evaluasi apakah hasil tetap koheren dan memenuhi persyaratan tugas. Dokumentasi Qwen3 membahas panjang pesan asisten 38.912 token dalam mode berpikir dan 16.384 dalam mode tanpa berpikir dalam penjelasan panjang pelatihannya serta menyarankan evaluasi kualitas generasi lebih panjang. Angka ini berbeda dari jendela konteks keseluruhan dan bukan batas keras khusus endpoint. Kartu juga menjelaskan alokasi posisi bawaan 40.960 token sebagai 8.192 untuk prompt umum ditambah 32.768 untuk keluaran; ini panduan konfigurasi pengembang, terpisah dari konteks pelatihan asli dan batas endpoint apa pun.
Pengaturan sampel yang disarankan adalah temperature 0,6, top-p 0,95, top-k 20, dan min-p 0 untuk berpikir, serta 0,7, 0,8, 20, dan 0 untuk mode langsung. Pengembang memperingatkan agar menghindari penalaran greedy karena pengulangan; presence penalty tinggi kadang dapat mencampur bahasa. Wajibkan jawaban akhir yang dapat diperiksa, seperti tabel keputusan, fungsi lengkap, dan daftar kasus. Validasi bidang terstruktur yang dikembalikan, periksa perhitungan terhadap sumber, dan jalankan kode dalam lingkungan yang dituju, dengan mempertahankan identitas FP8 persis ini ketika mencatat hasil.
POST /v1/chat/completionstexttext| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan qwen/qwen3-32b-fp8 | Bawaan— |
Kolommessages | Jenismessage[] | PersyaratanWajib | Nilai & batasan Item minimum: 1 | Bawaan— |
Kolommessages[].role | Jenisstring | PersyaratanWajib | Nilai & batasan Contoh: system, user, assistant, tool, function Kondisi: Peran ini direpresentasikan secara eksplisit oleh tipe kompatibilitas dalam kode sumber; kumpulan peran model yang tepat tetap khusus untuk tiap model. Bergantung pada model | Bawaan— |
Kolommessages[].content | Jenisstring|content_part[]|null | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].tool_calls | Jenistool_call[] | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].tool_call_id | Jenisstring | PersyaratanOpsional | Nilai & batasan Berlaku jika: role=tool; gunakan ID yang benar-benar dikembalikan | Bawaan— |
Kolommessages[].name | Jenisstring | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].reasoning_content | Jenisstring | PersyaratanOpsional | Nilai & batasan Berlaku jika: Kirim kembali penalaran yang benar-benar dikembalikan jika model ini menggunakannya | Bawaan— |
Kolommessages[].reasoning_details | Jenisobject|array | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolommax_tokens | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Bergantung pada model | Bawaan— |
Kolommax_completion_tokens | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Bergantung pada model | Bawaan— |
Kolomstream | Jenisboolean | PersyaratanOpsional | Nilai & batasan | Bawaanfalse |
Kolomstream_options.include_usage | Jenisboolean | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtemperature | Jenisnumber | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtop_p | Jenisnumber | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomstop | Jenisstring|string[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtools | Jenisfunction_tool[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtools[].type | Jenisstring | PersyaratanOpsional | Nilai & batasan function Bergantung pada model | Bawaan— |
Kolomtools[].function.name | Jenisstring | PersyaratanWajib | Nilai & batasan Berlaku jika: alat fungsi disediakan | Bawaan— |
Kolomtools[].function.description | Jenisstring | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolomtools[].function.parameters | JenisJSON_schema | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolomtool_choice | Jenisstring|object | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomparallel_tool_calls | Jenisboolean | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomresponse_format | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomreasoning_effort | Jenisstring | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomreasoning | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomservice_tier | Jenisstring | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolominstructions | Jenisstring | PersyaratanOpsional | Nilai & batasan Kolom kompatibilitas | Bawaan— |
Kolomfunctions | Jenisfunction[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomfunction_call | Jenisstring|object | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomprompt_cache_options | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolommodalities | Jenisstring[] | PersyaratanOpsional | Nilai & batasan text | Bawaan— |
Kolomprovider | Jenisobject | PersyaratanOpsional | Nilai & batasan Kondisi: provider.options ditolak pada rute teks Ultra ini | Bawaan— |
Kolomcache_control.ttl | Jenisstring | PersyaratanOpsional | Nilai & batasan Kondisi: 1h ditolak pada lokasi cache prompt yang digunakan | Bawaan— |
Teks · Teks UTF8
messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages |
Parametermaterial_types | Kontraktext |
Parametermessages | Kontrakarray pesan dengan struktur role/content |
Parameterfile_material | Kontrakdokumen UTF-8 yang sebenarnya dimasukkan sebagai teks apa adanya; ID file tidak disimpulkan |
Parameteroptional_controls | Kontrakstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontrakkhusus model; alat fungsi pengguna berbeda dari alat yang dihosting |
Parameteroutput_modalities | Kontraktext |
Parameterhosted_operations | Kontrakfalse |
Parametermultimodal_input_binding | Kontraknull |
Siklus hidup: synchronous_or_streamed
Kirim ID model yang tepat bersama messages.
Panjang konteks bukan batas keluaran.
File teks dapat menyediakan teks apa adanya; masukan gambar/audio/objek file memerlukan pengikatan yang tepat.
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.0002 / 1K token Keluaran · Token keluaran $0.001 / 1K token Masukan · Pembacaan cache $0 / 1K token Masukan · Penulisan cache $0 / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen/qwen3-32b-fp8", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen/qwen3-32b-fp8',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen/qwen3-32b-fp8',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson atau SSE
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan setiap alternatif jawaban beserta konten, panggilan alat, dan penalarannya. Dalam SSE, gabungkan delta menurut indeks alternatif jawaban/alat, lalu pertahankan alasan penghentian akhir dan data penggunaan.
Simpan ID permintaan/respons dan header. URL umum untuk pengambilan tugas teks tidak disediakan.
| Kolom | Jenis |
|---|---|
Kolomchoices[].index | Jenisinteger |
Kolomchoices[].message.content | Jenisstring|null |
Kolomchoices[].message.tool_calls | Jenistool_call[] |
Kolomchoices[].message.reasoning_content | Jenisstring |
Kolomchoices[].message.reasoning_details | Jenisobject|array |
Kolomchoices[].finish_reason | Jenisstring|null |
Kolomusage | Jenisobject |
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Ailoot Ultra qwen/qwen3-32b-fp8
Gunakan jalur metode yang ditampilkan di atas.
qwen/qwen3-32b-fp8Qwen3-32B-FP8 adalah edisi FP8 berbutir halus dari model teks dense 32,8 miliar parameter Qwen3. Model menggabungkan respons langsung dan berpikir untuk penulisan multibahasa, kode, dan analisis, dengan detail checkpoint serta kompatibilitas tersendiri.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
Qwen3-32B-FP8 adalah checkpoint FP8 resmi dari model bahasa dense Qwen3-32B. Pengembang menjelaskan matematika, penalaran logis, generasi kode, penulisan kreatif, dialog berbasis peran, dan mengikuti instruksi dalam banyak giliran. Keluarga mendukung lebih dari 100 bahasa dan dialek. Masukan dan keluaran berupa teks, dan rilis yang sama menyediakan perilaku berpikir serta respons langsung.
Model memiliki 32,8 miliar parameter, termasuk 31,2 miliar di luar embedding, dan 64 lapisan. Grouped-query attention memiliki 64 head kueri dan delapan head key/value. Ini adalah arsitektur dense, berbeda dari rilis mixture-of-experts Qwen3 dengan jumlah parameter total dan aktif. FP8 juga termasuk identitas edisi persis. Untuk asisten pengembangan, berikan fungsi, spesifikasi, dan beberapa masukan, lalu minta penjelasan perilaku saat ini dan implementasi revisi yang mempertahankan antarmuka yang disepakati. Untuk tugas editorial, berikan sumber sebenarnya, pembaca sasaran, dan istilah, bukan mengandalkan latar yang tidak ditentukan.
Panduan mulai cepat pengembang memakai templat chat yang ditetapkan. Pisahkan tugas dari materi yang diberikan dan tentukan bentuk akhir. Permintaan analisis bermanfaat dapat membandingkan dua pendekatan validasi data dengan aturan bidang sama, mengidentifikasi kasus yang diterima tiap pendekatan, dan mengembalikan usulan fungsi validasi. Sertakan aturan nilai yang hilang, data representatif, dan pesan galat yang diperlukan. Untuk konten multibahasa, berikan glosarium dan minta terjemahan serta daftar istilah yang perlu ditinjau. Persiapan ini membuat hasil generasi dapat diperiksa terhadap masukan konkret. Integrasi yang dipublikasikan membutuhkan lingkungan eksekusi yang mengenali Qwen3; kartu memperingatkan bahwa versi Transformers di bawah 4.51.0 tidak mengenali arsitektur yang diperlukan.
Catatan FP8 menjelaskan kuantisasi berbutir halus dengan ukuran blok 128. Konfigurasi checkpoint juga mengidentifikasi pengaturan kuantisasi FP8. Pengembang mencantumkan Transformers, SGLang, dan vLLM untuk inferensi, tetapi menyoroti masalah inferensi terdistribusi dengan FP8 berbutir halus dalam Transformers dan menyebut penggunaan banyak perangkat mungkin memerlukan CUDA_LAUNCH_BLOCKING=1. Pisahkan peringatan kompatibilitas ini dari kemampuan teks. Identitas terkuantisasi tidak dengan sendirinya menetapkan latensi terukur, penghematan perangkat keras, atau kesetaraan respons dengan checkpoint awal.
Berpikir diaktifkan secara bawaan dalam templat yang diberikan. Pengaturan keras tanpa berpikir menekan bagian penalaran. Ketika berpikir tetap aktif, /think dan /no_think menjadi kontrol lunak untuk giliran selanjutnya, dengan instruksi terbaru berlaku; kontrol ini tidak menimpa penonaktifan keras. Minta penalaran ketika model harus memeriksa kondisi bertentangan, lalu gunakan tindak lanjut langsung untuk menyajikan hasil yang diterima dalam format ringkas. Pisahkan respons akhir dan gunakan respons akhir, bukan penalaran sebelumnya, sebagai riwayat giliran berikutnya. Dengan berpikir aktif, bahkan permintaan lunak tanpa berpikir tetap mempertahankan blok penalaran; isinya dapat kosong. Penonaktifan keras menghapus blok itu.
Kartu mencakup penggunaan agen dan menyarankan Qwen-Agent untuk pemformatan serta penguraian alat. Aplikasi menyediakan definisi alat, memeriksa pemanggilan, mengeksekusi, dan mengembalikan hasil. Dalam contoh validasi, pelaksana pengujian terkendali dapat mengevaluasi kode usulan terhadap kasus yang diberikan. Minta model merangkum hasil lulus/gagal sebenarnya dan merevisi kondisi gagal yang disebutkan. Keluaran tidak boleh memperlakukan usulan pemanggilan sebagai bukti eksekusi. Tentukan ruang lingkup yang diizinkan dan bidang keluaran alat sebelum memulai alur kerja. Panduan Qwen3 juga menjelaskan pemanggilan alat paralel dan multilangkah, dengan argumen direpresentasikan sebagai objek dan hasil diberikan kembali ke percakapan.
Kartu persis mencantumkan 32.768 token konteks asli dan 131.072 dengan YaRN. Perluasan bergantung konfigurasi; penskalaan statis dapat memengaruhi teks lebih pendek. Masukan dan hasil generasi mengisi anggaran urutan. Labeli bagian sumber panjang dan alokasikan ruang cukup untuk kode serta penjelasan yang diperlukan. Contoh keluaran yang dipublikasikan dan panjang yang disarankan tidak menetapkan batas keras keluaran universal. Untuk generasi lebih panjang, evaluasi apakah hasil tetap koheren dan memenuhi persyaratan tugas. Dokumentasi Qwen3 membahas panjang pesan asisten 38.912 token dalam mode berpikir dan 16.384 dalam mode tanpa berpikir dalam penjelasan panjang pelatihannya serta menyarankan evaluasi kualitas generasi lebih panjang. Angka ini berbeda dari jendela konteks keseluruhan dan bukan batas keras khusus endpoint. Kartu juga menjelaskan alokasi posisi bawaan 40.960 token sebagai 8.192 untuk prompt umum ditambah 32.768 untuk keluaran; ini panduan konfigurasi pengembang, terpisah dari konteks pelatihan asli dan batas endpoint apa pun.
Pengaturan sampel yang disarankan adalah temperature 0,6, top-p 0,95, top-k 20, dan min-p 0 untuk berpikir, serta 0,7, 0,8, 20, dan 0 untuk mode langsung. Pengembang memperingatkan agar menghindari penalaran greedy karena pengulangan; presence penalty tinggi kadang dapat mencampur bahasa. Wajibkan jawaban akhir yang dapat diperiksa, seperti tabel keputusan, fungsi lengkap, dan daftar kasus. Validasi bidang terstruktur yang dikembalikan, periksa perhitungan terhadap sumber, dan jalankan kode dalam lingkungan yang dituju, dengan mempertahankan identitas FP8 persis ini ketika mencatat hasil.
POST /v1/messagestextjson, sse| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan qwen/qwen3-32b-fp8 | Bawaan— |
Kolommessages | Jenismessage[] | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolommessages[].role | Jenisstring | PersyaratanWajib | Nilai & batasan user, assistant | Bawaan— |
Kolommessages[].content | Jenisstring | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolommax_tokens | Jenisinteger | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolomstream | Jenisboolean | PersyaratanOpsional | Nilai & batasan | Bawaanfalse |
Teks · Teks UTF-8
string messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages, max_tokens |
Parameteroptional_controls | Kontrakstream |
Parametermaterial_types | Kontraktext |
Parametertext_file_material | KontrakBaca dokumen UTF-8 yang sebenarnya dan masukkan teksnya ke string masukan atau konten pesan yang ditunjukkan. |
Siklus hidup: synchronous_or_streamed
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
| Konfigurasi | Jadwal tarif | Biaya |
|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Biaya Masukan · Token masukan $0.0002 / 1K token Keluaran · Token keluaran $0.001 / 1K token Masukan · Pembacaan cache $0 / 1K token Masukan · Penulisan cache $0 / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
{\n "model": "qwen/qwen3-32b-fp8",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen/qwen3-32b-fp8', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen/qwen3-32b-fp8', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON atau SSE
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan semua blok konten, tanda tangan penalaran, dan ID penggunaan alat yang sebenarnya. Gabungkan semua delta blok SSE; blok teks pertama bukan keseluruhan keluaran.
Simpan ID permintaan/respons dan header. URL umum untuk pengambilan tugas teks tidak disediakan.
| Kolom | Jenis |
|---|---|
Kolomid | Jenisstring |
Kolommodel | Jenisstring |
Kolomcontent[] | Jenistext|thinking|tool_use|other content block |
Kolomstop_reason | Jenisstring|null |
Kolomusage | Jenisobject |
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Ailoot Ultra qwen/qwen3-32b-fp8
Gunakan jalur metode yang ditampilkan di atas.
Contoh teknis dalam bahasa Inggris
Compare missing-value validators\n\nCompare two Python validators for an optional quantity: A uses if not value: return None; B uses if value is None: return None. Requirement: None means omitted, integer zero is valid, and negative quantities are invalid. Explain each validator's behavior for None, 0 and -1, then propose a complete function with explicit validation errors.A three-input comparison table and a proposed function implementing the supplied rules.Check zero is preserved rather than treated as missing, and negatives are rejected explicitly.