Meta Llama 3.2 3B Instruct adalah model teks yang disetel mengikuti instruksi dan dirancang untuk percakapan asisten multibahasa, pekerjaan berbasis hasil penelusuran, dan peringkasan. Tabel model dari pembuatnya mengidentifikasi kelas 3B dengan 3.21B parameter. Model ini menerima teks dan menghasilkan teks atau kode. Pengembangannya menggabungkan pemangkasan model dan distilasi pengetahuan dengan penyetelan instruksi, sehingga menghasilkan profil model kecil untuk tugas penulisan dan asisten yang terarah.
Berikan materi sumber, pertanyaan, dan bentuk jawaban yang diharapkan kepada model. Permintaan bantuan menulis dapat menetapkan audiens, nada, dan detail yang harus dipertahankan. Permintaan ringkasan dapat menyebutkan bagian yang perlu dicakup serta panjang atau struktur yang diinginkan. Untuk jawaban singkat dari basis pengetahuan, sertakan kutipan yang relevan dan minta penjelasan yang berpijak pada sumber tersebut.
Pembuatnya menyebut penelusuran pengetahuan, peringkasan, asisten menulis seluler, penulisan ulang kueri, dan penulisan ulang prompt sebagai beberapa penggunaan model teks yang disetel mengikuti instruksi. Aplikasi penelusuran dapat menyediakan kutipan yang ditemukannya dan meminta model menyusun jawaban. Simpan pengenal kutipan bersama hasilnya agar pembaca atau komponen lain dapat memeriksa bukti.
Untuk penulisan ulang kueri, pertahankan pertanyaan asli dan minta rumusan pencarian singkat yang mempertahankan maksudnya. Untuk ringkasan dokumen, minta klaim utama beserta kualifikasi yang memengaruhinya. Periksa keluaran aktual untuk menemukan kondisi yang terlewat, angka yang berubah, atau informasi rekaan, terutama ketika jawaban singkat memadatkan sumber yang lebih panjang.
Bahasa Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thai adalah delapan bahasa yang didukung secara resmi. Nyatakan bahasa keluaran yang diinginkan dan pertahankan ejaan nama atau istilah khusus yang harus tetap sama. Tugas multibahasa perlu menyertakan konteks sumber yang cukup untuk menilai makna susunan kata yang dikembalikan, alih-alih hanya mengandalkan kelancaran bahasanya.
Checkpoint teks standar Llama 3.2 memiliki jendela konteks 128K token. Gunakan anggaran tersebut untuk materi sumber yang relevan, riwayat percakapan, dan hasil yang dihasilkan. Pertahankan keputusan terdahulu yang diperlukan untuk melanjutkan pekerjaan dan sisakan ruang bagi balasan. Batas waktu data prapelatihannya adalah Desember 2023, sehingga informasi setelah itu memerlukan bukti yang disertakan dalam tugas atau oleh aplikasi penelusuran yang menaunginya.
Ini adalah checkpoint Instruct, yang disiapkan untuk dialog seperti asisten. Kartu model menjelaskan penyetelan lanjutan terawasi dan penyelarasan dengan preferensi manusia, disertai distilasi tambahan selama pengembangan model kecil. Contoh penggunaannya menyediakan pesan sistem dan pengguna melalui format percakapan. Instruksi sistem dapat menetapkan peran dan harapan keluaran, sedangkan pesan pengguna menyediakan tugas dan sumber saat ini.
Saat menggunakan checkpoint secara langsung, gunakan format percakapan yang sesuai dengan rilis yang dipilih. Tentukan hasil dengan jelas dan periksa respons yang dihasilkan, termasuk hubungannya dengan bukti yang disediakan. Untuk artefak teks terstruktur, tentukan bidang atau judul bagian yang diperlukan dan validasi keluaran aktual sebelum aplikasi menggunakannya; permintaan format secara tertulis tidak menjamin bahwa setiap nilainya benar.
Pembuatnya membedakan model teks standar dari profil teks Llama 3.2 terkuantisasi yang diterbitkan secara terpisah. Tabel modelnya mencantumkan konteks 8K untuk profil terkuantisasi tersebut, berbeda dari jendela standar 128K. Pilih model bersama anggaran kerjanya, alih-alih menganggap setiap penerapan berlabel 3B mempertahankan alokasi konteks yang sama.
Model 3B Instruct juga berbeda dari model visi Llama 3.2 yang lebih besar. Untuk profil teks ini, siapkan materi sumber berbentuk teks atau teks yang diperoleh aplikasi yang menaunginya. Gunakan model untuk jawaban terarah, penulisan ulang, ringkasan, atau penjelasan kode singkat. Simpan checkpoint, prompt, dan sumber yang dipilih bersama hasilnya, lalu buat instruksi berikutnya yang secara khusus menyasar detail yang kurang atau kesalahan yang diamati.
", "aboutText": "Meta Llama 3.2 3B Instruct adalah model teks yang disetel mengikuti instruksi dan dirancang untuk percakapan asisten multibahasa, pekerjaan berbasis hasil penelusuran, dan peringkasan. Tabel model dari pembuatnya mengidentifikasi kelas 3B dengan 3.21B parameter. Model ini menerima teks dan menghasilkan teks atau kode. Pengembangannya menggabungkan pemangkasan model dan distilasi pengetahuan dengan penyetelan instruksi, sehingga menghasilkan profil model kecil untuk tugas penulisan dan asisten yang terarah.\n\n### Tentukan hasil teks dengan batas yang jelas\n\nBerikan materi sumber, pertanyaan, dan bentuk jawaban yang diharapkan kepada model. Permintaan bantuan menulis dapat menetapkan audiens, nada, dan detail yang harus dipertahankan. Permintaan ringkasan dapat menyebutkan bagian yang perlu dicakup serta panjang atau struktur yang diinginkan. Untuk jawaban singkat dari basis pengetahuan, sertakan kutipan yang relevan dan minta penjelasan yang berpijak pada sumber tersebut.\n\nPembuatnya menyebut penelusuran pengetahuan, peringkasan, asisten menulis seluler, penulisan ulang kueri, dan penulisan ulang prompt sebagai beberapa penggunaan model teks yang disetel mengikuti instruksi. Aplikasi penelusuran dapat menyediakan kutipan yang ditemukannya dan meminta model menyusun jawaban. Simpan pengenal kutipan bersama hasilnya agar pembaca atau komponen lain dapat memeriksa bukti.\n\nUntuk penulisan ulang kueri, pertahankan pertanyaan asli dan minta rumusan pencarian singkat yang mempertahankan maksudnya. Untuk ringkasan dokumen, minta klaim utama beserta kualifikasi yang memengaruhinya. Periksa keluaran aktual untuk menemukan kondisi yang terlewat, angka yang berubah, atau informasi rekaan, terutama ketika jawaban singkat memadatkan sumber yang lebih panjang.\n\n### Bahasa dan konteks\n\nBahasa Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thai adalah delapan bahasa yang didukung secara resmi. Nyatakan bahasa keluaran yang diinginkan dan pertahankan ejaan nama atau istilah khusus yang harus tetap sama. Tugas multibahasa perlu menyertakan konteks sumber yang cukup untuk menilai makna susunan kata yang dikembalikan, alih-alih hanya mengandalkan kelancaran bahasanya.\n\nCheckpoint teks standar Llama 3.2 memiliki jendela konteks 128K token. Gunakan anggaran tersebut untuk materi sumber yang relevan, riwayat percakapan, dan hasil yang dihasilkan. Pertahankan keputusan terdahulu yang diperlukan untuk melanjutkan pekerjaan dan sisakan ruang bagi balasan. Batas waktu data prapelatihannya adalah Desember 2023, sehingga informasi setelah itu memerlukan bukti yang disertakan dalam tugas atau oleh aplikasi penelusuran yang menaunginya.\n\n### Penyetelan instruksi dan format percakapan\n\nIni adalah checkpoint Instruct, yang disiapkan untuk dialog seperti asisten. Kartu model menjelaskan penyetelan lanjutan terawasi dan penyelarasan dengan preferensi manusia, disertai distilasi tambahan selama pengembangan model kecil. Contoh penggunaannya menyediakan pesan sistem dan pengguna melalui format percakapan. Instruksi sistem dapat menetapkan peran dan harapan keluaran, sedangkan pesan pengguna menyediakan tugas dan sumber saat ini.\n\nSaat menggunakan checkpoint secara langsung, gunakan format percakapan yang sesuai dengan rilis yang dipilih. Tentukan hasil dengan jelas dan periksa respons yang dihasilkan, termasuk hubungannya dengan bukti yang disediakan. Untuk artefak teks terstruktur, tentukan bidang atau judul bagian yang diperlukan dan validasi keluaran aktual sebelum aplikasi menggunakannya; permintaan format secara tertulis tidak menjamin bahwa setiap nilainya benar.\n\n### Profil standar, terkuantisasi, dan visi\n\nPembuatnya membedakan model teks standar dari profil teks Llama 3.2 terkuantisasi yang diterbitkan secara terpisah. Tabel modelnya mencantumkan konteks 8K untuk profil terkuantisasi tersebut, berbeda dari jendela standar 128K. Pilih model bersama anggaran kerjanya, alih-alih menganggap setiap penerapan berlabel 3B mempertahankan alokasi konteks yang sama.\n\nModel 3B Instruct juga berbeda dari model visi Llama 3.2 yang lebih besar. Untuk profil teks ini, siapkan materi sumber berbentuk teks atau teks yang diperoleh aplikasi yang menaunginya. Gunakan model untuk jawaban terarah, penulisan ulang, ringkasan, atau penjelasan kode singkat. Simpan checkpoint, prompt, dan sumber yang dipilih bersama hasilnya, lalu buat instruksi berikutnya yang secara khusus menyasar detail yang kurang atau kesalahan yang diamati.", "editorialOverlay": { "copy_fields": { "practical_html": "Contoh teknis dalam bahasa Inggris
Rewrite a knowledge-base query\n\nRewrite this support question into one concise search query: 'I changed my work email yesterday and now the old address still gets export notifications, even though I log in with the new one.' Preserve the distinction between login identity and notification destination. Return the query and two key concepts it must retain; do not answer the question.One search query plus two retained concepts covering changed login email and stale export-notification address.The rewrite keeps the notification problem and does not collapse it into a login failure.meta-llama/llama-3.2-3b-instructMeta Llama 3.2 3B Instruct adalah model teks ringkas untuk percakapan multibahasa, ringkasan berbasis hasil penelusuran, dan bantuan menulis. Checkpoint standarnya memiliki konteks 128K; varian terkuantisasi yang diterbitkan secara terpisah memiliki jendela kerja yang berbeda.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
Meta Llama 3.2 3B Instruct adalah model teks yang disetel mengikuti instruksi dan dirancang untuk percakapan asisten multibahasa, pekerjaan berbasis hasil penelusuran, dan peringkasan. Tabel model dari pembuatnya mengidentifikasi kelas 3B dengan 3.21B parameter. Model ini menerima teks dan menghasilkan teks atau kode. Pengembangannya menggabungkan pemangkasan model dan distilasi pengetahuan dengan penyetelan instruksi, sehingga menghasilkan profil model kecil untuk tugas penulisan dan asisten yang terarah.
Berikan materi sumber, pertanyaan, dan bentuk jawaban yang diharapkan kepada model. Permintaan bantuan menulis dapat menetapkan audiens, nada, dan detail yang harus dipertahankan. Permintaan ringkasan dapat menyebutkan bagian yang perlu dicakup serta panjang atau struktur yang diinginkan. Untuk jawaban singkat dari basis pengetahuan, sertakan kutipan yang relevan dan minta penjelasan yang berpijak pada sumber tersebut.
Pembuatnya menyebut penelusuran pengetahuan, peringkasan, asisten menulis seluler, penulisan ulang kueri, dan penulisan ulang prompt sebagai beberapa penggunaan model teks yang disetel mengikuti instruksi. Aplikasi penelusuran dapat menyediakan kutipan yang ditemukannya dan meminta model menyusun jawaban. Simpan pengenal kutipan bersama hasilnya agar pembaca atau komponen lain dapat memeriksa bukti.
Untuk penulisan ulang kueri, pertahankan pertanyaan asli dan minta rumusan pencarian singkat yang mempertahankan maksudnya. Untuk ringkasan dokumen, minta klaim utama beserta kualifikasi yang memengaruhinya. Periksa keluaran aktual untuk menemukan kondisi yang terlewat, angka yang berubah, atau informasi rekaan, terutama ketika jawaban singkat memadatkan sumber yang lebih panjang.
Bahasa Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thai adalah delapan bahasa yang didukung secara resmi. Nyatakan bahasa keluaran yang diinginkan dan pertahankan ejaan nama atau istilah khusus yang harus tetap sama. Tugas multibahasa perlu menyertakan konteks sumber yang cukup untuk menilai makna susunan kata yang dikembalikan, alih-alih hanya mengandalkan kelancaran bahasanya.
Checkpoint teks standar Llama 3.2 memiliki jendela konteks 128K token. Gunakan anggaran tersebut untuk materi sumber yang relevan, riwayat percakapan, dan hasil yang dihasilkan. Pertahankan keputusan terdahulu yang diperlukan untuk melanjutkan pekerjaan dan sisakan ruang bagi balasan. Batas waktu data prapelatihannya adalah Desember 2023, sehingga informasi setelah itu memerlukan bukti yang disertakan dalam tugas atau oleh aplikasi penelusuran yang menaunginya.
Ini adalah checkpoint Instruct, yang disiapkan untuk dialog seperti asisten. Kartu model menjelaskan penyetelan lanjutan terawasi dan penyelarasan dengan preferensi manusia, disertai distilasi tambahan selama pengembangan model kecil. Contoh penggunaannya menyediakan pesan sistem dan pengguna melalui format percakapan. Instruksi sistem dapat menetapkan peran dan harapan keluaran, sedangkan pesan pengguna menyediakan tugas dan sumber saat ini.
Saat menggunakan checkpoint secara langsung, gunakan format percakapan yang sesuai dengan rilis yang dipilih. Tentukan hasil dengan jelas dan periksa respons yang dihasilkan, termasuk hubungannya dengan bukti yang disediakan. Untuk artefak teks terstruktur, tentukan bidang atau judul bagian yang diperlukan dan validasi keluaran aktual sebelum aplikasi menggunakannya; permintaan format secara tertulis tidak menjamin bahwa setiap nilainya benar.
Pembuatnya membedakan model teks standar dari profil teks Llama 3.2 terkuantisasi yang diterbitkan secara terpisah. Tabel modelnya mencantumkan konteks 8K untuk profil terkuantisasi tersebut, berbeda dari jendela standar 128K. Pilih model bersama anggaran kerjanya, alih-alih menganggap setiap penerapan berlabel 3B mempertahankan alokasi konteks yang sama.
Model 3B Instruct juga berbeda dari model visi Llama 3.2 yang lebih besar. Untuk profil teks ini, siapkan materi sumber berbentuk teks atau teks yang diperoleh aplikasi yang menaunginya. Gunakan model untuk jawaban terarah, penulisan ulang, ringkasan, atau penjelasan kode singkat. Simpan checkpoint, prompt, dan sumber yang dipilih bersama hasilnya, lalu buat instruksi berikutnya yang secara khusus menyasar detail yang kurang atau kesalahan yang diamati.
POST /v1/chat/completionstexttext| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan meta-llama/llama-3.2-3b-instruct | Bawaan— |
Kolommessages | Jenismessage[] | PersyaratanWajib | Nilai & batasan Item minimum: 1 | Bawaan— |
Kolommessages[].role | Jenisstring | PersyaratanWajib | Nilai & batasan Contoh: system, user, assistant, tool, function Kondisi: Peran ini direpresentasikan secara eksplisit oleh tipe kompatibilitas dalam kode sumber; kumpulan peran model yang tepat tetap khusus untuk tiap model. Bergantung pada model | Bawaan— |
Kolommessages[].content | Jenisstring|content_part[]|null | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].tool_calls | Jenistool_call[] | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].tool_call_id | Jenisstring | PersyaratanOpsional | Nilai & batasan Berlaku jika: role=tool; gunakan ID yang benar-benar dikembalikan | Bawaan— |
Kolommessages[].name | Jenisstring | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolommessages[].reasoning_content | Jenisstring | PersyaratanOpsional | Nilai & batasan Berlaku jika: Kirim kembali penalaran yang benar-benar dikembalikan jika model ini menggunakannya | Bawaan— |
Kolommessages[].reasoning_details | Jenisobject|array | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolommax_tokens | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Bergantung pada model | Bawaan— |
Kolommax_completion_tokens | Jenisinteger | PersyaratanOpsional | Nilai & batasan Minimum: 1 Bergantung pada model | Bawaan— |
Kolomstream | Jenisboolean | PersyaratanOpsional | Nilai & batasan | Bawaanfalse |
Kolomstream_options.include_usage | Jenisboolean | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtemperature | Jenisnumber | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtop_p | Jenisnumber | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomstop | Jenisstring|string[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtools | Jenisfunction_tool[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomtools[].type | Jenisstring | PersyaratanOpsional | Nilai & batasan function Bergantung pada model | Bawaan— |
Kolomtools[].function.name | Jenisstring | PersyaratanWajib | Nilai & batasan Berlaku jika: alat fungsi disediakan | Bawaan— |
Kolomtools[].function.description | Jenisstring | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolomtools[].function.parameters | JenisJSON_schema | PersyaratanOpsional | Nilai & batasan | Bawaan— |
Kolomtool_choice | Jenisstring|object | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomparallel_tool_calls | Jenisboolean | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomresponse_format | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomreasoning_effort | Jenisstring | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomreasoning | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomservice_tier | Jenisstring | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolominstructions | Jenisstring | PersyaratanOpsional | Nilai & batasan Kolom kompatibilitas | Bawaan— |
Kolomfunctions | Jenisfunction[] | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomfunction_call | Jenisstring|object | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolomprompt_cache_options | Jenisobject | PersyaratanOpsional | Nilai & batasan Bergantung pada model | Bawaan— |
Kolommodalities | Jenisstring[] | PersyaratanOpsional | Nilai & batasan text | Bawaan— |
Kolomprovider | Jenisobject | PersyaratanOpsional | Nilai & batasan Kondisi: provider.options ditolak pada rute teks Ultra ini | Bawaan— |
Kolomcache_control.ttl | Jenisstring | PersyaratanOpsional | Nilai & batasan Kondisi: 1h ditolak pada lokasi cache prompt yang digunakan | Bawaan— |
Teks · Teks UTF8
messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages |
Parametermaterial_types | Kontraktext |
Parametermessages | Kontrakarray pesan dengan struktur role/content |
Parameterfile_material | Kontrakdokumen UTF-8 yang sebenarnya dimasukkan sebagai teks apa adanya; ID file tidak disimpulkan |
Parameteroptional_controls | Kontrakstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontrakkhusus model; alat fungsi pengguna berbeda dari alat yang dihosting |
Parameteroutput_modalities | Kontraktext |
Parameterhosted_operations | Kontrakfalse |
Parametermultimodal_input_binding | Kontraknull |
Siklus hidup: synchronous_or_streamed
Kirim ID model yang tepat bersama messages.
Panjang konteks bukan batas keluaran.
File teks dapat menyediakan teks apa adanya; masukan gambar/audio/objek file memerlukan pengikatan yang tepat.
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
Cocokkan setiap biaya dengan kondisi yang ditampilkan. Gunakan satu tarif untuk setiap kelompok konfigurasi alternatif.
| Konfigurasi | Jadwal tarif | Token konteks, lebih dari | Token konteks, hingga dan termasuk | Biaya |
|---|---|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Token konteks, lebih dari— | Token konteks, hingga dan termasukTanpa batas atas | Biaya Masukan · Token masukan $0.0001 / 1K token Keluaran · Token keluaran $0.00066 / 1K token Masukan · Pembacaan cache — / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
| KonfigurasiPanjang permintaan · tingkat 1 | Jadwal tarif— | Token konteks, lebih dari0 | Token konteks, hingga dan termasukTanpa batas atas | Biaya Masukan · Token masukan $0.0001 / 1K token Keluaran · Token keluaran $0.00066 / 1K token Masukan · Pembacaan cache — / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.2-3b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.2-3b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.2-3b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson atau SSE
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan setiap alternatif jawaban beserta konten, panggilan alat, dan penalarannya. Dalam SSE, gabungkan delta menurut indeks alternatif jawaban/alat, lalu pertahankan alasan penghentian akhir dan data penggunaan.
Simpan ID permintaan/respons dan header. URL umum untuk pengambilan tugas teks tidak disediakan.
| Kolom | Jenis |
|---|---|
Kolomchoices[].index | Jenisinteger |
Kolomchoices[].message.content | Jenisstring|null |
Kolomchoices[].message.tool_calls | Jenistool_call[] |
Kolomchoices[].message.reasoning_content | Jenisstring |
Kolomchoices[].message.reasoning_details | Jenisobject|array |
Kolomchoices[].finish_reason | Jenisstring|null |
Kolomusage | Jenisobject |
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Ailoot Ultra meta-llama/llama-3.2-3b-instruct
Gunakan jalur metode yang ditampilkan di atas.
meta-llama/llama-3.2-3b-instructMeta Llama 3.2 3B Instruct adalah model teks ringkas untuk percakapan multibahasa, ringkasan berbasis hasil penelusuran, dan bantuan menulis. Checkpoint standarnya memiliki konteks 128K; varian terkuantisasi yang diterbitkan secara terpisah memiliki jendela kerja yang berbeda.
Deskripsi ini mencakup kemampuan model. Masukan, keluaran, dan opsi yang tersedia di Ailoot tercantum di bawah untuk metode yang dipilih.
Meta Llama 3.2 3B Instruct adalah model teks yang disetel mengikuti instruksi dan dirancang untuk percakapan asisten multibahasa, pekerjaan berbasis hasil penelusuran, dan peringkasan. Tabel model dari pembuatnya mengidentifikasi kelas 3B dengan 3.21B parameter. Model ini menerima teks dan menghasilkan teks atau kode. Pengembangannya menggabungkan pemangkasan model dan distilasi pengetahuan dengan penyetelan instruksi, sehingga menghasilkan profil model kecil untuk tugas penulisan dan asisten yang terarah.
Berikan materi sumber, pertanyaan, dan bentuk jawaban yang diharapkan kepada model. Permintaan bantuan menulis dapat menetapkan audiens, nada, dan detail yang harus dipertahankan. Permintaan ringkasan dapat menyebutkan bagian yang perlu dicakup serta panjang atau struktur yang diinginkan. Untuk jawaban singkat dari basis pengetahuan, sertakan kutipan yang relevan dan minta penjelasan yang berpijak pada sumber tersebut.
Pembuatnya menyebut penelusuran pengetahuan, peringkasan, asisten menulis seluler, penulisan ulang kueri, dan penulisan ulang prompt sebagai beberapa penggunaan model teks yang disetel mengikuti instruksi. Aplikasi penelusuran dapat menyediakan kutipan yang ditemukannya dan meminta model menyusun jawaban. Simpan pengenal kutipan bersama hasilnya agar pembaca atau komponen lain dapat memeriksa bukti.
Untuk penulisan ulang kueri, pertahankan pertanyaan asli dan minta rumusan pencarian singkat yang mempertahankan maksudnya. Untuk ringkasan dokumen, minta klaim utama beserta kualifikasi yang memengaruhinya. Periksa keluaran aktual untuk menemukan kondisi yang terlewat, angka yang berubah, atau informasi rekaan, terutama ketika jawaban singkat memadatkan sumber yang lebih panjang.
Bahasa Inggris, Jerman, Prancis, Italia, Portugis, Hindi, Spanyol, dan Thai adalah delapan bahasa yang didukung secara resmi. Nyatakan bahasa keluaran yang diinginkan dan pertahankan ejaan nama atau istilah khusus yang harus tetap sama. Tugas multibahasa perlu menyertakan konteks sumber yang cukup untuk menilai makna susunan kata yang dikembalikan, alih-alih hanya mengandalkan kelancaran bahasanya.
Checkpoint teks standar Llama 3.2 memiliki jendela konteks 128K token. Gunakan anggaran tersebut untuk materi sumber yang relevan, riwayat percakapan, dan hasil yang dihasilkan. Pertahankan keputusan terdahulu yang diperlukan untuk melanjutkan pekerjaan dan sisakan ruang bagi balasan. Batas waktu data prapelatihannya adalah Desember 2023, sehingga informasi setelah itu memerlukan bukti yang disertakan dalam tugas atau oleh aplikasi penelusuran yang menaunginya.
Ini adalah checkpoint Instruct, yang disiapkan untuk dialog seperti asisten. Kartu model menjelaskan penyetelan lanjutan terawasi dan penyelarasan dengan preferensi manusia, disertai distilasi tambahan selama pengembangan model kecil. Contoh penggunaannya menyediakan pesan sistem dan pengguna melalui format percakapan. Instruksi sistem dapat menetapkan peran dan harapan keluaran, sedangkan pesan pengguna menyediakan tugas dan sumber saat ini.
Saat menggunakan checkpoint secara langsung, gunakan format percakapan yang sesuai dengan rilis yang dipilih. Tentukan hasil dengan jelas dan periksa respons yang dihasilkan, termasuk hubungannya dengan bukti yang disediakan. Untuk artefak teks terstruktur, tentukan bidang atau judul bagian yang diperlukan dan validasi keluaran aktual sebelum aplikasi menggunakannya; permintaan format secara tertulis tidak menjamin bahwa setiap nilainya benar.
Pembuatnya membedakan model teks standar dari profil teks Llama 3.2 terkuantisasi yang diterbitkan secara terpisah. Tabel modelnya mencantumkan konteks 8K untuk profil terkuantisasi tersebut, berbeda dari jendela standar 128K. Pilih model bersama anggaran kerjanya, alih-alih menganggap setiap penerapan berlabel 3B mempertahankan alokasi konteks yang sama.
Model 3B Instruct juga berbeda dari model visi Llama 3.2 yang lebih besar. Untuk profil teks ini, siapkan materi sumber berbentuk teks atau teks yang diperoleh aplikasi yang menaunginya. Gunakan model untuk jawaban terarah, penulisan ulang, ringkasan, atau penjelasan kode singkat. Simpan checkpoint, prompt, dan sumber yang dipilih bersama hasilnya, lalu buat instruksi berikutnya yang secara khusus menyasar detail yang kurang atau kesalahan yang diamati.
POST /v1/messagestextjson, sse| Kolom | Jenis | Persyaratan | Nilai & batasan | Bawaan |
|---|---|---|---|---|
Kolommodel | Jenisstring | PersyaratanWajib | Nilai & batasan meta-llama/llama-3.2-3b-instruct | Bawaan— |
Kolommessages | Jenismessage[] | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolommessages[].role | Jenisstring | PersyaratanWajib | Nilai & batasan user, assistant | Bawaan— |
Kolommessages[].content | Jenisstring | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolommax_tokens | Jenisinteger | PersyaratanWajib | Nilai & batasan | Bawaan— |
Kolomstream | Jenisboolean | PersyaratanOpsional | Nilai & batasan | Bawaanfalse |
Teks · Teks UTF-8
string messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages, max_tokens |
Parameteroptional_controls | Kontrakstream |
Parametermaterial_types | Kontraktext |
Parametertext_file_material | KontrakBaca dokumen UTF-8 yang sebenarnya dan masukkan teksnya ke string masukan atau konten pesan yang ditunjukkan. |
Siklus hidup: synchronous_or_streamed
Referensi tarif tidak menambah opsi permintaan. Parameter yang didukung tercantum pada metode yang dipilih.
Cocokkan setiap biaya dengan kondisi yang ditampilkan. Gunakan satu tarif untuk setiap kelompok konfigurasi alternatif.
| Konfigurasi | Jadwal tarif | Token konteks, lebih dari | Token konteks, hingga dan termasuk | Biaya |
|---|---|---|---|---|
| KonfigurasiTarif dasar token | Jadwal tarifTarif dasar | Token konteks, lebih dari— | Token konteks, hingga dan termasukTanpa batas atas | Biaya Masukan · Token masukan $0.0001 / 1K token Keluaran · Token keluaran $0.00066 / 1K token Masukan · Pembacaan cache — / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
| KonfigurasiPanjang permintaan · tingkat 1 | Jadwal tarif— | Token konteks, lebih dari0 | Token konteks, hingga dan termasukTanpa batas atas | Biaya Masukan · Token masukan $0.0001 / 1K token Keluaran · Token keluaran $0.00066 / 1K token Masukan · Pembacaan cache — / 1K token Masukan · Penulisan cache — / 1K token Masukan · Penulisan cache, 1 jam — / 1K token |
Ailoot mencadangkan perkiraan dana sebelum permintaan. Setelah hasil diterima, tagihan akhir diselesaikan berdasarkan penggunaan yang terukur. Penyelesaian tagihan streaming menggunakan catatan penggunaan akhir. Cara kerja cadangan dan penyelesaian tagihan →
{\n "model": "meta-llama/llama-3.2-3b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-3b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-3b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON atau SSE
Simpan setiap respons lengkap, berkas, dan bagian konten yang dikembalikan.
Simpan semua blok konten, tanda tangan penalaran, dan ID penggunaan alat yang sebenarnya. Gabungkan semua delta blok SSE; blok teks pertama bukan keseluruhan keluaran.
Simpan ID permintaan/respons dan header. URL umum untuk pengambilan tugas teks tidak disediakan.
| Kolom | Jenis |
|---|---|
Kolomid | Jenisstring |
Kolommodel | Jenisstring |
Kolomcontent[] | Jenistext|thinking|tool_use|other content block |
Kolomstop_reason | Jenisstring|null |
Kolomusage | Jenisobject |
| Respons | Kondisi | Langkah berikutnya |
|---|---|---|
Respons400 · invalid_request_error | KondisiBidang wajib, representasi materi, atau nilai parameter tidak valid | Langkah berikutnyaPerbaiki bidang yang ditunjukkan sebelum permintaan pembuatan baru. |
Ailoot Ultra meta-llama/llama-3.2-3b-instruct
Gunakan jalur metode yang ditampilkan di atas.
Contoh teknis dalam bahasa Inggris
Rewrite a knowledge-base query\n\nRewrite this support question into one concise search query: 'I changed my work email yesterday and now the old address still gets export notifications, even though I log in with the new one.' Preserve the distinction between login identity and notification destination. Return the query and two key concepts it must retain; do not answer the question.One search query plus two retained concepts covering changed login email and stale export-notification address.The rewrite keeps the notification problem and does not collapse it into a login failure.