Meta Llama 3.2 3B Instruct ialah model teks ditala arahan yang direka untuk perbualan pembantu berbilang bahasa, kerja berasaskan maklumat yang diperoleh dan peringkasan. Jadual model pengeluar mengenal pasti kelas 3B dengan 3.21B parameter. Model ini menerima teks dan menghasilkan teks atau kod. Pembangunannya menggabungkan pemangkasan model dan penyulingan pengetahuan dengan penalaan arahan, mewujudkan profil model kecil untuk penulisan terfokus dan tugas pembantu.
Berikan model bahan sumber, soalan dan bentuk jawapan yang dijangka. Permintaan bantuan penulisan boleh menetapkan khalayak, nada dan butiran yang mesti dikekalkan. Ringkasan boleh mengenal pasti bahagian yang perlu diliputi serta panjang atau struktur yang dikehendaki. Untuk jawapan pangkalan pengetahuan yang ringkas, bekalkan petikan yang berkaitan dan minta penjelasan berasaskan sumber tersebut.
Pengeluar menamakan pemerolehan pengetahuan, peringkasan, pembantu penulisan mudah alih, penulisan semula pertanyaan dan penulisan semula prom sebagai antara kegunaan model teks ditala arahan. Aplikasi pemerolehan maklumat boleh membekalkan petikan yang ditemuinya dan meminta model menyusun jawapan. Simpan pengecam petikan bersama hasil supaya pembaca atau komponen lain boleh menyemak bukti.
Untuk penulisan semula pertanyaan, kekalkan soalan asal dan minta rumusan carian ringkas yang mengekalkan maksudnya. Untuk ringkasan dokumen, minta dakwaan utama serta batasan atau syarat yang mempengaruhinya. Semak output sebenar untuk syarat yang tertinggal, nombor yang berubah atau maklumat rekaan, terutamanya apabila jawapan ringkas memampatkan sumber yang lebih besar.
Bahasa Inggeris, Jerman, Perancis, Itali, Portugis, Hindi, Sepanyol dan Thai ialah lapan bahasa yang disokong secara rasmi. Nyatakan bahasa output yang dikehendaki dan kekalkan ejaan nama atau istilah khusus yang mesti tidak berubah. Tugas berbilang bahasa perlu membawa konteks sumber yang mencukupi untuk menilai makna perkataan yang dikembalikan, bukannya bergantung pada kelancaran sahaja.
Checkpoint teks standard Llama 3.2 mempunyai tetingkap konteks 128K token. Gunakan bajet itu untuk bahan sumber berkaitan, sejarah perbualan dan hasil yang dijana. Kekalkan keputusan terdahulu yang diperlukan untuk kesinambungan dan tinggalkan ruang untuk jawapan. Tarikh akhir data pralatihan ialah Disember 2023, maka maklumat selepas itu memerlukan bukti yang dibekalkan bersama tugas atau oleh aplikasi pemerolehan maklumat sekeliling.
Ini ialah checkpoint Instruct, disediakan untuk dialog seperti pembantu. Kad model menerangkan penalaan halus terselia dan penjajaran keutamaan manusia, dengan penyulingan tambahan semasa pembangunan model kecil. Contoh penggunaannya membekalkan mesej system dan user melalui format sembang. Arahan system boleh menetapkan peranan dan jangkaan output, manakala mesej user membekalkan tugas semasa dan sumber.
Pastikan format perbualan sesuai dengan keluaran yang dipilih apabila menggunakan checkpointnya secara langsung. Tetapkan hasil dengan jelas dan semak respons yang dijana, termasuk kaitannya dengan bukti yang dibekalkan. Untuk artifak teks berstruktur, nyatakan medan atau tajuk yang diperlukan dan sahkan output sebenar sebelum aplikasi menggunakannya; permintaan format bertulis tidak menjamin setiap nilai adalah betul.
Pengeluar membezakan model teks standard daripada profil teks Llama 3.2 terkuantisasi yang diterbitkan secara berasingan. Jadual modelnya menyenaraikan konteks 8K bagi profil terkuantisasi itu, berbeza daripada tetingkap standard 128K. Pilih model bersama bajet kerja dan bukannya menganggap setiap penggunaan berlabel 3B mengekalkan peruntukan konteks yang sama.
Model 3B Instruct juga berasingan daripada model penglihatan Llama 3.2 yang lebih besar. Untuk profil teks ini, sediakan bahan sumber teks atau teks yang diperoleh aplikasi sekeliling. Gunakan model untuk jawapan terfokus, penulisan semula, ringkasan atau penjelasan kod ringkas. Simpan checkpoint, prom dan sumber yang dipilih bersama hasil, kemudian jadikan arahan seterusnya khusus kepada butiran yang hilang atau ralat yang diperhatikan.
", "aboutText": "Meta Llama 3.2 3B Instruct ialah model teks ditala arahan yang direka untuk perbualan pembantu berbilang bahasa, kerja berasaskan maklumat yang diperoleh dan peringkasan. Jadual model pengeluar mengenal pasti kelas 3B dengan 3.21B parameter. Model ini menerima teks dan menghasilkan teks atau kod. Pembangunannya menggabungkan pemangkasan model dan penyulingan pengetahuan dengan penalaan arahan, mewujudkan profil model kecil untuk penulisan terfokus dan tugas pembantu.\n\n### Tetapkan hasil teks dengan skop yang jelas\n\nBerikan model bahan sumber, soalan dan bentuk jawapan yang dijangka. Permintaan bantuan penulisan boleh menetapkan khalayak, nada dan butiran yang mesti dikekalkan. Ringkasan boleh mengenal pasti bahagian yang perlu diliputi serta panjang atau struktur yang dikehendaki. Untuk jawapan pangkalan pengetahuan yang ringkas, bekalkan petikan yang berkaitan dan minta penjelasan berasaskan sumber tersebut.\n\nPengeluar menamakan pemerolehan pengetahuan, peringkasan, pembantu penulisan mudah alih, penulisan semula pertanyaan dan penulisan semula prom sebagai antara kegunaan model teks ditala arahan. Aplikasi pemerolehan maklumat boleh membekalkan petikan yang ditemuinya dan meminta model menyusun jawapan. Simpan pengecam petikan bersama hasil supaya pembaca atau komponen lain boleh menyemak bukti.\n\nUntuk penulisan semula pertanyaan, kekalkan soalan asal dan minta rumusan carian ringkas yang mengekalkan maksudnya. Untuk ringkasan dokumen, minta dakwaan utama serta batasan atau syarat yang mempengaruhinya. Semak output sebenar untuk syarat yang tertinggal, nombor yang berubah atau maklumat rekaan, terutamanya apabila jawapan ringkas memampatkan sumber yang lebih besar.\n\n### Bahasa dan konteks\n\nBahasa Inggeris, Jerman, Perancis, Itali, Portugis, Hindi, Sepanyol dan Thai ialah lapan bahasa yang disokong secara rasmi. Nyatakan bahasa output yang dikehendaki dan kekalkan ejaan nama atau istilah khusus yang mesti tidak berubah. Tugas berbilang bahasa perlu membawa konteks sumber yang mencukupi untuk menilai makna perkataan yang dikembalikan, bukannya bergantung pada kelancaran sahaja.\n\nCheckpoint teks standard Llama 3.2 mempunyai tetingkap konteks 128K token. Gunakan bajet itu untuk bahan sumber berkaitan, sejarah perbualan dan hasil yang dijana. Kekalkan keputusan terdahulu yang diperlukan untuk kesinambungan dan tinggalkan ruang untuk jawapan. Tarikh akhir data pralatihan ialah Disember 2023, maka maklumat selepas itu memerlukan bukti yang dibekalkan bersama tugas atau oleh aplikasi pemerolehan maklumat sekeliling.\n\n### Penalaan arahan dan format perbualan\n\nIni ialah checkpoint Instruct, disediakan untuk dialog seperti pembantu. Kad model menerangkan penalaan halus terselia dan penjajaran keutamaan manusia, dengan penyulingan tambahan semasa pembangunan model kecil. Contoh penggunaannya membekalkan mesej system dan user melalui format sembang. Arahan system boleh menetapkan peranan dan jangkaan output, manakala mesej user membekalkan tugas semasa dan sumber.\n\nPastikan format perbualan sesuai dengan keluaran yang dipilih apabila menggunakan checkpointnya secara langsung. Tetapkan hasil dengan jelas dan semak respons yang dijana, termasuk kaitannya dengan bukti yang dibekalkan. Untuk artifak teks berstruktur, nyatakan medan atau tajuk yang diperlukan dan sahkan output sebenar sebelum aplikasi menggunakannya; permintaan format bertulis tidak menjamin setiap nilai adalah betul.\n\n### Profil standard, terkuantisasi dan penglihatan\n\nPengeluar membezakan model teks standard daripada profil teks Llama 3.2 terkuantisasi yang diterbitkan secara berasingan. Jadual modelnya menyenaraikan konteks 8K bagi profil terkuantisasi itu, berbeza daripada tetingkap standard 128K. Pilih model bersama bajet kerja dan bukannya menganggap setiap penggunaan berlabel 3B mengekalkan peruntukan konteks yang sama.\n\nModel 3B Instruct juga berasingan daripada model penglihatan Llama 3.2 yang lebih besar. Untuk profil teks ini, sediakan bahan sumber teks atau teks yang diperoleh aplikasi sekeliling. Gunakan model untuk jawapan terfokus, penulisan semula, ringkasan atau penjelasan kod ringkas. Simpan checkpoint, prom dan sumber yang dipilih bersama hasil, kemudian jadikan arahan seterusnya khusus kepada butiran yang hilang atau ralat yang diperhatikan.", "editorialOverlay": { "copy_fields": { "practical_html": "Contoh teknikal dalam bahasa Inggeris
Rewrite a knowledge-base query\n\nRewrite this support question into one concise search query: 'I changed my work email yesterday and now the old address still gets export notifications, even though I log in with the new one.' Preserve the distinction between login identity and notification destination. Return the query and two key concepts it must retain; do not answer the question.One search query plus two retained concepts covering changed login email and stale export-notification address.The rewrite keeps the notification problem and does not collapse it into a login failure.meta-llama/llama-3.2-3b-instructMeta Llama 3.2 3B Instruct ialah model teks padat untuk sembang berbilang bahasa, ringkasan berasaskan maklumat yang diperoleh dan bantuan penulisan. Checkpoint standardnya mempunyai konteks 128K; varian terkuantisasi yang diterbitkan secara berasingan mempunyai tetingkap kerja yang berbeza.
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
Meta Llama 3.2 3B Instruct ialah model teks ditala arahan yang direka untuk perbualan pembantu berbilang bahasa, kerja berasaskan maklumat yang diperoleh dan peringkasan. Jadual model pengeluar mengenal pasti kelas 3B dengan 3.21B parameter. Model ini menerima teks dan menghasilkan teks atau kod. Pembangunannya menggabungkan pemangkasan model dan penyulingan pengetahuan dengan penalaan arahan, mewujudkan profil model kecil untuk penulisan terfokus dan tugas pembantu.
Berikan model bahan sumber, soalan dan bentuk jawapan yang dijangka. Permintaan bantuan penulisan boleh menetapkan khalayak, nada dan butiran yang mesti dikekalkan. Ringkasan boleh mengenal pasti bahagian yang perlu diliputi serta panjang atau struktur yang dikehendaki. Untuk jawapan pangkalan pengetahuan yang ringkas, bekalkan petikan yang berkaitan dan minta penjelasan berasaskan sumber tersebut.
Pengeluar menamakan pemerolehan pengetahuan, peringkasan, pembantu penulisan mudah alih, penulisan semula pertanyaan dan penulisan semula prom sebagai antara kegunaan model teks ditala arahan. Aplikasi pemerolehan maklumat boleh membekalkan petikan yang ditemuinya dan meminta model menyusun jawapan. Simpan pengecam petikan bersama hasil supaya pembaca atau komponen lain boleh menyemak bukti.
Untuk penulisan semula pertanyaan, kekalkan soalan asal dan minta rumusan carian ringkas yang mengekalkan maksudnya. Untuk ringkasan dokumen, minta dakwaan utama serta batasan atau syarat yang mempengaruhinya. Semak output sebenar untuk syarat yang tertinggal, nombor yang berubah atau maklumat rekaan, terutamanya apabila jawapan ringkas memampatkan sumber yang lebih besar.
Bahasa Inggeris, Jerman, Perancis, Itali, Portugis, Hindi, Sepanyol dan Thai ialah lapan bahasa yang disokong secara rasmi. Nyatakan bahasa output yang dikehendaki dan kekalkan ejaan nama atau istilah khusus yang mesti tidak berubah. Tugas berbilang bahasa perlu membawa konteks sumber yang mencukupi untuk menilai makna perkataan yang dikembalikan, bukannya bergantung pada kelancaran sahaja.
Checkpoint teks standard Llama 3.2 mempunyai tetingkap konteks 128K token. Gunakan bajet itu untuk bahan sumber berkaitan, sejarah perbualan dan hasil yang dijana. Kekalkan keputusan terdahulu yang diperlukan untuk kesinambungan dan tinggalkan ruang untuk jawapan. Tarikh akhir data pralatihan ialah Disember 2023, maka maklumat selepas itu memerlukan bukti yang dibekalkan bersama tugas atau oleh aplikasi pemerolehan maklumat sekeliling.
Ini ialah checkpoint Instruct, disediakan untuk dialog seperti pembantu. Kad model menerangkan penalaan halus terselia dan penjajaran keutamaan manusia, dengan penyulingan tambahan semasa pembangunan model kecil. Contoh penggunaannya membekalkan mesej system dan user melalui format sembang. Arahan system boleh menetapkan peranan dan jangkaan output, manakala mesej user membekalkan tugas semasa dan sumber.
Pastikan format perbualan sesuai dengan keluaran yang dipilih apabila menggunakan checkpointnya secara langsung. Tetapkan hasil dengan jelas dan semak respons yang dijana, termasuk kaitannya dengan bukti yang dibekalkan. Untuk artifak teks berstruktur, nyatakan medan atau tajuk yang diperlukan dan sahkan output sebenar sebelum aplikasi menggunakannya; permintaan format bertulis tidak menjamin setiap nilai adalah betul.
Pengeluar membezakan model teks standard daripada profil teks Llama 3.2 terkuantisasi yang diterbitkan secara berasingan. Jadual modelnya menyenaraikan konteks 8K bagi profil terkuantisasi itu, berbeza daripada tetingkap standard 128K. Pilih model bersama bajet kerja dan bukannya menganggap setiap penggunaan berlabel 3B mengekalkan peruntukan konteks yang sama.
Model 3B Instruct juga berasingan daripada model penglihatan Llama 3.2 yang lebih besar. Untuk profil teks ini, sediakan bahan sumber teks atau teks yang diperoleh aplikasi sekeliling. Gunakan model untuk jawapan terfokus, penulisan semula, ringkasan atau penjelasan kod ringkas. Simpan checkpoint, prom dan sumber yang dipilih bersama hasil, kemudian jadikan arahan seterusnya khusus kepada butiran yang hilang atau ralat yang diperhatikan.
POST /v1/chat/completionstexttext| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had meta-llama/llama-3.2-3b-instruct | Lalai— |
Medanmessages | Jenismessage[] | KeperluanDiperlukan | Nilai & had Item minimum: 1 | Lalai— |
Medanmessages[].role | Jenisstring | KeperluanDiperlukan | Nilai & had Contoh: system, user, assistant, tool, function Syarat: Peranan ini diwakili secara eksplisit oleh jenis keserasian dalam kod sumber; set peranan model yang tepat kekal khusus untuk setiap model. Bergantung pada model | Lalai— |
Medanmessages[].content | Jenisstring|content_part[]|null | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].tool_calls | Jenistool_call[] | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].tool_call_id | Jenisstring | KeperluanPilihan | Nilai & had Terpakai apabila: role=tool; gunakan ID sebenar yang dipulangkan | Lalai— |
Medanmessages[].name | Jenisstring | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].reasoning_content | Jenisstring | KeperluanPilihan | Nilai & had Terpakai apabila: Hantar semula penaakulan sebenar yang dipulangkan apabila model ini menggunakannya | Lalai— |
Medanmessages[].reasoning_details | Jenisobject|array | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanmax_tokens | Jenisinteger | KeperluanPilihan | Nilai & had Minimum: 1 Bergantung pada model | Lalai— |
Medanmax_completion_tokens | Jenisinteger | KeperluanPilihan | Nilai & had Minimum: 1 Bergantung pada model | Lalai— |
Medanstream | Jenisboolean | KeperluanPilihan | Nilai & had | Lalaifalse |
Medanstream_options.include_usage | Jenisboolean | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantemperature | Jenisnumber | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantop_p | Jenisnumber | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanstop | Jenisstring|string[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantools | Jenisfunction_tool[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantools[].type | Jenisstring | KeperluanPilihan | Nilai & had function Bergantung pada model | Lalai— |
Medantools[].function.name | Jenisstring | KeperluanDiperlukan | Nilai & had Terpakai apabila: alat fungsi dibekalkan | Lalai— |
Medantools[].function.description | Jenisstring | KeperluanPilihan | Nilai & had | Lalai— |
Medantools[].function.parameters | JenisJSON_schema | KeperluanPilihan | Nilai & had | Lalai— |
Medantool_choice | Jenisstring|object | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanparallel_tool_calls | Jenisboolean | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanresponse_format | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanreasoning_effort | Jenisstring | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanreasoning | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanservice_tier | Jenisstring | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medaninstructions | Jenisstring | KeperluanPilihan | Nilai & had Medan keserasian | Lalai— |
Medanfunctions | Jenisfunction[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanfunction_call | Jenisstring|object | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanprompt_cache_options | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanmodalities | Jenisstring[] | KeperluanPilihan | Nilai & had text | Lalai— |
Medanprovider | Jenisobject | KeperluanPilihan | Nilai & had Syarat: provider.options ditolak pada laluan teks Ultra ini | Lalai— |
Medancache_control.ttl | Jenisstring | KeperluanPilihan | Nilai & had Syarat: 1h ditolak pada lokasi cache prompt yang digunakan | Lalai— |
Teks · Teks UTF8
messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages |
Parametermaterial_types | Kontraktext |
Parametermessages | Kontraktatasusunan mesej dengan struktur role/content |
Parameterfile_material | Kontrakdokumen UTF-8 sebenar dimasukkan sebagai teks literal; ID fail tidak diandaikan |
Parameteroptional_controls | Kontrakstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontrakkhusus model; alat fungsi pengguna berbeza daripada alat yang dihoskan |
Parameteroutput_modalities | Kontraktext |
Parameterhosted_operations | Kontrakfalse |
Parametermultimodal_input_binding | Kontraknull |
Kitar hayat: synchronous_or_streamed
Hantar ID model yang tepat bersama messages.
Panjang konteks bukan had output.
Fail teks boleh membekalkan teks literal; input imej/audio/objek fail memerlukan pengikatan tepat.
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
Padankan setiap caj dengan syarat yang dipaparkan. Gunakan satu kadar bagi setiap set konfigurasi alternatif.
| Konfigurasi | Jadual kadar | Token konteks, melebihi | Token konteks, sehingga dan termasuk | Caj |
|---|---|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Token konteks, melebihi— | Token konteks, sehingga dan termasukTiada had atas | Caj Input · Token input $0.0001 / 1K token Output · Token output $0.00066 / 1K token Input · Bacaan cache — / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
| KonfigurasiTahap panjang permintaan 1 | Jadual kadar— | Token konteks, melebihi0 | Token konteks, sehingga dan termasukTiada had atas | Caj Input · Token input $0.0001 / 1K token Output · Token output $0.00066 / 1K token Input · Bacaan cache — / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.2-3b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.2-3b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.2-3b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson atau SSE
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Kekalkan setiap pilihan jawapan bersama kandungan, panggilan alat dan penaakulannya. Dalam SSE, gabungkan delta mengikut indeks pilihan jawapan/alat dan kekalkan sebab penamatan akhir serta data penggunaan.
Kekalkan ID permintaan/respons dan pengepala. Tiada URL umum bagi pengambilan tugas teks dibekalkan.
| Medan | Jenis |
|---|---|
Medanchoices[].index | Jenisinteger |
Medanchoices[].message.content | Jenisstring|null |
Medanchoices[].message.tool_calls | Jenistool_call[] |
Medanchoices[].message.reasoning_content | Jenisstring |
Medanchoices[].message.reasoning_details | Jenisobject|array |
Medanchoices[].finish_reason | Jenisstring|null |
Medanusage | Jenisobject |
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Ailoot Ultra meta-llama/llama-3.2-3b-instruct
Gunakan laluan kaedah yang dipaparkan di atas.
meta-llama/llama-3.2-3b-instructMeta Llama 3.2 3B Instruct ialah model teks padat untuk sembang berbilang bahasa, ringkasan berasaskan maklumat yang diperoleh dan bantuan penulisan. Checkpoint standardnya mempunyai konteks 128K; varian terkuantisasi yang diterbitkan secara berasingan mempunyai tetingkap kerja yang berbeza.
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
Meta Llama 3.2 3B Instruct ialah model teks ditala arahan yang direka untuk perbualan pembantu berbilang bahasa, kerja berasaskan maklumat yang diperoleh dan peringkasan. Jadual model pengeluar mengenal pasti kelas 3B dengan 3.21B parameter. Model ini menerima teks dan menghasilkan teks atau kod. Pembangunannya menggabungkan pemangkasan model dan penyulingan pengetahuan dengan penalaan arahan, mewujudkan profil model kecil untuk penulisan terfokus dan tugas pembantu.
Berikan model bahan sumber, soalan dan bentuk jawapan yang dijangka. Permintaan bantuan penulisan boleh menetapkan khalayak, nada dan butiran yang mesti dikekalkan. Ringkasan boleh mengenal pasti bahagian yang perlu diliputi serta panjang atau struktur yang dikehendaki. Untuk jawapan pangkalan pengetahuan yang ringkas, bekalkan petikan yang berkaitan dan minta penjelasan berasaskan sumber tersebut.
Pengeluar menamakan pemerolehan pengetahuan, peringkasan, pembantu penulisan mudah alih, penulisan semula pertanyaan dan penulisan semula prom sebagai antara kegunaan model teks ditala arahan. Aplikasi pemerolehan maklumat boleh membekalkan petikan yang ditemuinya dan meminta model menyusun jawapan. Simpan pengecam petikan bersama hasil supaya pembaca atau komponen lain boleh menyemak bukti.
Untuk penulisan semula pertanyaan, kekalkan soalan asal dan minta rumusan carian ringkas yang mengekalkan maksudnya. Untuk ringkasan dokumen, minta dakwaan utama serta batasan atau syarat yang mempengaruhinya. Semak output sebenar untuk syarat yang tertinggal, nombor yang berubah atau maklumat rekaan, terutamanya apabila jawapan ringkas memampatkan sumber yang lebih besar.
Bahasa Inggeris, Jerman, Perancis, Itali, Portugis, Hindi, Sepanyol dan Thai ialah lapan bahasa yang disokong secara rasmi. Nyatakan bahasa output yang dikehendaki dan kekalkan ejaan nama atau istilah khusus yang mesti tidak berubah. Tugas berbilang bahasa perlu membawa konteks sumber yang mencukupi untuk menilai makna perkataan yang dikembalikan, bukannya bergantung pada kelancaran sahaja.
Checkpoint teks standard Llama 3.2 mempunyai tetingkap konteks 128K token. Gunakan bajet itu untuk bahan sumber berkaitan, sejarah perbualan dan hasil yang dijana. Kekalkan keputusan terdahulu yang diperlukan untuk kesinambungan dan tinggalkan ruang untuk jawapan. Tarikh akhir data pralatihan ialah Disember 2023, maka maklumat selepas itu memerlukan bukti yang dibekalkan bersama tugas atau oleh aplikasi pemerolehan maklumat sekeliling.
Ini ialah checkpoint Instruct, disediakan untuk dialog seperti pembantu. Kad model menerangkan penalaan halus terselia dan penjajaran keutamaan manusia, dengan penyulingan tambahan semasa pembangunan model kecil. Contoh penggunaannya membekalkan mesej system dan user melalui format sembang. Arahan system boleh menetapkan peranan dan jangkaan output, manakala mesej user membekalkan tugas semasa dan sumber.
Pastikan format perbualan sesuai dengan keluaran yang dipilih apabila menggunakan checkpointnya secara langsung. Tetapkan hasil dengan jelas dan semak respons yang dijana, termasuk kaitannya dengan bukti yang dibekalkan. Untuk artifak teks berstruktur, nyatakan medan atau tajuk yang diperlukan dan sahkan output sebenar sebelum aplikasi menggunakannya; permintaan format bertulis tidak menjamin setiap nilai adalah betul.
Pengeluar membezakan model teks standard daripada profil teks Llama 3.2 terkuantisasi yang diterbitkan secara berasingan. Jadual modelnya menyenaraikan konteks 8K bagi profil terkuantisasi itu, berbeza daripada tetingkap standard 128K. Pilih model bersama bajet kerja dan bukannya menganggap setiap penggunaan berlabel 3B mengekalkan peruntukan konteks yang sama.
Model 3B Instruct juga berasingan daripada model penglihatan Llama 3.2 yang lebih besar. Untuk profil teks ini, sediakan bahan sumber teks atau teks yang diperoleh aplikasi sekeliling. Gunakan model untuk jawapan terfokus, penulisan semula, ringkasan atau penjelasan kod ringkas. Simpan checkpoint, prom dan sumber yang dipilih bersama hasil, kemudian jadikan arahan seterusnya khusus kepada butiran yang hilang atau ralat yang diperhatikan.
POST /v1/messagestextjson, sse| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had meta-llama/llama-3.2-3b-instruct | Lalai— |
Medanmessages | Jenismessage[] | KeperluanDiperlukan | Nilai & had | Lalai— |
Medanmessages[].role | Jenisstring | KeperluanDiperlukan | Nilai & had user, assistant | Lalai— |
Medanmessages[].content | Jenisstring | KeperluanDiperlukan | Nilai & had | Lalai— |
Medanmax_tokens | Jenisinteger | KeperluanDiperlukan | Nilai & had | Lalai— |
Medanstream | Jenisboolean | KeperluanPilihan | Nilai & had | Lalaifalse |
Teks · Teks UTF-8
rentetan messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages, max_tokens |
Parameteroptional_controls | Kontrakstream |
Parametermaterial_types | Kontraktext |
Parametertext_file_material | KontrakBaca dokumen UTF-8 sebenar dan letakkan teksnya dalam rentetan input atau kandungan mesej yang ditunjukkan. |
Kitar hayat: synchronous_or_streamed
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
Padankan setiap caj dengan syarat yang dipaparkan. Gunakan satu kadar bagi setiap set konfigurasi alternatif.
| Konfigurasi | Jadual kadar | Token konteks, melebihi | Token konteks, sehingga dan termasuk | Caj |
|---|---|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Token konteks, melebihi— | Token konteks, sehingga dan termasukTiada had atas | Caj Input · Token input $0.0001 / 1K token Output · Token output $0.00066 / 1K token Input · Bacaan cache — / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
| KonfigurasiTahap panjang permintaan 1 | Jadual kadar— | Token konteks, melebihi0 | Token konteks, sehingga dan termasukTiada had atas | Caj Input · Token input $0.0001 / 1K token Output · Token output $0.00066 / 1K token Input · Bacaan cache — / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
{\n "model": "meta-llama/llama-3.2-3b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-3b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-3b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON atau SSE
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Kekalkan semua blok kandungan, tandatangan penaakulan dan ID penggunaan alat sebenar. Gabungkan semua delta blok SSE; blok teks pertama bukan keseluruhan output.
Kekalkan ID permintaan/respons dan pengepala. Tiada URL umum bagi pengambilan tugas teks dibekalkan.
| Medan | Jenis |
|---|---|
Medanid | Jenisstring |
Medanmodel | Jenisstring |
Medancontent[] | Jenistext|thinking|tool_use|other content block |
Medanstop_reason | Jenisstring|null |
Medanusage | Jenisobject |
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Ailoot Ultra meta-llama/llama-3.2-3b-instruct
Gunakan laluan kaedah yang dipaparkan di atas.
Contoh teknikal dalam bahasa Inggeris
Rewrite a knowledge-base query\n\nRewrite this support question into one concise search query: 'I changed my work email yesterday and now the old address still gets export notifications, even though I log in with the new one.' Preserve the distinction between login identity and notification destination. Return the query and two key concepts it must retain; do not answer the question.One search query plus two retained concepts covering changed login email and stale export-notification address.The rewrite keeps the notification problem and does not collapse it into a login failure.