Inkling-Small ialah model multimodal serba guna Thinking Machines Lab yang lebih kecil. Kad rasminya menyatakan 276 bilion jumlah parameter dan 12B parameter aktif. Ia menerima teks, imej dan audio serta menjana teks untuk aplikasi perbualan, pengekodan dan penaakulan, serta aplikasi yang diperkaya dengan pemerolehan maklumat dan aplikasi berorientasikan alat. Ia ialah edisi yang berbeza daripada model Inkling yang lebih besar.
Seni binanya menggunakan 42 lapisan penyahkod dan tulang belakang pakar jarang. Sesuatu token memilih enam daripada 256 pakar yang dirutekan serta dua pakar bersama, dengan gabungan perhatian setempat dan global. Tampalan imej dan token audio diskret diunjurkan ke dalam perwakilan bersama penyahkod. Artifak BF16 dan NVFP4 yang berasingan mempunyai identiti ketepatan masing-masing.
Pengeluar menerangkan konteks model 1M, manakala perkhidmatan latihannya menawarkan konfigurasi 64K dan 256K. Ini ialah skop berasingan, bukannya saiz tetingkap yang boleh saling menggantikan. Untuk bahan panjang, kenal pasti konteks sebenar yang digunakan oleh tugasan dan sediakan ruang untuk pemikiran serta jawapan akhir model. Pemapar Inkling bersama daripada pengeluar menerima nilai usaha terhingga daripada 0.0 hingga kurang daripada 1.0 dan menggunakan 0.9 apabila tidak dinyatakan. Sifar menggalakkan jawapan langsung tanpa menguatkuasakan larangan keras terhadap penaakulan.
Penyediaan input bersifat khusus. Kad mengesyorkan imej dengan dimensi sebaik-baiknya antara 40 hingga 4096 piksel. Audio perlu berupa WAV pada 16 kHz, sebaik-baiknya lebih pendek daripada dua minit untuk edisi Small ini. Ini ialah cadangan input optimum, bukannya janji bahawa model menolak setiap input di luar julat tersebut. Output ialah teks UTF-8, bukannya pertuturan atau video yang dijana.
Untuk soalan imej, nyatakan ciri yang perlu diperiksa dan hubungannya dengan tugasan bertulis. Untuk audio, kenal pasti sama ada hasil yang berguna ialah penjelasan kandungan, ringkasan atau analisis teks yang lain. Berikan kosa kata dan latar belakang yang diperlukan untuk mentafsir bahan. Tugasan kod atau pemerolehan maklumat perlu membekalkan sumber atau petikan yang diperoleh yang berkaitan serta artifak yang dikehendaki.
Dalam aplikasi yang disambungkan kepada alat, model mencadangkan interaksi dan aplikasi mengembalikan hasilnya. Kekalkan pemerhatian itu sepanjang susulan supaya langkah seterusnya boleh menggunakan perkara yang berlaku. Pengeluar mengeluarkan model untuk penyesuaian dan penalaan halus, manakala titik semak yang disesuaikan secara berasingan kekal berbeza daripada model Small asal.
Pengeluar mengenal pasti kegagalan pematuhan arahan yang berlaku sekali-sekala, pernyataan fakta tanpa sokongan dan kemerosotan dalam perbualan panjang, dengan prestasi tidak sekata merentas bahasa dan bidang yang kurang diwakili. Ia turut menerangkan penilaian keselamatan multimodal dan kerentanan yang masih ada terhadap sesetengah prompt yang dibingkaikan secara tidak langsung. Kekalkan bukti sumber dan kawalan output khusus aplikasi apabila menggunakan hasil model dalam aliran kerja.
", "aboutText": "Inkling-Small ialah model multimodal serba guna Thinking Machines Lab yang lebih kecil. Kad rasminya menyatakan 276 bilion jumlah parameter dan 12B parameter aktif. Ia menerima teks, imej dan audio serta menjana teks untuk aplikasi perbualan, pengekodan dan penaakulan, serta aplikasi yang diperkaya dengan pemerolehan maklumat dan aplikasi berorientasikan alat. Ia ialah edisi yang berbeza daripada model Inkling yang lebih besar.\n\nSeni binanya menggunakan 42 lapisan penyahkod dan tulang belakang pakar jarang. Sesuatu token memilih enam daripada 256 pakar yang dirutekan serta dua pakar bersama, dengan gabungan perhatian setempat dan global. Tampalan imej dan token audio diskret diunjurkan ke dalam perwakilan bersama penyahkod. Artifak BF16 dan NVFP4 yang berasingan mempunyai identiti ketepatan masing-masing.\n\nPengeluar menerangkan konteks model 1M, manakala perkhidmatan latihannya menawarkan konfigurasi 64K dan 256K. Ini ialah skop berasingan, bukannya saiz tetingkap yang boleh saling menggantikan. Untuk bahan panjang, kenal pasti konteks sebenar yang digunakan oleh tugasan dan sediakan ruang untuk pemikiran serta jawapan akhir model. Pemapar Inkling bersama daripada pengeluar menerima nilai usaha terhingga daripada 0.0 hingga kurang daripada 1.0 dan menggunakan 0.9 apabila tidak dinyatakan. Sifar menggalakkan jawapan langsung tanpa menguatkuasakan larangan keras terhadap penaakulan.\n\nPenyediaan input bersifat khusus. Kad mengesyorkan imej dengan dimensi sebaik-baiknya antara 40 hingga 4096 piksel. Audio perlu berupa WAV pada 16 kHz, sebaik-baiknya lebih pendek daripada dua minit untuk edisi Small ini. Ini ialah cadangan input optimum, bukannya janji bahawa model menolak setiap input di luar julat tersebut. Output ialah teks UTF-8, bukannya pertuturan atau video yang dijana.\n\nUntuk soalan imej, nyatakan ciri yang perlu diperiksa dan hubungannya dengan tugasan bertulis. Untuk audio, kenal pasti sama ada hasil yang berguna ialah penjelasan kandungan, ringkasan atau analisis teks yang lain. Berikan kosa kata dan latar belakang yang diperlukan untuk mentafsir bahan. Tugasan kod atau pemerolehan maklumat perlu membekalkan sumber atau petikan yang diperoleh yang berkaitan serta artifak yang dikehendaki.\n\nDalam aplikasi yang disambungkan kepada alat, model mencadangkan interaksi dan aplikasi mengembalikan hasilnya. Kekalkan pemerhatian itu sepanjang susulan supaya langkah seterusnya boleh menggunakan perkara yang berlaku. Pengeluar mengeluarkan model untuk penyesuaian dan penalaan halus, manakala titik semak yang disesuaikan secara berasingan kekal berbeza daripada model Small asal.\n\nPengeluar mengenal pasti kegagalan pematuhan arahan yang berlaku sekali-sekala, pernyataan fakta tanpa sokongan dan kemerosotan dalam perbualan panjang, dengan prestasi tidak sekata merentas bahasa dan bidang yang kurang diwakili. Ia turut menerangkan penilaian keselamatan multimodal dan kerentanan yang masih ada terhadap sesetengah prompt yang dibingkaikan secara tidak langsung. Kekalkan bukti sumber dan kawalan output khusus aplikasi apabila menggunakan hasil model dalam aliran kerja.", "editorialOverlay": { "copy_fields": { "practical_html": "Contoh teknikal dalam bahasa Inggeris
Answer from retrieved training material\n\nAnswer a new employee using only these retrieved passages. [DOC1] Draft reports may be edited by their author. [DOC2] Approved reports are locked; corrections create a new version. Question: 'I found a typo in an approved report. Can I edit it directly?' Give a concise answer, the supporting document label and one appropriate next step without claiming a change occurred.A short source-grounded answer with DOC2 support and a proposed version-based correction step.Check the approved/draft distinction is preserved and no lock is bypassed in the suggestion.thinkingmachines/inkling-smallInkling-Small daripada Thinking Machines Lab ialah model MoE 276B dengan 12B parameter aktif untuk penaakulan teks, imej dan audio. Ia menghasilkan teks, menyokong aplikasi berorientasikan alat dan mempunyai konteks model 1M, dengan konteks perkhidmatan pengeluar yang lebih pendek dibezakan.
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
Inkling-Small ialah model multimodal serba guna Thinking Machines Lab yang lebih kecil. Kad rasminya menyatakan 276 bilion jumlah parameter dan 12B parameter aktif. Ia menerima teks, imej dan audio serta menjana teks untuk aplikasi perbualan, pengekodan dan penaakulan, serta aplikasi yang diperkaya dengan pemerolehan maklumat dan aplikasi berorientasikan alat. Ia ialah edisi yang berbeza daripada model Inkling yang lebih besar.
Seni binanya menggunakan 42 lapisan penyahkod dan tulang belakang pakar jarang. Sesuatu token memilih enam daripada 256 pakar yang dirutekan serta dua pakar bersama, dengan gabungan perhatian setempat dan global. Tampalan imej dan token audio diskret diunjurkan ke dalam perwakilan bersama penyahkod. Artifak BF16 dan NVFP4 yang berasingan mempunyai identiti ketepatan masing-masing.
Pengeluar menerangkan konteks model 1M, manakala perkhidmatan latihannya menawarkan konfigurasi 64K dan 256K. Ini ialah skop berasingan, bukannya saiz tetingkap yang boleh saling menggantikan. Untuk bahan panjang, kenal pasti konteks sebenar yang digunakan oleh tugasan dan sediakan ruang untuk pemikiran serta jawapan akhir model. Pemapar Inkling bersama daripada pengeluar menerima nilai usaha terhingga daripada 0.0 hingga kurang daripada 1.0 dan menggunakan 0.9 apabila tidak dinyatakan. Sifar menggalakkan jawapan langsung tanpa menguatkuasakan larangan keras terhadap penaakulan.
Penyediaan input bersifat khusus. Kad mengesyorkan imej dengan dimensi sebaik-baiknya antara 40 hingga 4096 piksel. Audio perlu berupa WAV pada 16 kHz, sebaik-baiknya lebih pendek daripada dua minit untuk edisi Small ini. Ini ialah cadangan input optimum, bukannya janji bahawa model menolak setiap input di luar julat tersebut. Output ialah teks UTF-8, bukannya pertuturan atau video yang dijana.
Untuk soalan imej, nyatakan ciri yang perlu diperiksa dan hubungannya dengan tugasan bertulis. Untuk audio, kenal pasti sama ada hasil yang berguna ialah penjelasan kandungan, ringkasan atau analisis teks yang lain. Berikan kosa kata dan latar belakang yang diperlukan untuk mentafsir bahan. Tugasan kod atau pemerolehan maklumat perlu membekalkan sumber atau petikan yang diperoleh yang berkaitan serta artifak yang dikehendaki.
Dalam aplikasi yang disambungkan kepada alat, model mencadangkan interaksi dan aplikasi mengembalikan hasilnya. Kekalkan pemerhatian itu sepanjang susulan supaya langkah seterusnya boleh menggunakan perkara yang berlaku. Pengeluar mengeluarkan model untuk penyesuaian dan penalaan halus, manakala titik semak yang disesuaikan secara berasingan kekal berbeza daripada model Small asal.
Pengeluar mengenal pasti kegagalan pematuhan arahan yang berlaku sekali-sekala, pernyataan fakta tanpa sokongan dan kemerosotan dalam perbualan panjang, dengan prestasi tidak sekata merentas bahasa dan bidang yang kurang diwakili. Ia turut menerangkan penilaian keselamatan multimodal dan kerentanan yang masih ada terhadap sesetengah prompt yang dibingkaikan secara tidak langsung. Kekalkan bukti sumber dan kawalan output khusus aplikasi apabila menggunakan hasil model dalam aliran kerja.
POST /v1/chat/completionstexttext| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had thinkingmachines/inkling-small | Lalai— |
Medanmessages | Jenismessage[] | KeperluanDiperlukan | Nilai & had Item minimum: 1 | Lalai— |
Medanmessages[].role | Jenisstring | KeperluanDiperlukan | Nilai & had Contoh: system, user, assistant, tool, function Syarat: Peranan ini diwakili secara eksplisit oleh jenis keserasian dalam kod sumber; set peranan model yang tepat kekal khusus untuk setiap model. Bergantung pada model | Lalai— |
Medanmessages[].content | Jenisstring|content_part[]|null | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].tool_calls | Jenistool_call[] | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].tool_call_id | Jenisstring | KeperluanPilihan | Nilai & had Terpakai apabila: role=tool; gunakan ID sebenar yang dipulangkan | Lalai— |
Medanmessages[].name | Jenisstring | KeperluanPilihan | Nilai & had | Lalai— |
Medanmessages[].reasoning_content | Jenisstring | KeperluanPilihan | Nilai & had Terpakai apabila: Hantar semula penaakulan sebenar yang dipulangkan apabila model ini menggunakannya | Lalai— |
Medanmessages[].reasoning_details | Jenisobject|array | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanmax_tokens | Jenisinteger | KeperluanPilihan | Nilai & had Minimum: 1 Bergantung pada model | Lalai— |
Medanmax_completion_tokens | Jenisinteger | KeperluanPilihan | Nilai & had Minimum: 1 Bergantung pada model | Lalai— |
Medanstream | Jenisboolean | KeperluanPilihan | Nilai & had | Lalaifalse |
Medanstream_options.include_usage | Jenisboolean | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantemperature | Jenisnumber | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantop_p | Jenisnumber | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanstop | Jenisstring|string[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantools | Jenisfunction_tool[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medantools[].type | Jenisstring | KeperluanPilihan | Nilai & had function Bergantung pada model | Lalai— |
Medantools[].function.name | Jenisstring | KeperluanDiperlukan | Nilai & had Terpakai apabila: alat fungsi dibekalkan | Lalai— |
Medantools[].function.description | Jenisstring | KeperluanPilihan | Nilai & had | Lalai— |
Medantools[].function.parameters | JenisJSON_schema | KeperluanPilihan | Nilai & had | Lalai— |
Medantool_choice | Jenisstring|object | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanparallel_tool_calls | Jenisboolean | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanresponse_format | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanreasoning_effort | Jenisstring | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanreasoning | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanservice_tier | Jenisstring | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medaninstructions | Jenisstring | KeperluanPilihan | Nilai & had Medan keserasian | Lalai— |
Medanfunctions | Jenisfunction[] | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanfunction_call | Jenisstring|object | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanprompt_cache_options | Jenisobject | KeperluanPilihan | Nilai & had Bergantung pada model | Lalai— |
Medanmodalities | Jenisstring[] | KeperluanPilihan | Nilai & had text | Lalai— |
Medanprovider | Jenisobject | KeperluanPilihan | Nilai & had Syarat: provider.options ditolak pada laluan teks Ultra ini | Lalai— |
Medancache_control.ttl | Jenisstring | KeperluanPilihan | Nilai & had Syarat: 1h ditolak pada lokasi cache prompt yang digunakan | Lalai— |
Teks · Teks UTF8
messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages |
Parametermaterial_types | Kontraktext |
Parametermessages | Kontraktatasusunan mesej dengan struktur role/content |
Parameterfile_material | Kontrakdokumen UTF-8 sebenar dimasukkan sebagai teks literal; ID fail tidak diandaikan |
Parameteroptional_controls | Kontrakstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontrakkhusus model; alat fungsi pengguna berbeza daripada alat yang dihoskan |
Parameteroutput_modalities | Kontraktext |
Parameterhosted_operations | Kontrakfalse |
Parametermultimodal_input_binding | Kontraknull |
Kitar hayat: synchronous_or_streamed
Hantar ID model yang tepat bersama messages.
Panjang konteks bukan had output.
Fail teks boleh membekalkan teks literal; input imej/audio/objek fail memerlukan pengikatan tepat.
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
Padankan setiap caj dengan syarat yang dipaparkan. Gunakan satu kadar bagi setiap set konfigurasi alternatif.
| Konfigurasi | Jadual kadar | Token konteks, melebihi | Token konteks, sehingga dan termasuk | Caj |
|---|---|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Token konteks, melebihi— | Token konteks, sehingga dan termasukTiada had atas | Caj Input · Token input $0.0009 / 1K token Output · Token output $0.0024 / 1K token Input · Bacaan cache $0.0002 / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
| KonfigurasiTahap panjang permintaan 1 | Jadual kadar— | Token konteks, melebihi0 | Token konteks, sehingga dan termasukTiada had atas | Caj Input · Token input $0.0009 / 1K token Output · Token output $0.0024 / 1K token Input · Bacaan cache $0.0002 / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "thinkingmachines/inkling-small", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='thinkingmachines/inkling-small',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='thinkingmachines/inkling-small',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson atau SSE
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Kekalkan setiap pilihan jawapan bersama kandungan, panggilan alat dan penaakulannya. Dalam SSE, gabungkan delta mengikut indeks pilihan jawapan/alat dan kekalkan sebab penamatan akhir serta data penggunaan.
Kekalkan ID permintaan/respons dan pengepala. Tiada URL umum bagi pengambilan tugas teks dibekalkan.
| Medan | Jenis |
|---|---|
Medanchoices[].index | Jenisinteger |
Medanchoices[].message.content | Jenisstring|null |
Medanchoices[].message.tool_calls | Jenistool_call[] |
Medanchoices[].message.reasoning_content | Jenisstring |
Medanchoices[].message.reasoning_details | Jenisobject|array |
Medanchoices[].finish_reason | Jenisstring|null |
Medanusage | Jenisobject |
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Ailoot Ultra thinkingmachines/inkling-small
Gunakan laluan kaedah yang dipaparkan di atas.
thinkingmachines/inkling-smallInkling-Small daripada Thinking Machines Lab ialah model MoE 276B dengan 12B parameter aktif untuk penaakulan teks, imej dan audio. Ia menghasilkan teks, menyokong aplikasi berorientasikan alat dan mempunyai konteks model 1M, dengan konteks perkhidmatan pengeluar yang lebih pendek dibezakan.
Huraian ini merangkumi keupayaan model. Input, output dan pilihan yang tersedia di Ailoot disenaraikan di bawah untuk kaedah yang dipilih.
Inkling-Small ialah model multimodal serba guna Thinking Machines Lab yang lebih kecil. Kad rasminya menyatakan 276 bilion jumlah parameter dan 12B parameter aktif. Ia menerima teks, imej dan audio serta menjana teks untuk aplikasi perbualan, pengekodan dan penaakulan, serta aplikasi yang diperkaya dengan pemerolehan maklumat dan aplikasi berorientasikan alat. Ia ialah edisi yang berbeza daripada model Inkling yang lebih besar.
Seni binanya menggunakan 42 lapisan penyahkod dan tulang belakang pakar jarang. Sesuatu token memilih enam daripada 256 pakar yang dirutekan serta dua pakar bersama, dengan gabungan perhatian setempat dan global. Tampalan imej dan token audio diskret diunjurkan ke dalam perwakilan bersama penyahkod. Artifak BF16 dan NVFP4 yang berasingan mempunyai identiti ketepatan masing-masing.
Pengeluar menerangkan konteks model 1M, manakala perkhidmatan latihannya menawarkan konfigurasi 64K dan 256K. Ini ialah skop berasingan, bukannya saiz tetingkap yang boleh saling menggantikan. Untuk bahan panjang, kenal pasti konteks sebenar yang digunakan oleh tugasan dan sediakan ruang untuk pemikiran serta jawapan akhir model. Pemapar Inkling bersama daripada pengeluar menerima nilai usaha terhingga daripada 0.0 hingga kurang daripada 1.0 dan menggunakan 0.9 apabila tidak dinyatakan. Sifar menggalakkan jawapan langsung tanpa menguatkuasakan larangan keras terhadap penaakulan.
Penyediaan input bersifat khusus. Kad mengesyorkan imej dengan dimensi sebaik-baiknya antara 40 hingga 4096 piksel. Audio perlu berupa WAV pada 16 kHz, sebaik-baiknya lebih pendek daripada dua minit untuk edisi Small ini. Ini ialah cadangan input optimum, bukannya janji bahawa model menolak setiap input di luar julat tersebut. Output ialah teks UTF-8, bukannya pertuturan atau video yang dijana.
Untuk soalan imej, nyatakan ciri yang perlu diperiksa dan hubungannya dengan tugasan bertulis. Untuk audio, kenal pasti sama ada hasil yang berguna ialah penjelasan kandungan, ringkasan atau analisis teks yang lain. Berikan kosa kata dan latar belakang yang diperlukan untuk mentafsir bahan. Tugasan kod atau pemerolehan maklumat perlu membekalkan sumber atau petikan yang diperoleh yang berkaitan serta artifak yang dikehendaki.
Dalam aplikasi yang disambungkan kepada alat, model mencadangkan interaksi dan aplikasi mengembalikan hasilnya. Kekalkan pemerhatian itu sepanjang susulan supaya langkah seterusnya boleh menggunakan perkara yang berlaku. Pengeluar mengeluarkan model untuk penyesuaian dan penalaan halus, manakala titik semak yang disesuaikan secara berasingan kekal berbeza daripada model Small asal.
Pengeluar mengenal pasti kegagalan pematuhan arahan yang berlaku sekali-sekala, pernyataan fakta tanpa sokongan dan kemerosotan dalam perbualan panjang, dengan prestasi tidak sekata merentas bahasa dan bidang yang kurang diwakili. Ia turut menerangkan penilaian keselamatan multimodal dan kerentanan yang masih ada terhadap sesetengah prompt yang dibingkaikan secara tidak langsung. Kekalkan bukti sumber dan kawalan output khusus aplikasi apabila menggunakan hasil model dalam aliran kerja.
POST /v1/messagestextjson, sse| Medan | Jenis | Keperluan | Nilai & had | Lalai |
|---|---|---|---|---|
Medanmodel | Jenisstring | KeperluanDiperlukan | Nilai & had thinkingmachines/inkling-small | Lalai— |
Medanmessages | Jenismessage[] | KeperluanDiperlukan | Nilai & had | Lalai— |
Medanmessages[].role | Jenisstring | KeperluanDiperlukan | Nilai & had user, assistant | Lalai— |
Medanmessages[].content | Jenisstring | KeperluanDiperlukan | Nilai & had | Lalai— |
Medanmax_tokens | Jenisinteger | KeperluanDiperlukan | Nilai & had | Lalai— |
Medanstream | Jenisboolean | KeperluanPilihan | Nilai & had | Lalaifalse |
Teks · Teks UTF-8
rentetan messages[].content
| Parameter | Kontrak |
|---|---|
Parametercontent_type | Kontrakapplication/json |
Parameterrequired | Kontrakmodel, messages, max_tokens |
Parameteroptional_controls | Kontrakstream |
Parametermaterial_types | Kontraktext |
Parametertext_file_material | KontrakBaca dokumen UTF-8 sebenar dan letakkan teksnya dalam rentetan input atau kandungan mesej yang ditunjukkan. |
Kitar hayat: synchronous_or_streamed
Rujukan tarif tidak menambah pilihan permintaan. Parameter yang disokong disenaraikan untuk kaedah yang dipilih.
Padankan setiap caj dengan syarat yang dipaparkan. Gunakan satu kadar bagi setiap set konfigurasi alternatif.
| Konfigurasi | Jadual kadar | Token konteks, melebihi | Token konteks, sehingga dan termasuk | Caj |
|---|---|---|---|---|
| KonfigurasiKadar asas token | Jadual kadarKadar asas | Token konteks, melebihi— | Token konteks, sehingga dan termasukTiada had atas | Caj Input · Token input $0.0009 / 1K token Output · Token output $0.0024 / 1K token Input · Bacaan cache $0.0002 / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
| KonfigurasiTahap panjang permintaan 1 | Jadual kadar— | Token konteks, melebihi0 | Token konteks, sehingga dan termasukTiada had atas | Caj Input · Token input $0.0009 / 1K token Output · Token output $0.0024 / 1K token Input · Bacaan cache $0.0002 / 1K token Input · Penulisan cache — / 1K token Input · Penulisan cache, 1 jam — / 1K token |
Ailoot merizabkan anggaran amaun sebelum permintaan. Selepas hasil diterima, caj akhir diselesaikan berdasarkan penggunaan terukur. Penyelesaian caj penstriman menggunakan rekod penggunaan akhir. Cara rizab dan penyelesaian caj berfungsi →
{\n "model": "thinkingmachines/inkling-small",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'thinkingmachines/inkling-small', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'thinkingmachines/inkling-small', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON atau SSE
Simpan setiap respons lengkap, fail dan bahagian kandungan yang dikembalikan.
Kekalkan semua blok kandungan, tandatangan penaakulan dan ID penggunaan alat sebenar. Gabungkan semua delta blok SSE; blok teks pertama bukan keseluruhan output.
Kekalkan ID permintaan/respons dan pengepala. Tiada URL umum bagi pengambilan tugas teks dibekalkan.
| Medan | Jenis |
|---|---|
Medanid | Jenisstring |
Medanmodel | Jenisstring |
Medancontent[] | Jenistext|thinking|tool_use|other content block |
Medanstop_reason | Jenisstring|null |
Medanusage | Jenisobject |
| Respons | Syarat | Langkah seterusnya |
|---|---|---|
Respons400 · invalid_request_error | SyaratMedan wajib, perwakilan bahan atau nilai parameter tidak sah | Langkah seterusnyaBetulkan medan yang ditunjukkan sebelum permintaan penciptaan baharu. |
Ailoot Ultra thinkingmachines/inkling-small
Gunakan laluan kaedah yang dipaparkan di atas.
Contoh teknikal dalam bahasa Inggeris
Answer from retrieved training material\n\nAnswer a new employee using only these retrieved passages. [DOC1] Draft reports may be edited by their author. [DOC2] Approved reports are locked; corrections create a new version. Question: 'I found a typo in an approved report. Can I edit it directly?' Give a concise answer, the supporting document label and one appropriate next step without claiming a change occurred.A short source-grounded answer with DOC2 support and a proposed version-based correction step.Check the approved/draft distinction is preserved and no lock is bypassed in the suggestion.