Inkling-Small – tai mažesnis bendrosios paskirties multimodalinis „Thinking Machines Lab“ modelis. Oficialioje kortelėje nurodyta iš viso 276 mlrd. parametrų ir 12 mlrd. aktyvių parametrų. Jis priima tekstą, vaizdus bei garsą ir generuoja tekstą pokalbių, programavimo, samprotavimo, paieška papildytoms ir įrankius naudojančioms programoms. Tai atskiras leidimas nuo didesnio Inkling modelio.
Architektūra naudoja 42 dekoderio sluoksnius ir retąjį ekspertų pagrindą. Žetonas parenka šešis iš 256 maršrutizuojamų ekspertų ir du bendrus ekspertus, derinant vietinį ir globalų dėmesį. Vaizdo fragmentai ir diskretūs garso žetonai projektuojami į bendrą dekoderio reprezentaciją. Atskiri BF16 ir NVFP4 artefaktai turi savus tikslumo identifikatorius.
Gamintojas aprašo 1M modelio kontekstą, o jo mokymo paslauga siūlo 64K ir 256K konfigūracijas. Tai atskiros apimtys, o ne sukeičiamai naudojami langų dydžiai. Ilgai medžiagai nustatykite tikrąjį užduotyje naudojamą kontekstą ir palikite vietos modelio mąstymui bei galutiniam atsakymui. Bendras gamintojo Inkling atvaizdavimo komponentas priima baigtinę pastangų vertę nuo 0,0 iki mažiau nei 1,0 ir, jos nenurodžius, naudoja 0,9. Nulis skatina tiesioginį atsakymą, griežtai neuždrausdamas samprotavimo.
Įvesties parengimas yra konkretus. Kortelėje rekomenduojami vaizdai, kurių matmenys pageidautinai yra nuo 40 iki 4 096 pikselių. Garsas turi būti WAV su 16 kHz diskretizavimo dažniu ir šiam Small leidimui pageidautinai trumpesnis nei dvi minutės. Tai optimalios įvesties rekomendacijos, o ne pažadai, kad modelis atmeta kiekvieną jų neatitinkančią įvestį. Išvestis yra UTF-8 tekstas, o ne sugeneruota kalba ar vaizdo įrašas.
Klausimui apie vaizdą nurodykite tikrintiną ypatybę ir jos ryšį su rašytine užduotimi. Garsui įvardykite, ar naudingas rezultatas yra turinio paaiškinimas, santrauka ar kita tekstinė analizė. Pateikite medžiagai suprasti reikalingą žodyną ir kontekstą. Programavimo ar paieškos užduotyje turi būti aktualus šaltinis ar surinktos ištraukos ir pageidaujamas artefaktas.
Su įrankiais susietoje programoje modelis siūlo sąveikas, o programa grąžina jų rezultatus. Tęstiniuose pranešimuose išsaugokite šiuos stebėjimus, kad kitas žingsnis galėtų remtis tuo, kas įvyko. Gamintojas išleidžia modelį pritaikymui ir papildomam derinimui, o atskirai pritaikytas kontrolinis taškas išlieka atskiras nuo pradinio Small modelio.
Gamintojas nurodo kartais pasitaikančius nurodymų vykdymo sutrikimus, nepagrįstus faktinius teiginius ir prastėjimą ilguose pokalbiuose, taip pat netolygų veikimą mažiau atstovaujamose kalbose ir srityse. Jis taip pat aprašo multimodalinį saugos vertinimą ir išliekantį jautrumą kai kurioms netiesiogiai suformuluotoms užklausoms. Naudodami modelio rezultatą darbo eigoje, išlaikykite prieinamus šaltinio įrodymus ir konkrečiai programai skirtas išvesties kontrolės priemones.
", "aboutText": "Inkling-Small – tai mažesnis bendrosios paskirties multimodalinis „Thinking Machines Lab“ modelis. Oficialioje kortelėje nurodyta iš viso 276 mlrd. parametrų ir 12 mlrd. aktyvių parametrų. Jis priima tekstą, vaizdus bei garsą ir generuoja tekstą pokalbių, programavimo, samprotavimo, paieška papildytoms ir įrankius naudojančioms programoms. Tai atskiras leidimas nuo didesnio Inkling modelio.\n\nArchitektūra naudoja 42 dekoderio sluoksnius ir retąjį ekspertų pagrindą. Žetonas parenka šešis iš 256 maršrutizuojamų ekspertų ir du bendrus ekspertus, derinant vietinį ir globalų dėmesį. Vaizdo fragmentai ir diskretūs garso žetonai projektuojami į bendrą dekoderio reprezentaciją. Atskiri BF16 ir NVFP4 artefaktai turi savus tikslumo identifikatorius.\n\nGamintojas aprašo 1M modelio kontekstą, o jo mokymo paslauga siūlo 64K ir 256K konfigūracijas. Tai atskiros apimtys, o ne sukeičiamai naudojami langų dydžiai. Ilgai medžiagai nustatykite tikrąjį užduotyje naudojamą kontekstą ir palikite vietos modelio mąstymui bei galutiniam atsakymui. Bendras gamintojo Inkling atvaizdavimo komponentas priima baigtinę pastangų vertę nuo 0,0 iki mažiau nei 1,0 ir, jos nenurodžius, naudoja 0,9. Nulis skatina tiesioginį atsakymą, griežtai neuždrausdamas samprotavimo.\n\nĮvesties parengimas yra konkretus. Kortelėje rekomenduojami vaizdai, kurių matmenys pageidautinai yra nuo 40 iki 4 096 pikselių. Garsas turi būti WAV su 16 kHz diskretizavimo dažniu ir šiam Small leidimui pageidautinai trumpesnis nei dvi minutės. Tai optimalios įvesties rekomendacijos, o ne pažadai, kad modelis atmeta kiekvieną jų neatitinkančią įvestį. Išvestis yra UTF-8 tekstas, o ne sugeneruota kalba ar vaizdo įrašas.\n\nKlausimui apie vaizdą nurodykite tikrintiną ypatybę ir jos ryšį su rašytine užduotimi. Garsui įvardykite, ar naudingas rezultatas yra turinio paaiškinimas, santrauka ar kita tekstinė analizė. Pateikite medžiagai suprasti reikalingą žodyną ir kontekstą. Programavimo ar paieškos užduotyje turi būti aktualus šaltinis ar surinktos ištraukos ir pageidaujamas artefaktas.\n\nSu įrankiais susietoje programoje modelis siūlo sąveikas, o programa grąžina jų rezultatus. Tęstiniuose pranešimuose išsaugokite šiuos stebėjimus, kad kitas žingsnis galėtų remtis tuo, kas įvyko. Gamintojas išleidžia modelį pritaikymui ir papildomam derinimui, o atskirai pritaikytas kontrolinis taškas išlieka atskiras nuo pradinio Small modelio.\n\nGamintojas nurodo kartais pasitaikančius nurodymų vykdymo sutrikimus, nepagrįstus faktinius teiginius ir prastėjimą ilguose pokalbiuose, taip pat netolygų veikimą mažiau atstovaujamose kalbose ir srityse. Jis taip pat aprašo multimodalinį saugos vertinimą ir išliekantį jautrumą kai kurioms netiesiogiai suformuluotoms užklausoms. Naudodami modelio rezultatą darbo eigoje, išlaikykite prieinamus šaltinio įrodymus ir konkrečiai programai skirtas išvesties kontrolės priemones.", "editorialOverlay": { "copy_fields": { "practical_html": "Techninis pavyzdys anglų kalba
Answer from retrieved training material\n\nAnswer a new employee using only these retrieved passages. [DOC1] Draft reports may be edited by their author. [DOC2] Approved reports are locked; corrections create a new version. Question: 'I found a typo in an approved report. Can I edit it directly?' Give a concise answer, the supporting document label and one appropriate next step without claiming a change occurred.A short source-grounded answer with DOC2 support and a proposed version-based correction step.Check the approved/draft distinction is preserved and no lock is bypassed in the suggestion.thinkingmachines/inkling-small„Thinking Machines Lab“ Inkling-Small – tai 276 mlrd. parametrų MoE modelis su 12 mlrd. aktyvių parametrų teksto, vaizdų ir garso samprotavimui. Jis kuria tekstą, palaiko įrankius naudojančias programas ir turi 1M modelio kontekstą, atskirai išskiriant trumpesnius gamintojo paslaugos kontekstus.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Inkling-Small – tai mažesnis bendrosios paskirties multimodalinis „Thinking Machines Lab“ modelis. Oficialioje kortelėje nurodyta iš viso 276 mlrd. parametrų ir 12 mlrd. aktyvių parametrų. Jis priima tekstą, vaizdus bei garsą ir generuoja tekstą pokalbių, programavimo, samprotavimo, paieška papildytoms ir įrankius naudojančioms programoms. Tai atskiras leidimas nuo didesnio Inkling modelio.
Architektūra naudoja 42 dekoderio sluoksnius ir retąjį ekspertų pagrindą. Žetonas parenka šešis iš 256 maršrutizuojamų ekspertų ir du bendrus ekspertus, derinant vietinį ir globalų dėmesį. Vaizdo fragmentai ir diskretūs garso žetonai projektuojami į bendrą dekoderio reprezentaciją. Atskiri BF16 ir NVFP4 artefaktai turi savus tikslumo identifikatorius.
Gamintojas aprašo 1M modelio kontekstą, o jo mokymo paslauga siūlo 64K ir 256K konfigūracijas. Tai atskiros apimtys, o ne sukeičiamai naudojami langų dydžiai. Ilgai medžiagai nustatykite tikrąjį užduotyje naudojamą kontekstą ir palikite vietos modelio mąstymui bei galutiniam atsakymui. Bendras gamintojo Inkling atvaizdavimo komponentas priima baigtinę pastangų vertę nuo 0,0 iki mažiau nei 1,0 ir, jos nenurodžius, naudoja 0,9. Nulis skatina tiesioginį atsakymą, griežtai neuždrausdamas samprotavimo.
Įvesties parengimas yra konkretus. Kortelėje rekomenduojami vaizdai, kurių matmenys pageidautinai yra nuo 40 iki 4 096 pikselių. Garsas turi būti WAV su 16 kHz diskretizavimo dažniu ir šiam Small leidimui pageidautinai trumpesnis nei dvi minutės. Tai optimalios įvesties rekomendacijos, o ne pažadai, kad modelis atmeta kiekvieną jų neatitinkančią įvestį. Išvestis yra UTF-8 tekstas, o ne sugeneruota kalba ar vaizdo įrašas.
Klausimui apie vaizdą nurodykite tikrintiną ypatybę ir jos ryšį su rašytine užduotimi. Garsui įvardykite, ar naudingas rezultatas yra turinio paaiškinimas, santrauka ar kita tekstinė analizė. Pateikite medžiagai suprasti reikalingą žodyną ir kontekstą. Programavimo ar paieškos užduotyje turi būti aktualus šaltinis ar surinktos ištraukos ir pageidaujamas artefaktas.
Su įrankiais susietoje programoje modelis siūlo sąveikas, o programa grąžina jų rezultatus. Tęstiniuose pranešimuose išsaugokite šiuos stebėjimus, kad kitas žingsnis galėtų remtis tuo, kas įvyko. Gamintojas išleidžia modelį pritaikymui ir papildomam derinimui, o atskirai pritaikytas kontrolinis taškas išlieka atskiras nuo pradinio Small modelio.
Gamintojas nurodo kartais pasitaikančius nurodymų vykdymo sutrikimus, nepagrįstus faktinius teiginius ir prastėjimą ilguose pokalbiuose, taip pat netolygų veikimą mažiau atstovaujamose kalbose ir srityse. Jis taip pat aprašo multimodalinį saugos vertinimą ir išliekantį jautrumą kai kurioms netiesiogiai suformuluotoms užklausoms. Naudodami modelio rezultatą darbo eigoje, išlaikykite prieinamus šaltinio įrodymus ir konkrečiai programai skirtas išvesties kontrolės priemones.
POST /v1/chat/completionstexttext| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos thinkingmachines/inkling-small | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Pavyzdžiai: system, user, assistant, tool, function Sąlygos: Šie vaidmenys aiškiai išreikšti šaltinio kodo suderinamumo tipuose; tikslus vaidmenų rinkinys priklauso nuo konkretaus modelio. Priklauso nuo modelio | Numatyta— |
Laukasmessages[].content | Tipasstring|content_part[]|null | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_calls | Tipastool_call[] | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_call_id | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: role=tool; naudokite tikrąjį grąžintą ID | Numatyta— |
Laukasmessages[].name | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].reasoning_content | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: Grąžinkite tikrąjį gautą samprotavimą ten, kur šis modelis jį naudoja | Numatyta— |
Laukasmessages[].reasoning_details | Tipasobject|array | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasmax_completion_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Laukasstream_options.include_usage | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastemperature | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastop_p | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasstop | Tipasstring|string[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools | Tipasfunction_tool[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools[].type | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos function Priklauso nuo modelio | Numatyta— |
Laukastools[].function.name | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Taikoma, kai: pateiktas funkcijos tipo įrankis | Numatyta— |
Laukastools[].function.description | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastools[].function.parameters | TipasJSON_schema | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastool_choice | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasparallel_tool_calls | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasresponse_format | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning_effort | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasservice_tier | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasinstructions | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Suderinamumo laukas | Numatyta— |
Laukasfunctions | Tipasfunction[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasfunction_call | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasprompt_cache_options | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmodalities | Tipasstring[] | ReikalavimasNeprivaloma | Reikšmės ir ribos text | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options šiame Ultra teksto maršrute atmetamas | Numatyta— |
Laukascache_control.ttl | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: 1h atmetamas tikrosiose užklausų podėlio vietose | Numatyta— |
Tekstas · UTF8 tekstas
messages[].content
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages |
Parametrasmaterial_types | Specifikacijatext |
Parametrasmessages | Specifikacijapranešimų masyvas su role/content struktūra |
Parametrasfile_material | Specifikacijatikrasis UTF-8 dokumentas įterptas kaip pažodinis tekstas; failo ID nenumanomas |
Parametrasoptional_controls | Specifikacijastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrascontrol_scope | Specifikacijapriklauso nuo modelio; naudotojo funkcijų įrankiai skiriasi nuo priglobtų įrankių |
Parametrasoutput_modalities | Specifikacijatext |
Parametrashosted_operations | Specifikacijafalse |
Parametrasmultimodal_input_binding | Specifikacijanull |
Gyvavimo ciklas: synchronous_or_streamed
Siųskite tikslų modelio ID kartu su messages.
Konteksto ilgis nėra išvesties limitas.
Teksto failas gali pateikti pažodinį tekstą; vaizdų / garso / failų objektų įvestims reikia tikslaus susiejimo.
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Konteksto tokenų daugiau nei | Konteksto tokenų iki imtinai | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Konteksto tokenų daugiau nei— | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.0009 / 1K tokenų Išvestis · Išvesties tokenai $0.0024 / 1K tokenų Įvestis · Talpyklos skaitymas $0.0002 / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUžklausos ilgio pakopa 1 | Įkainių lentelė— | Konteksto tokenų daugiau nei0 | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.0009 / 1K tokenų Išvestis · Išvesties tokenai $0.0024 / 1K tokenų Įvestis · Talpyklos skaitymas $0.0002 / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "thinkingmachines/inkling-small", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='thinkingmachines/inkling-small',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='thinkingmachines/inkling-small',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną variantą ir jo turinį / įrankių iškvietimus / samprotavimą. SSE prieaugius surinkite pagal varianto / įrankio indeksą; išsaugokite galutinę užbaigimo priežastį ir naudojimo duomenis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukaschoices[].index | Tipasinteger |
Laukaschoices[].message.content | Tipasstring|null |
Laukaschoices[].message.tool_calls | Tipastool_call[] |
Laukaschoices[].message.reasoning_content | Tipasstring |
Laukaschoices[].message.reasoning_details | Tipasobject|array |
Laukaschoices[].finish_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra thinkingmachines/inkling-small
Naudokite aukščiau nurodytus metodų kelius.
thinkingmachines/inkling-small„Thinking Machines Lab“ Inkling-Small – tai 276 mlrd. parametrų MoE modelis su 12 mlrd. aktyvių parametrų teksto, vaizdų ir garso samprotavimui. Jis kuria tekstą, palaiko įrankius naudojančias programas ir turi 1M modelio kontekstą, atskirai išskiriant trumpesnius gamintojo paslaugos kontekstus.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Inkling-Small – tai mažesnis bendrosios paskirties multimodalinis „Thinking Machines Lab“ modelis. Oficialioje kortelėje nurodyta iš viso 276 mlrd. parametrų ir 12 mlrd. aktyvių parametrų. Jis priima tekstą, vaizdus bei garsą ir generuoja tekstą pokalbių, programavimo, samprotavimo, paieška papildytoms ir įrankius naudojančioms programoms. Tai atskiras leidimas nuo didesnio Inkling modelio.
Architektūra naudoja 42 dekoderio sluoksnius ir retąjį ekspertų pagrindą. Žetonas parenka šešis iš 256 maršrutizuojamų ekspertų ir du bendrus ekspertus, derinant vietinį ir globalų dėmesį. Vaizdo fragmentai ir diskretūs garso žetonai projektuojami į bendrą dekoderio reprezentaciją. Atskiri BF16 ir NVFP4 artefaktai turi savus tikslumo identifikatorius.
Gamintojas aprašo 1M modelio kontekstą, o jo mokymo paslauga siūlo 64K ir 256K konfigūracijas. Tai atskiros apimtys, o ne sukeičiamai naudojami langų dydžiai. Ilgai medžiagai nustatykite tikrąjį užduotyje naudojamą kontekstą ir palikite vietos modelio mąstymui bei galutiniam atsakymui. Bendras gamintojo Inkling atvaizdavimo komponentas priima baigtinę pastangų vertę nuo 0,0 iki mažiau nei 1,0 ir, jos nenurodžius, naudoja 0,9. Nulis skatina tiesioginį atsakymą, griežtai neuždrausdamas samprotavimo.
Įvesties parengimas yra konkretus. Kortelėje rekomenduojami vaizdai, kurių matmenys pageidautinai yra nuo 40 iki 4 096 pikselių. Garsas turi būti WAV su 16 kHz diskretizavimo dažniu ir šiam Small leidimui pageidautinai trumpesnis nei dvi minutės. Tai optimalios įvesties rekomendacijos, o ne pažadai, kad modelis atmeta kiekvieną jų neatitinkančią įvestį. Išvestis yra UTF-8 tekstas, o ne sugeneruota kalba ar vaizdo įrašas.
Klausimui apie vaizdą nurodykite tikrintiną ypatybę ir jos ryšį su rašytine užduotimi. Garsui įvardykite, ar naudingas rezultatas yra turinio paaiškinimas, santrauka ar kita tekstinė analizė. Pateikite medžiagai suprasti reikalingą žodyną ir kontekstą. Programavimo ar paieškos užduotyje turi būti aktualus šaltinis ar surinktos ištraukos ir pageidaujamas artefaktas.
Su įrankiais susietoje programoje modelis siūlo sąveikas, o programa grąžina jų rezultatus. Tęstiniuose pranešimuose išsaugokite šiuos stebėjimus, kad kitas žingsnis galėtų remtis tuo, kas įvyko. Gamintojas išleidžia modelį pritaikymui ir papildomam derinimui, o atskirai pritaikytas kontrolinis taškas išlieka atskiras nuo pradinio Small modelio.
Gamintojas nurodo kartais pasitaikančius nurodymų vykdymo sutrikimus, nepagrįstus faktinius teiginius ir prastėjimą ilguose pokalbiuose, taip pat netolygų veikimą mažiau atstovaujamose kalbose ir srityse. Jis taip pat aprašo multimodalinį saugos vertinimą ir išliekantį jautrumą kai kurioms netiesiogiai suformuluotoms užklausoms. Naudodami modelio rezultatą darbo eigoje, išlaikykite prieinamus šaltinio įrodymus ir konkrečiai programai skirtas išvesties kontrolės priemones.
POST /v1/messagestextjson, sse| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos thinkingmachines/inkling-small | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos user, assistant | Numatyta— |
Laukasmessages[].content | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Tekstas · UTF-8 tekstas
messages[].content eilutė
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages, max_tokens |
Parametrasoptional_controls | Specifikacijastream |
Parametrasmaterial_types | Specifikacijatext |
Parametrastext_file_material | SpecifikacijaPerskaitykite tikrąjį UTF-8 dokumentą ir įterpkite jo tekstą į nurodytą input lauką arba pranešimo turinio eilutę. |
Gyvavimo ciklas: synchronous_or_streamed
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Konteksto tokenų daugiau nei | Konteksto tokenų iki imtinai | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Konteksto tokenų daugiau nei— | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.0009 / 1K tokenų Išvestis · Išvesties tokenai $0.0024 / 1K tokenų Įvestis · Talpyklos skaitymas $0.0002 / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUžklausos ilgio pakopa 1 | Įkainių lentelė— | Konteksto tokenų daugiau nei0 | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.0009 / 1K tokenų Išvestis · Išvesties tokenai $0.0024 / 1K tokenų Įvestis · Talpyklos skaitymas $0.0002 / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
{\n "model": "thinkingmachines/inkling-small",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'thinkingmachines/inkling-small', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'thinkingmachines/inkling-small', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visus turinio blokus, mąstymo parašus ir tikruosius įrankių naudojimo ID. Surinkite visus SSE blokų prieaugius; pirmasis teksto blokas nėra visa išvestis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukasid | Tipasstring |
Laukasmodel | Tipasstring |
Laukascontent[] | Tipastext|thinking|tool_use|other content block |
Laukasstop_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra thinkingmachines/inkling-small
Naudokite aukščiau nurodytus metodų kelius.
Techninis pavyzdys anglų kalba
Answer from retrieved training material\n\nAnswer a new employee using only these retrieved passages. [DOC1] Draft reports may be edited by their author. [DOC2] Approved reports are locked; corrections create a new version. Question: 'I found a typo in an approved report. Can I edit it directly?' Give a concise answer, the supporting document label and one appropriate next step without claiming a change occurred.A short source-grounded answer with DOC2 support and a proposed version-based correction step.Check the approved/draft distinction is preserved and no lock is bypassed in the suggestion.