Inkling-Small ist das kleinere multimodale Allzweckmodell von Thinking Machines Lab. Seine offizielle Modellkarte nennt insgesamt 276 Milliarden Parameter und 12B aktive Parameter. Es akzeptiert Text, Bilder und Audio und erzeugt Text für Gesprächs-, Programmier-, Reasoning-, retrievalgestützte und werkzeugorientierte Anwendungen. Es ist eine eigenständige Ausgabe gegenüber dem grösseren Inkling-Modell.
Die Architektur verwendet 42 Decoder-Schichten und ein spärlich aktiviertes Expertengrundmodell. Ein Token wählt sechs von 256 gerouteten Experten sowie zwei gemeinsame Experten aus, mit einer Mischung aus lokaler und globaler Attention. Bild-Patches und diskrete Audio-Token werden in die gemeinsame Darstellung des Decoders projiziert. Separate BF16- und NVFP4-Artefakte haben ihre eigene Präzisionsidentität.
Der Hersteller beschreibt einen Modellkontext von 1M, während sein Trainingsdienst Konfigurationen mit 64K und 256K anbietet. Das sind separate Geltungsbereiche und keine austauschbaren Fenstergrössen. Bei langem Material bestimmen Sie den tatsächlich für die Aufgabe verwendeten Kontext und lassen Platz für das Nachdenken und die Endantwort des Modells. Der gemeinsame Inkling-Renderer des Herstellers akzeptiert einen endlichen Aufwandswert ab 0.0 bis ausschliesslich 1.0 und verwendet 0.9, wenn er weggelassen wird. Null fördert eine direkte Antwort, ohne ein hartes Verbot des Schlussfolgerns durchzusetzen.
Die Eingabevorbereitung ist konkret. Die Modellkarte empfiehlt Bilder, deren Abmessungen idealerweise zwischen 40 und 4096 Pixeln liegen. Audio sollte WAV mit 16 kHz sein und bei dieser Small-Ausgabe idealerweise kürzer als zwei Minuten. Das sind Empfehlungen für optimale Eingaben und keine Zusagen, dass das Modell jede Eingabe ausserhalb dieser Grenzen zurückweist. Die Ausgabe ist UTF-8-Text, keine erzeugte Sprachausgabe und kein Video.
Bei einer Bildfrage legen Sie das zu untersuchende Merkmal und seinen Bezug zur schriftlichen Aufgabe fest. Bei Audio benennen Sie, ob eine Erklärung des Inhalts, eine Zusammenfassung oder eine andere Textanalyse das nützliche Ergebnis ist. Stellen Sie das für die Interpretation des Materials nötige Vokabular und Hintergrundwissen bereit. Eine Code- oder Abrufaufgabe sollte die relevante Quelle oder abgerufenen Passagen sowie das gewünschte Artefakt liefern.
In einer mit Tools verbundenen Anwendung schlägt das Modell Interaktionen vor und die Anwendung liefert deren Ergebnisse zurück. Bewahren Sie diese Beobachtungen über Folgefragen hinweg, damit der nächste Schritt das tatsächliche Geschehen nutzen kann. Der Hersteller veröffentlicht das Modell für Anpassung und Fine-Tuning; ein separat angepasster Checkpoint bleibt vom ursprünglichen Small-Modell getrennt.
Der Hersteller nennt gelegentliche Fehler bei der Anweisungsbefolgung, unbelegte Tatsachenbehauptungen und Qualitätsverlust in langen Gesprächen sowie uneinheitliche Leistung in weniger vertretenen Sprachen und Fachgebieten. Er beschreibt zudem multimodale Sicherheitsbewertungen und eine verbleibende Anfälligkeit für einige indirekt formulierte Prompts. Halten Sie Quellenbelege und anwendungsspezifische Ausgabekontrollen verfügbar, wenn Sie das Modellergebnis in einem Arbeitsablauf verwenden.
", "aboutText": "Inkling-Small ist das kleinere multimodale Allzweckmodell von Thinking Machines Lab. Seine offizielle Modellkarte nennt insgesamt 276 Milliarden Parameter und 12B aktive Parameter. Es akzeptiert Text, Bilder und Audio und erzeugt Text für Gesprächs-, Programmier-, Reasoning-, retrievalgestützte und werkzeugorientierte Anwendungen. Es ist eine eigenständige Ausgabe gegenüber dem grösseren Inkling-Modell.\n\nDie Architektur verwendet 42 Decoder-Schichten und ein spärlich aktiviertes Expertengrundmodell. Ein Token wählt sechs von 256 gerouteten Experten sowie zwei gemeinsame Experten aus, mit einer Mischung aus lokaler und globaler Attention. Bild-Patches und diskrete Audio-Token werden in die gemeinsame Darstellung des Decoders projiziert. Separate BF16- und NVFP4-Artefakte haben ihre eigene Präzisionsidentität.\n\nDer Hersteller beschreibt einen Modellkontext von 1M, während sein Trainingsdienst Konfigurationen mit 64K und 256K anbietet. Das sind separate Geltungsbereiche und keine austauschbaren Fenstergrössen. Bei langem Material bestimmen Sie den tatsächlich für die Aufgabe verwendeten Kontext und lassen Platz für das Nachdenken und die Endantwort des Modells. Der gemeinsame Inkling-Renderer des Herstellers akzeptiert einen endlichen Aufwandswert ab 0.0 bis ausschliesslich 1.0 und verwendet 0.9, wenn er weggelassen wird. Null fördert eine direkte Antwort, ohne ein hartes Verbot des Schlussfolgerns durchzusetzen.\n\nDie Eingabevorbereitung ist konkret. Die Modellkarte empfiehlt Bilder, deren Abmessungen idealerweise zwischen 40 und 4096 Pixeln liegen. Audio sollte WAV mit 16 kHz sein und bei dieser Small-Ausgabe idealerweise kürzer als zwei Minuten. Das sind Empfehlungen für optimale Eingaben und keine Zusagen, dass das Modell jede Eingabe ausserhalb dieser Grenzen zurückweist. Die Ausgabe ist UTF-8-Text, keine erzeugte Sprachausgabe und kein Video.\n\nBei einer Bildfrage legen Sie das zu untersuchende Merkmal und seinen Bezug zur schriftlichen Aufgabe fest. Bei Audio benennen Sie, ob eine Erklärung des Inhalts, eine Zusammenfassung oder eine andere Textanalyse das nützliche Ergebnis ist. Stellen Sie das für die Interpretation des Materials nötige Vokabular und Hintergrundwissen bereit. Eine Code- oder Abrufaufgabe sollte die relevante Quelle oder abgerufenen Passagen sowie das gewünschte Artefakt liefern.\n\nIn einer mit Tools verbundenen Anwendung schlägt das Modell Interaktionen vor und die Anwendung liefert deren Ergebnisse zurück. Bewahren Sie diese Beobachtungen über Folgefragen hinweg, damit der nächste Schritt das tatsächliche Geschehen nutzen kann. Der Hersteller veröffentlicht das Modell für Anpassung und Fine-Tuning; ein separat angepasster Checkpoint bleibt vom ursprünglichen Small-Modell getrennt.\n\nDer Hersteller nennt gelegentliche Fehler bei der Anweisungsbefolgung, unbelegte Tatsachenbehauptungen und Qualitätsverlust in langen Gesprächen sowie uneinheitliche Leistung in weniger vertretenen Sprachen und Fachgebieten. Er beschreibt zudem multimodale Sicherheitsbewertungen und eine verbleibende Anfälligkeit für einige indirekt formulierte Prompts. Halten Sie Quellenbelege und anwendungsspezifische Ausgabekontrollen verfügbar, wenn Sie das Modellergebnis in einem Arbeitsablauf verwenden.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisches Beispiel auf Englisch
Answer from retrieved training material\n\nAnswer a new employee using only these retrieved passages. [DOC1] Draft reports may be edited by their author. [DOC2] Approved reports are locked; corrections create a new version. Question: 'I found a typo in an approved report. Can I edit it directly?' Give a concise answer, the supporting document label and one appropriate next step without claiming a change occurred.A short source-grounded answer with DOC2 support and a proposed version-based correction step.Check the approved/draft distinction is preserved and no lock is bypassed in the suggestion.thinkingmachines/inkling-smallInkling-Small von Thinking Machines Lab ist ein MoE-Modell mit 276B Parametern und 12B aktiven Parametern für Schlussfolgerungen aus Text, Bildern und Audio. Es erzeugt Text, unterstützt werkzeugorientierte Anwendungen und hat einen Modellkontext von 1M; kürzere Kontexte des Herstellerdienstes werden getrennt davon betrachtet.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
Inkling-Small ist das kleinere multimodale Allzweckmodell von Thinking Machines Lab. Seine offizielle Modellkarte nennt insgesamt 276 Milliarden Parameter und 12B aktive Parameter. Es akzeptiert Text, Bilder und Audio und erzeugt Text für Gesprächs-, Programmier-, Reasoning-, retrievalgestützte und werkzeugorientierte Anwendungen. Es ist eine eigenständige Ausgabe gegenüber dem grösseren Inkling-Modell.
Die Architektur verwendet 42 Decoder-Schichten und ein spärlich aktiviertes Expertengrundmodell. Ein Token wählt sechs von 256 gerouteten Experten sowie zwei gemeinsame Experten aus, mit einer Mischung aus lokaler und globaler Attention. Bild-Patches und diskrete Audio-Token werden in die gemeinsame Darstellung des Decoders projiziert. Separate BF16- und NVFP4-Artefakte haben ihre eigene Präzisionsidentität.
Der Hersteller beschreibt einen Modellkontext von 1M, während sein Trainingsdienst Konfigurationen mit 64K und 256K anbietet. Das sind separate Geltungsbereiche und keine austauschbaren Fenstergrössen. Bei langem Material bestimmen Sie den tatsächlich für die Aufgabe verwendeten Kontext und lassen Platz für das Nachdenken und die Endantwort des Modells. Der gemeinsame Inkling-Renderer des Herstellers akzeptiert einen endlichen Aufwandswert ab 0.0 bis ausschliesslich 1.0 und verwendet 0.9, wenn er weggelassen wird. Null fördert eine direkte Antwort, ohne ein hartes Verbot des Schlussfolgerns durchzusetzen.
Die Eingabevorbereitung ist konkret. Die Modellkarte empfiehlt Bilder, deren Abmessungen idealerweise zwischen 40 und 4096 Pixeln liegen. Audio sollte WAV mit 16 kHz sein und bei dieser Small-Ausgabe idealerweise kürzer als zwei Minuten. Das sind Empfehlungen für optimale Eingaben und keine Zusagen, dass das Modell jede Eingabe ausserhalb dieser Grenzen zurückweist. Die Ausgabe ist UTF-8-Text, keine erzeugte Sprachausgabe und kein Video.
Bei einer Bildfrage legen Sie das zu untersuchende Merkmal und seinen Bezug zur schriftlichen Aufgabe fest. Bei Audio benennen Sie, ob eine Erklärung des Inhalts, eine Zusammenfassung oder eine andere Textanalyse das nützliche Ergebnis ist. Stellen Sie das für die Interpretation des Materials nötige Vokabular und Hintergrundwissen bereit. Eine Code- oder Abrufaufgabe sollte die relevante Quelle oder abgerufenen Passagen sowie das gewünschte Artefakt liefern.
In einer mit Tools verbundenen Anwendung schlägt das Modell Interaktionen vor und die Anwendung liefert deren Ergebnisse zurück. Bewahren Sie diese Beobachtungen über Folgefragen hinweg, damit der nächste Schritt das tatsächliche Geschehen nutzen kann. Der Hersteller veröffentlicht das Modell für Anpassung und Fine-Tuning; ein separat angepasster Checkpoint bleibt vom ursprünglichen Small-Modell getrennt.
Der Hersteller nennt gelegentliche Fehler bei der Anweisungsbefolgung, unbelegte Tatsachenbehauptungen und Qualitätsverlust in langen Gesprächen sowie uneinheitliche Leistung in weniger vertretenen Sprachen und Fachgebieten. Er beschreibt zudem multimodale Sicherheitsbewertungen und eine verbleibende Anfälligkeit für einige indirekt formulierte Prompts. Halten Sie Quellenbelege und anwendungsspezifische Ausgabekontrollen verfügbar, wenn Sie das Modellergebnis in einem Arbeitsablauf verwenden.
POST /v1/chat/completionstexttext| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits thinkingmachines/inkling-small | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits Mindestanzahl Elemente: 1 | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits Beispiele: system, user, assistant, tool, function Bedingungen: Diese Rollen sind in den Kompatibilitätstypen des Quellcodes ausdrücklich dargestellt; der genaue Rollenumfang bleibt modellspezifisch. Modellabhängig | Standard— |
Feldmessages[].content | Typstring|content_part[]|null | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_calls | Typtool_call[] | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].tool_call_id | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: role=tool; die tatsächlich zurückgegebene ID verwenden | Standard— |
Feldmessages[].name | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldmessages[].reasoning_content | Typstring | AnforderungOptional | Werte und Limits Gilt, wenn: Tatsächlich zurückgegebene Reasoning-Daten erneut übermitteln, sofern dieses Modell sie verwendet | Standard— |
Feldmessages[].reasoning_details | Typobject|array | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmax_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldmax_completion_tokens | Typinteger | AnforderungOptional | Werte und Limits Minimum: 1 Modellabhängig | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Feldstream_options.include_usage | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtemperature | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtop_p | Typnumber | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldstop | Typstring|string[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools | Typfunction_tool[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldtools[].type | Typstring | AnforderungOptional | Werte und Limits function Modellabhängig | Standard— |
Feldtools[].function.name | Typstring | AnforderungErforderlich | Werte und Limits Gilt, wenn: Funktionswerkzeug bereitgestellt | Standard— |
Feldtools[].function.description | Typstring | AnforderungOptional | Werte und Limits | Standard— |
Feldtools[].function.parameters | TypJSON_schema | AnforderungOptional | Werte und Limits | Standard— |
Feldtool_choice | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldparallel_tool_calls | Typboolean | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldresponse_format | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning_effort | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldreasoning | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldservice_tier | Typstring | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldinstructions | Typstring | AnforderungOptional | Werte und Limits Kompatibilitätsfeld | Standard— |
Feldfunctions | Typfunction[] | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldfunction_call | Typstring|object | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldprompt_cache_options | Typobject | AnforderungOptional | Werte und Limits Modellabhängig | Standard— |
Feldmodalities | Typstring[] | AnforderungOptional | Werte und Limits text | Standard— |
Feldprovider | Typobject | AnforderungOptional | Werte und Limits Bedingungen: provider.options wird auf dieser Ultra-Textroute abgelehnt | Standard— |
Feldcache_control.ttl | Typstring | AnforderungOptional | Werte und Limits Bedingungen: 1h wird in den tatsächlichen Prompt-Cache-Feldern abgelehnt | Standard— |
Text · UTF8-Text
messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages |
Parametermaterial_types | Vertragtext |
Parametermessages | VertragNachrichtenarray mit role/content-Struktur |
Parameterfile_material | VertragTatsächliches UTF-8-Dokument als wörtlicher Text eingefügt; keine Datei-ID abgeleitet |
Parameteroptional_controls | Vertragstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | VertragModellspezifisch; benutzerseitige Funktionswerkzeuge unterscheiden sich von gehosteten Werkzeugen |
Parameteroutput_modalities | Vertragtext |
Parameterhosted_operations | Vertragfalse |
Parametermultimodal_input_binding | Vertragnull |
Lebenszyklus: synchronous_or_streamed
Die genaue Modell-ID zusammen mit messages senden.
Die Kontextlänge ist keine Ausgabeobergrenze.
Eine Textdatei kann wörtlichen Text liefern; Bild-, Audio- und Dateiobjekteingaben benötigen eine exakte Zuordnung.
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif.
| Konfiguration | Tarifstaffel | Kontexttoken, mehr als | Kontexttoken, bis einschliesslich | Gebühr |
|---|---|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Kontexttoken, mehr als— | Kontexttoken, bis einschliesslichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.0009 / 1K Tokens Ausgabe · Ausgabetoken $0.0024 / 1K Tokens Eingabe · Cache lesen $0.0002 / 1K Tokens Eingabe · Cache schreiben — / 1K Tokens Eingabe · Cache schreiben, 1 Stunde — / 1K Tokens |
| KonfigurationAnfragelängenstufe 1 | Tarifstaffel— | Kontexttoken, mehr als0 | Kontexttoken, bis einschliesslichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.0009 / 1K Tokens Ausgabe · Ausgabetoken $0.0024 / 1K Tokens Eingabe · Cache lesen $0.0002 / 1K Tokens Eingabe · Cache schreiben — / 1K Tokens Eingabe · Cache schreiben, 1 Stunde — / 1K Tokens |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschliessenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "thinkingmachines/inkling-small", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='thinkingmachines/inkling-small',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='thinkingmachines/inkling-small',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Antwortvarianten mit ihren Inhalten, Werkzeugaufrufen und Reasoning-Daten beibehalten. In SSE die Deltas nach Varianten- und Werkzeugindex zusammensetzen; endgültigen Beendigungsgrund und Verbrauchsdaten beibehalten.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldchoices[].index | Typinteger |
Feldchoices[].message.content | Typstring|null |
Feldchoices[].message.tool_calls | Typtool_call[] |
Feldchoices[].message.reasoning_content | Typstring |
Feldchoices[].message.reasoning_details | Typobject|array |
Feldchoices[].finish_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra thinkingmachines/inkling-small
Verwenden Sie die oben angezeigten Methodenpfade.
thinkingmachines/inkling-smallInkling-Small von Thinking Machines Lab ist ein MoE-Modell mit 276B Parametern und 12B aktiven Parametern für Schlussfolgerungen aus Text, Bildern und Audio. Es erzeugt Text, unterstützt werkzeugorientierte Anwendungen und hat einen Modellkontext von 1M; kürzere Kontexte des Herstellerdienstes werden getrennt davon betrachtet.
Diese Beschreibung erläutert die Fähigkeiten des Modells. Die über Ailoot verfügbaren Eingaben, Ausgaben und Optionen sind unten für die ausgewählte Methode aufgeführt.
Inkling-Small ist das kleinere multimodale Allzweckmodell von Thinking Machines Lab. Seine offizielle Modellkarte nennt insgesamt 276 Milliarden Parameter und 12B aktive Parameter. Es akzeptiert Text, Bilder und Audio und erzeugt Text für Gesprächs-, Programmier-, Reasoning-, retrievalgestützte und werkzeugorientierte Anwendungen. Es ist eine eigenständige Ausgabe gegenüber dem grösseren Inkling-Modell.
Die Architektur verwendet 42 Decoder-Schichten und ein spärlich aktiviertes Expertengrundmodell. Ein Token wählt sechs von 256 gerouteten Experten sowie zwei gemeinsame Experten aus, mit einer Mischung aus lokaler und globaler Attention. Bild-Patches und diskrete Audio-Token werden in die gemeinsame Darstellung des Decoders projiziert. Separate BF16- und NVFP4-Artefakte haben ihre eigene Präzisionsidentität.
Der Hersteller beschreibt einen Modellkontext von 1M, während sein Trainingsdienst Konfigurationen mit 64K und 256K anbietet. Das sind separate Geltungsbereiche und keine austauschbaren Fenstergrössen. Bei langem Material bestimmen Sie den tatsächlich für die Aufgabe verwendeten Kontext und lassen Platz für das Nachdenken und die Endantwort des Modells. Der gemeinsame Inkling-Renderer des Herstellers akzeptiert einen endlichen Aufwandswert ab 0.0 bis ausschliesslich 1.0 und verwendet 0.9, wenn er weggelassen wird. Null fördert eine direkte Antwort, ohne ein hartes Verbot des Schlussfolgerns durchzusetzen.
Die Eingabevorbereitung ist konkret. Die Modellkarte empfiehlt Bilder, deren Abmessungen idealerweise zwischen 40 und 4096 Pixeln liegen. Audio sollte WAV mit 16 kHz sein und bei dieser Small-Ausgabe idealerweise kürzer als zwei Minuten. Das sind Empfehlungen für optimale Eingaben und keine Zusagen, dass das Modell jede Eingabe ausserhalb dieser Grenzen zurückweist. Die Ausgabe ist UTF-8-Text, keine erzeugte Sprachausgabe und kein Video.
Bei einer Bildfrage legen Sie das zu untersuchende Merkmal und seinen Bezug zur schriftlichen Aufgabe fest. Bei Audio benennen Sie, ob eine Erklärung des Inhalts, eine Zusammenfassung oder eine andere Textanalyse das nützliche Ergebnis ist. Stellen Sie das für die Interpretation des Materials nötige Vokabular und Hintergrundwissen bereit. Eine Code- oder Abrufaufgabe sollte die relevante Quelle oder abgerufenen Passagen sowie das gewünschte Artefakt liefern.
In einer mit Tools verbundenen Anwendung schlägt das Modell Interaktionen vor und die Anwendung liefert deren Ergebnisse zurück. Bewahren Sie diese Beobachtungen über Folgefragen hinweg, damit der nächste Schritt das tatsächliche Geschehen nutzen kann. Der Hersteller veröffentlicht das Modell für Anpassung und Fine-Tuning; ein separat angepasster Checkpoint bleibt vom ursprünglichen Small-Modell getrennt.
Der Hersteller nennt gelegentliche Fehler bei der Anweisungsbefolgung, unbelegte Tatsachenbehauptungen und Qualitätsverlust in langen Gesprächen sowie uneinheitliche Leistung in weniger vertretenen Sprachen und Fachgebieten. Er beschreibt zudem multimodale Sicherheitsbewertungen und eine verbleibende Anfälligkeit für einige indirekt formulierte Prompts. Halten Sie Quellenbelege und anwendungsspezifische Ausgabekontrollen verfügbar, wenn Sie das Modellergebnis in einem Arbeitsablauf verwenden.
POST /v1/messagestextjson, sse| Feld | Typ | Anforderung | Werte und Limits | Standard |
|---|---|---|---|---|
Feldmodel | Typstring | AnforderungErforderlich | Werte und Limits thinkingmachines/inkling-small | Standard— |
Feldmessages | Typmessage[] | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmessages[].role | Typstring | AnforderungErforderlich | Werte und Limits user, assistant | Standard— |
Feldmessages[].content | Typstring | AnforderungErforderlich | Werte und Limits | Standard— |
Feldmax_tokens | Typinteger | AnforderungErforderlich | Werte und Limits | Standard— |
Feldstream | Typboolean | AnforderungOptional | Werte und Limits | Standardfalse |
Text · UTF-8-Text
Zeichenfolge messages[].content
| Parameter | Vertrag |
|---|---|
Parametercontent_type | Vertragapplication/json |
Parameterrequired | Vertragmodel, messages, max_tokens |
Parameteroptional_controls | Vertragstream |
Parametermaterial_types | Vertragtext |
Parametertext_file_material | VertragDas tatsächliche UTF-8-Dokument lesen und seinen Text in die angegebene Zeichenfolge für Eingabe oder Nachrichteninhalt einfügen. |
Lebenszyklus: synchronous_or_streamed
Tarifangaben erweitern die Anfrageoptionen nicht. Unterstützte Parameter stehen bei der ausgewählten Methode.
Ordnen Sie jede Gebühr den angezeigten Bedingungen zu. Verwenden Sie für jede Gruppe alternativer Konfigurationen einen Tarif.
| Konfiguration | Tarifstaffel | Kontexttoken, mehr als | Kontexttoken, bis einschliesslich | Gebühr |
|---|---|---|---|---|
| KonfigurationBasistarife für Token | TarifstaffelGrundtarif | Kontexttoken, mehr als— | Kontexttoken, bis einschliesslichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.0009 / 1K Tokens Ausgabe · Ausgabetoken $0.0024 / 1K Tokens Eingabe · Cache lesen $0.0002 / 1K Tokens Eingabe · Cache schreiben — / 1K Tokens Eingabe · Cache schreiben, 1 Stunde — / 1K Tokens |
| KonfigurationAnfragelängenstufe 1 | Tarifstaffel— | Kontexttoken, mehr als0 | Kontexttoken, bis einschliesslichKeine Obergrenze | Gebühr Eingabe · Eingabetoken $0.0009 / 1K Tokens Ausgabe · Ausgabetoken $0.0024 / 1K Tokens Eingabe · Cache lesen $0.0002 / 1K Tokens Eingabe · Cache schreiben — / 1K Tokens Eingabe · Cache schreiben, 1 Stunde — / 1K Tokens |
Ailoot reserviert vor einer Anfrage einen geschätzten Betrag. Nach dem Ergebnis rechnet Ailoot die endgültige Gebühr anhand des gemessenen Verbrauchs ab. Bei Streaming erfolgt die Abrechnung anhand des abschliessenden Verbrauchsdatensatzes. So funktionieren Reservierung und Abrechnung →
{\n "model": "thinkingmachines/inkling-small",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'thinkingmachines/inkling-small', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'thinkingmachines/inkling-small', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON oder SSE
Bewahren Sie jede vollständig zurückgegebene Antwort, Datei und jeden Inhaltsteil auf.
Alle Inhaltsblöcke, Thinking-Signaturen und tatsächlichen Werkzeugaufruf-IDs beibehalten. Alle SSE-Blockdeltas zusammensetzen; der erste Textblock ist nicht die vollständige Ausgabe.
Anfrage- und Antwort-IDs sowie Header beibehalten. Eine allgemeine URL zum Abrufen von Textaufträgen wird nicht angegeben.
| Feld | Typ |
|---|---|
Feldid | Typstring |
Feldmodel | Typstring |
Feldcontent[] | Typtext|thinking|tool_use|other content block |
Feldstop_reason | Typstring|null |
Feldusage | Typobject |
| Antwort | Bedingung | Nächster Schritt |
|---|---|---|
Antwort400 · invalid_request_error | BedingungPflichtfelder, Darstellung des Eingabematerials oder Parameterwert ungültig | Nächster SchrittDie angegebenen Felder vor einer neuen Erstellungsanfrage korrigieren. |
Ailoot Ultra thinkingmachines/inkling-small
Verwenden Sie die oben angezeigten Methodenpfade.
Technisches Beispiel auf Englisch
Answer from retrieved training material\n\nAnswer a new employee using only these retrieved passages. [DOC1] Draft reports may be edited by their author. [DOC2] Approved reports are locked; corrections create a new version. Question: 'I found a typo in an approved report. Can I edit it directly?' Give a concise answer, the supporting document label and one appropriate next step without claiming a change occurred.A short source-grounded answer with DOC2 support and a proposed version-based correction step.Check the approved/draft distinction is preserved and no lock is bypassed in the suggestion.