Ternary Bonsai 2 27B er PrismML’s ræsonnementsmodel med få bit baseret på Qwen3.8 27B-arkitekturen. Den er udviklet til at gøre tekstræsonnement, kodning, visuel forståelse og agentorienteret arbejde tilgængeligt i en mindre lokal installation. Sprogmodellen genererer tekst og anmodninger om værktøjskald; billedinput bruger den særskilt leverede billedkomponent.
Modellen bruger en grundarkitektur med hybrid attention, hvor cirka tre fjerdedele er lineær attention og en fjerdedel er fuld attention, samt en kontekst på 262K tokens. Ternære sprogvægte antager værdierne minus én, nul eller plus én med fælles skalering. En lagret rotation af vægtbasen kræver den tilsvarende aktiveringstransformation i kørselsmiljøet. Det er en modelrepræsentation og et krav til kørselsmiljøet, ikke blot en mindre filendelse.
Producenten leverer to GGUF-pakninger: Tætpakkede trits i PTQ1_0 fylder 5,95 GB, mens PQ2_0 gemmer trits i pladser med to bit og fylder 7,21 GB. Den valgfrie Q8_0-billedpakke tilføjer cirka 0,63 GB. Pakningerne har forskellige udpakningsomkostninger og forskellig hardwareadfærd, så den mindre pakning er ikke altid hurtigere. Det er offentliggjorte størrelser på modelfiler; en opgaves kontekst og arbejdsbuffere kræver yderligere hukommelse.
Tænkning er aktiveret som standard. Producenten beskriver xhigh som standardindsatsen for ræsonnement og medium som en mulighed for kortere svar; low understøttes ikke og opfører sig omtrent som xhigh. Den skelner også mellem genereringsindstillinger med og uden tænkning. Efterlad plads til både ræsonnementsfasen og det endelige svar: Et lille genereringsbudget kan slutte under tænkningen, før et svar vises.
Ved en repository-opgave skal du levere de relevante filer som tekst, den adfærd, der skal ændres, og en observeret fejl. Bed om en foreslået ændring og de kontroller, der kan skelne en rettelse fra et nyt problem. I en applikation med tilsluttede værktøjer skal resultatet fra det udførte værktøj returneres før den næste beslutning. Ved dokumentanalyse skal du navngive de afsnit, der skal sammenlignes, og de felter eller konklusioner, svaret skal indeholde.
Ved en billedopgave skal du levere det visuelle input med et spørgsmål knyttet til noget synligt i det. Et nyttigt resultat identificerer den observerede egenskab og forbinder den med den ønskede konklusion. Hold dette visuelle grundlag adskilt fra en oplysning, der kommer fra en ekstern kilde, eller en foreslået handling. Billedkomponenten understøtter fortolkning af billedet; den gør ikke en genereret værktøjsanmodning til en udført handling.
De offentliggjorte GGUF-filer kræver producentens understøttelse af få bit i kørselsmiljøet. Producenten bemærker, at et uændret kørselsmiljø kan afvise typerne eller afkode dem forkert, fordi den tilsvarende rotation mangler. Valg af lokal model omfatter derfor den passende pakning, billedkomponent og et kompatibelt kørselsmiljø. Særskilte konverterede formater og ledsagende draft-modeller er selvstændige artefakter frem for egenskaber, som det generelle modelnavn garanterer.
", "aboutText": "Ternary Bonsai 2 27B er PrismML’s ræsonnementsmodel med få bit baseret på Qwen3.8 27B-arkitekturen. Den er udviklet til at gøre tekstræsonnement, kodning, visuel forståelse og agentorienteret arbejde tilgængeligt i en mindre lokal installation. Sprogmodellen genererer tekst og anmodninger om værktøjskald; billedinput bruger den særskilt leverede billedkomponent.\n\nModellen bruger en grundarkitektur med hybrid attention, hvor cirka tre fjerdedele er lineær attention og en fjerdedel er fuld attention, samt en kontekst på 262K tokens. Ternære sprogvægte antager værdierne minus én, nul eller plus én med fælles skalering. En lagret rotation af vægtbasen kræver den tilsvarende aktiveringstransformation i kørselsmiljøet. Det er en modelrepræsentation og et krav til kørselsmiljøet, ikke blot en mindre filendelse.\n\nProducenten leverer to GGUF-pakninger: Tætpakkede trits i PTQ1_0 fylder 5,95 GB, mens PQ2_0 gemmer trits i pladser med to bit og fylder 7,21 GB. Den valgfrie Q8_0-billedpakke tilføjer cirka 0,63 GB. Pakningerne har forskellige udpakningsomkostninger og forskellig hardwareadfærd, så den mindre pakning er ikke altid hurtigere. Det er offentliggjorte størrelser på modelfiler; en opgaves kontekst og arbejdsbuffere kræver yderligere hukommelse.\n\nTænkning er aktiveret som standard. Producenten beskriver xhigh som standardindsatsen for ræsonnement og medium som en mulighed for kortere svar; low understøttes ikke og opfører sig omtrent som xhigh. Den skelner også mellem genereringsindstillinger med og uden tænkning. Efterlad plads til både ræsonnementsfasen og det endelige svar: Et lille genereringsbudget kan slutte under tænkningen, før et svar vises.\n\nVed en repository-opgave skal du levere de relevante filer som tekst, den adfærd, der skal ændres, og en observeret fejl. Bed om en foreslået ændring og de kontroller, der kan skelne en rettelse fra et nyt problem. I en applikation med tilsluttede værktøjer skal resultatet fra det udførte værktøj returneres før den næste beslutning. Ved dokumentanalyse skal du navngive de afsnit, der skal sammenlignes, og de felter eller konklusioner, svaret skal indeholde.\n\nVed en billedopgave skal du levere det visuelle input med et spørgsmål knyttet til noget synligt i det. Et nyttigt resultat identificerer den observerede egenskab og forbinder den med den ønskede konklusion. Hold dette visuelle grundlag adskilt fra en oplysning, der kommer fra en ekstern kilde, eller en foreslået handling. Billedkomponenten understøtter fortolkning af billedet; den gør ikke en genereret værktøjsanmodning til en udført handling.\n\nDe offentliggjorte GGUF-filer kræver producentens understøttelse af få bit i kørselsmiljøet. Producenten bemærker, at et uændret kørselsmiljø kan afvise typerne eller afkode dem forkert, fordi den tilsvarende rotation mangler. Valg af lokal model omfatter derfor den passende pakning, billedkomponent og et kompatibelt kørselsmiljø. Særskilte konverterede formater og ledsagende draft-modeller er selvstændige artefakter frem for egenskaber, som det generelle modelnavn garanterer.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Correct a binary-search boundary\n\nReview this Python binary search: lo=0; hi=len(a); while lo <= hi: mid=(lo+hi)//2; compare a[mid] with target. An empty list can index out of range. Propose a complete corrected function for a sorted ascending list, returning an index or -1, and tests for empty, missing and endpoint targets.A corrected binary-search function, a boundary explanation and representative tests.Check that every accessed index is within the list and that the loop terminates when the target is absent.prism-ml/ternary-bonsai-2-27bPrismML’s Ternary Bonsai 2 27B komprimerer en Qwen3.8-baseret ræsonnements- og billed-sprogmodel til ternære vægte. Den bevarer en kontekst på 262K samt tænkning og værktøjskald med særskilte pakninger af sprogmodellen og en valgfri billedkomponent.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Ternary Bonsai 2 27B er PrismML’s ræsonnementsmodel med få bit baseret på Qwen3.8 27B-arkitekturen. Den er udviklet til at gøre tekstræsonnement, kodning, visuel forståelse og agentorienteret arbejde tilgængeligt i en mindre lokal installation. Sprogmodellen genererer tekst og anmodninger om værktøjskald; billedinput bruger den særskilt leverede billedkomponent.
Modellen bruger en grundarkitektur med hybrid attention, hvor cirka tre fjerdedele er lineær attention og en fjerdedel er fuld attention, samt en kontekst på 262K tokens. Ternære sprogvægte antager værdierne minus én, nul eller plus én med fælles skalering. En lagret rotation af vægtbasen kræver den tilsvarende aktiveringstransformation i kørselsmiljøet. Det er en modelrepræsentation og et krav til kørselsmiljøet, ikke blot en mindre filendelse.
Producenten leverer to GGUF-pakninger: Tætpakkede trits i PTQ1_0 fylder 5,95 GB, mens PQ2_0 gemmer trits i pladser med to bit og fylder 7,21 GB. Den valgfrie Q8_0-billedpakke tilføjer cirka 0,63 GB. Pakningerne har forskellige udpakningsomkostninger og forskellig hardwareadfærd, så den mindre pakning er ikke altid hurtigere. Det er offentliggjorte størrelser på modelfiler; en opgaves kontekst og arbejdsbuffere kræver yderligere hukommelse.
Tænkning er aktiveret som standard. Producenten beskriver xhigh som standardindsatsen for ræsonnement og medium som en mulighed for kortere svar; low understøttes ikke og opfører sig omtrent som xhigh. Den skelner også mellem genereringsindstillinger med og uden tænkning. Efterlad plads til både ræsonnementsfasen og det endelige svar: Et lille genereringsbudget kan slutte under tænkningen, før et svar vises.
Ved en repository-opgave skal du levere de relevante filer som tekst, den adfærd, der skal ændres, og en observeret fejl. Bed om en foreslået ændring og de kontroller, der kan skelne en rettelse fra et nyt problem. I en applikation med tilsluttede værktøjer skal resultatet fra det udførte værktøj returneres før den næste beslutning. Ved dokumentanalyse skal du navngive de afsnit, der skal sammenlignes, og de felter eller konklusioner, svaret skal indeholde.
Ved en billedopgave skal du levere det visuelle input med et spørgsmål knyttet til noget synligt i det. Et nyttigt resultat identificerer den observerede egenskab og forbinder den med den ønskede konklusion. Hold dette visuelle grundlag adskilt fra en oplysning, der kommer fra en ekstern kilde, eller en foreslået handling. Billedkomponenten understøtter fortolkning af billedet; den gør ikke en genereret værktøjsanmodning til en udført handling.
De offentliggjorte GGUF-filer kræver producentens understøttelse af få bit i kørselsmiljøet. Producenten bemærker, at et uændret kørselsmiljø kan afvise typerne eller afkode dem forkert, fordi den tilsvarende rotation mangler. Valg af lokal model omfatter derfor den passende pakning, billedkomponent og et kompatibelt kørselsmiljø. Særskilte konverterede formater og ledsagende draft-modeller er selvstændige artefakter frem for egenskaber, som det generelle modelnavn garanterer.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser prism-ml/ternary-bonsai-2-27b | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser Minimumsantal elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser Eksempler: system, user, assistant, tool, function Betingelser: Disse roller er eksplicit repræsenteret i kildekodens kompatibilitetstyper; modellens præcise rollesæt er fortsat modelspecifikt. Afhænger af modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfrit | Værdier og grænser Gælder når: role=tool; brug det faktisk returnerede ID | Standard— |
Feltmessages[].name | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfrit | Værdier og grænser Gælder når: Send det faktisk returnerede ræsonnement tilbage, når modellen bruger det | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttemperature | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttop_p | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools[].type | Typestring | KravValgfrit | Værdier og grænser function Afhænger af modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrævet | Værdier og grænser Gælder når: funktionsværktøj angivet | Standard— |
Felttools[].function.description | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfrit | Værdier og grænser | Standard— |
Felttool_choice | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltservice_tier | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltinstructions | Typestring | KravValgfrit | Værdier og grænser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfrit | Værdier og grænser text | Standard— |
Feltprovider | Typeobject | KravValgfrit | Værdier og grænser Betingelser: provider.options afvises på denne Ultra-tekstrute | Standard— |
Feltcache_control.ttl | Typestring | KravValgfrit | Værdier og grænser Betingelser: 1h afvises på de faktiske placeringer for promptcaching | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages |
Parametermaterial_types | Kontrakttext |
Parametermessages | Kontraktbeskedarray med strukturen role/content |
Parameterfile_material | Kontraktfaktisk UTF-8-dokument indsat som bogstavelig tekst; intet fil-ID udledes |
Parameteroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontraktmodelspecifikt; brugerens funktionsværktøjer er forskellige fra hostede værktøjer |
Parameteroutput_modalities | Kontrakttext |
Parameterhosted_operations | Kontraktfalse |
Parametermultimodal_input_binding | Kontraktnull |
Livscyklus: synchronous_or_streamed
Send det præcise model-ID med messages.
Kontekstlængde er ikke et outputloft.
En tekstfil kan levere bogstavelig tekst; billed-, lyd- og filobjektinput kræver en præcis binding.
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
Knyt hver omkostning til de viste betingelser. Brug én takst for hver gruppe af alternative konfigurationer.
| Konfiguration | Takstplan | Konteksttokens, mere end | Konteksttokens, op til og med | Beløb |
|---|---|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Konteksttokens, mere end— | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00015 / 1K tokens Output · Outputtokens $0.001 / 1K tokens Input · Cachelæsning $0.000075 / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
| KonfigurationAnmodningslængde · niveau 1 | Takstplan— | Konteksttokens, mere end0 | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00015 / 1K tokens Output · Outputtokens $0.001 / 1K tokens Input · Cachelæsning $0.000075 / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "prism-ml/ternary-bonsai-2-27b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='prism-ml/ternary-bonsai-2-27b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='prism-ml/ternary-bonsai-2-27b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar hvert valg og dets indhold, værktøjskald og ræsonnement. Saml i SSE deltaer efter valg-/værktøjsindeks, og bevar den endelige afslutningsårsag og forbrugsoplysningerne.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra prism-ml/ternary-bonsai-2-27b
Brug metodestierne vist ovenfor.
prism-ml/ternary-bonsai-2-27bPrismML’s Ternary Bonsai 2 27B komprimerer en Qwen3.8-baseret ræsonnements- og billed-sprogmodel til ternære vægte. Den bevarer en kontekst på 262K samt tænkning og værktøjskald med særskilte pakninger af sprogmodellen og en valgfri billedkomponent.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Ternary Bonsai 2 27B er PrismML’s ræsonnementsmodel med få bit baseret på Qwen3.8 27B-arkitekturen. Den er udviklet til at gøre tekstræsonnement, kodning, visuel forståelse og agentorienteret arbejde tilgængeligt i en mindre lokal installation. Sprogmodellen genererer tekst og anmodninger om værktøjskald; billedinput bruger den særskilt leverede billedkomponent.
Modellen bruger en grundarkitektur med hybrid attention, hvor cirka tre fjerdedele er lineær attention og en fjerdedel er fuld attention, samt en kontekst på 262K tokens. Ternære sprogvægte antager værdierne minus én, nul eller plus én med fælles skalering. En lagret rotation af vægtbasen kræver den tilsvarende aktiveringstransformation i kørselsmiljøet. Det er en modelrepræsentation og et krav til kørselsmiljøet, ikke blot en mindre filendelse.
Producenten leverer to GGUF-pakninger: Tætpakkede trits i PTQ1_0 fylder 5,95 GB, mens PQ2_0 gemmer trits i pladser med to bit og fylder 7,21 GB. Den valgfrie Q8_0-billedpakke tilføjer cirka 0,63 GB. Pakningerne har forskellige udpakningsomkostninger og forskellig hardwareadfærd, så den mindre pakning er ikke altid hurtigere. Det er offentliggjorte størrelser på modelfiler; en opgaves kontekst og arbejdsbuffere kræver yderligere hukommelse.
Tænkning er aktiveret som standard. Producenten beskriver xhigh som standardindsatsen for ræsonnement og medium som en mulighed for kortere svar; low understøttes ikke og opfører sig omtrent som xhigh. Den skelner også mellem genereringsindstillinger med og uden tænkning. Efterlad plads til både ræsonnementsfasen og det endelige svar: Et lille genereringsbudget kan slutte under tænkningen, før et svar vises.
Ved en repository-opgave skal du levere de relevante filer som tekst, den adfærd, der skal ændres, og en observeret fejl. Bed om en foreslået ændring og de kontroller, der kan skelne en rettelse fra et nyt problem. I en applikation med tilsluttede værktøjer skal resultatet fra det udførte værktøj returneres før den næste beslutning. Ved dokumentanalyse skal du navngive de afsnit, der skal sammenlignes, og de felter eller konklusioner, svaret skal indeholde.
Ved en billedopgave skal du levere det visuelle input med et spørgsmål knyttet til noget synligt i det. Et nyttigt resultat identificerer den observerede egenskab og forbinder den med den ønskede konklusion. Hold dette visuelle grundlag adskilt fra en oplysning, der kommer fra en ekstern kilde, eller en foreslået handling. Billedkomponenten understøtter fortolkning af billedet; den gør ikke en genereret værktøjsanmodning til en udført handling.
De offentliggjorte GGUF-filer kræver producentens understøttelse af få bit i kørselsmiljøet. Producenten bemærker, at et uændret kørselsmiljø kan afvise typerne eller afkode dem forkert, fordi den tilsvarende rotation mangler. Valg af lokal model omfatter derfor den passende pakning, billedkomponent og et kompatibelt kørselsmiljø. Særskilte konverterede formater og ledsagende draft-modeller er selvstændige artefakter frem for egenskaber, som det generelle modelnavn garanterer.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser prism-ml/ternary-bonsai-2-27b | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrævet | Værdier og grænser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrævet | Værdier og grænser | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content som streng
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages, max_tokens |
Parameteroptional_controls | Kontraktstream |
Parametermaterial_types | Kontrakttext |
Parametertext_file_material | KontraktLæs det faktiske UTF-8-dokument, og indsæt teksten i det angivne input eller beskedens indholdsstreng. |
Livscyklus: synchronous_or_streamed
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
Knyt hver omkostning til de viste betingelser. Brug én takst for hver gruppe af alternative konfigurationer.
| Konfiguration | Takstplan | Konteksttokens, mere end | Konteksttokens, op til og med | Beløb |
|---|---|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Konteksttokens, mere end— | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00015 / 1K tokens Output · Outputtokens $0.001 / 1K tokens Input · Cachelæsning $0.000075 / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
| KonfigurationAnmodningslængde · niveau 1 | Takstplan— | Konteksttokens, mere end0 | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00015 / 1K tokens Output · Outputtokens $0.001 / 1K tokens Input · Cachelæsning $0.000075 / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
{\n "model": "prism-ml/ternary-bonsai-2-27b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'prism-ml/ternary-bonsai-2-27b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'prism-ml/ternary-bonsai-2-27b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar alle indholdsblokke, ræsonnementssignaturer og faktiske værktøjsbrugs-ID’er. Saml alle SSE-blokdeltaer; den første tekstblok er ikke hele outputtet.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra prism-ml/ternary-bonsai-2-27b
Brug metodestierne vist ovenfor.
Teknisk eksempel på engelsk
Correct a binary-search boundary\n\nReview this Python binary search: lo=0; hi=len(a); while lo <= hi: mid=(lo+hi)//2; compare a[mid] with target. An empty list can index out of range. Propose a complete corrected function for a sorted ascending list, returning an index or -1, and tests for empty, missing and endpoint targets.A corrected binary-search function, a boundary explanation and representative tests.Check that every accessed index is within the list and that the loop terminates when the target is absent.