Meta Llama 3.2 3B Instruct is een op instructies afgestemd tekstmodel voor meertalige assistentgesprekken, werk op basis van opgehaalde bronnen en samenvattingen. De modeltabel van de maker vermeldt een 3B-klasse met 3,21 miljard parameters. Het accepteert tekst en produceert tekst of code. De ontwikkeling combineert model pruning en kennisdistillatie met instructieafstemming, wat een klein modelprofiel oplevert voor gerichte schrijf- en assistenttaken.
Geef het model het bronmateriaal, de vraag en de verwachte vorm van het antwoord. Een verzoek om schrijfhulp kan de doelgroep, toon en te behouden details specificeren. Een samenvatting kan de te behandelen onderdelen en de gewenste lengte of structuur benoemen. Geef voor een kort antwoord op basis van een kennisbank de relevante passage en vraag om een uitleg die op die bron steunt.
De maker noemt kennis ophalen, samenvatten, mobiele schrijfassistenten, zoekopdrachten herschrijven en prompts herschrijven als beoogde toepassingen van de op instructies afgestemde tekstmodellen. Een retrievaltoepassing kan de gevonden passages aanleveren en het model vragen het antwoord samen te stellen. Bewaar de passage-identifiers bij het resultaat, zodat een lezer of ander onderdeel het bewijsmateriaal kan inspecteren.
Behoud bij het herschrijven van zoekopdrachten de oorspronkelijke vraag en vraag om een beknopte zoekformulering die de bedoeling bewaart. Vraag voor een documentsamenvatting om de belangrijkste beweringen en de voorwaarden die daarop van invloed zijn. Controleer de werkelijke uitvoer op weggelaten voorwaarden, gewijzigde getallen of verzonnen informatie, vooral wanneer een kort antwoord een grotere bron samenvat.
Engels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thai zijn de acht officieel ondersteunde talen. Vermeld de gewenste uitvoertaal en behoud de spelling van namen of vaktermen die ongewijzigd moeten blijven. Een meertalige taak moet voldoende broncontext bevatten om de betekenis van de teruggegeven formulering te beoordelen, in plaats van alleen op vlot taalgebruik te vertrouwen.
Het standaardtekstcheckpoint van Llama 3.2 heeft een contextvenster van 128K tokens. Gebruik dat budget voor relevant bronmateriaal, gespreksgeschiedenis en het gegenereerde resultaat. Bewaar eerdere beslissingen die nodig zijn om verder te gaan en laat ruimte voor het antwoord. De grens van de pretrainingsdata ligt in december 2023. Latere informatie vereist daarom bewijsmateriaal dat met de taak of door de omringende retrievaltoepassing wordt aangeleverd.
Dit is het Instruct-checkpoint, voorbereid voor assistentachtige dialoog. De modelkaart beschrijft supervised fine-tuning en afstemming op menselijke voorkeuren, met extra distillatie tijdens de ontwikkeling van de kleine modellen. De gebruiksvoorbeelden geven systeem- en gebruikersberichten via een chatformaat. Een systeeminstructie kan de rol en verwachte uitvoer definiëren, terwijl het gebruikersbericht de huidige taak en bronnen aanlevert.
Houd het gespreksformaat passend bij de geselecteerde release wanneer het checkpoint rechtstreeks wordt gebruikt. Definieer het resultaat duidelijk en controleer het gegenereerde antwoord, met inbegrip van het verband met het aangeleverde bewijsmateriaal. Specificeer voor een gestructureerd tekstueel artefact de vereiste velden of koppen en valideer de werkelijke uitvoer voordat een toepassing die verwerkt; een geschreven formaatverzoek garandeert niet dat elke waarde correct is.
De maker onderscheidt het standaardtekstmodel van afzonderlijk gepubliceerde gekwantiseerde tekstprofielen van Llama 3.2. De modeltabel vermeldt een context van 8K voor die gekwantiseerde profielen, verschillend van het standaardvenster van 128K. Kies het model en het werkbudget samen, in plaats van aan te nemen dat elke implementatie met het label 3B dezelfde contextruimte behoudt.
Het 3B Instruct-model staat ook los van de grotere vision-modellen van Llama 3.2. Bereid voor dit tekstprofiel tekstueel bronmateriaal voor of tekst die door de omringende toepassing is verkregen. Gebruik het model voor een gericht antwoord, een herschrijving, samenvatting of korte code-uitleg. Bewaar het geselecteerde checkpoint, de prompt en de bron bij het resultaat en maak een volgende instructie specifiek voor het ontbrekende detail of de waargenomen fout.
", "aboutText": "Meta Llama 3.2 3B Instruct is een op instructies afgestemd tekstmodel voor meertalige assistentgesprekken, werk op basis van opgehaalde bronnen en samenvattingen. De modeltabel van de maker vermeldt een 3B-klasse met 3,21 miljard parameters. Het accepteert tekst en produceert tekst of code. De ontwikkeling combineert model pruning en kennisdistillatie met instructieafstemming, wat een klein modelprofiel oplevert voor gerichte schrijf- en assistenttaken.\n\n### Definieer een afgebakend tekstresultaat\n\nGeef het model het bronmateriaal, de vraag en de verwachte vorm van het antwoord. Een verzoek om schrijfhulp kan de doelgroep, toon en te behouden details specificeren. Een samenvatting kan de te behandelen onderdelen en de gewenste lengte of structuur benoemen. Geef voor een kort antwoord op basis van een kennisbank de relevante passage en vraag om een uitleg die op die bron steunt.\n\nDe maker noemt kennis ophalen, samenvatten, mobiele schrijfassistenten, zoekopdrachten herschrijven en prompts herschrijven als beoogde toepassingen van de op instructies afgestemde tekstmodellen. Een retrievaltoepassing kan de gevonden passages aanleveren en het model vragen het antwoord samen te stellen. Bewaar de passage-identifiers bij het resultaat, zodat een lezer of ander onderdeel het bewijsmateriaal kan inspecteren.\n\nBehoud bij het herschrijven van zoekopdrachten de oorspronkelijke vraag en vraag om een beknopte zoekformulering die de bedoeling bewaart. Vraag voor een documentsamenvatting om de belangrijkste beweringen en de voorwaarden die daarop van invloed zijn. Controleer de werkelijke uitvoer op weggelaten voorwaarden, gewijzigde getallen of verzonnen informatie, vooral wanneer een kort antwoord een grotere bron samenvat.\n\n### Talen en context\n\nEngels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thai zijn de acht officieel ondersteunde talen. Vermeld de gewenste uitvoertaal en behoud de spelling van namen of vaktermen die ongewijzigd moeten blijven. Een meertalige taak moet voldoende broncontext bevatten om de betekenis van de teruggegeven formulering te beoordelen, in plaats van alleen op vlot taalgebruik te vertrouwen.\n\nHet standaardtekstcheckpoint van Llama 3.2 heeft een contextvenster van 128K tokens. Gebruik dat budget voor relevant bronmateriaal, gespreksgeschiedenis en het gegenereerde resultaat. Bewaar eerdere beslissingen die nodig zijn om verder te gaan en laat ruimte voor het antwoord. De grens van de pretrainingsdata ligt in december 2023. Latere informatie vereist daarom bewijsmateriaal dat met de taak of door de omringende retrievaltoepassing wordt aangeleverd.\n\n### Instructieafstemming en gespreksformaat\n\nDit is het Instruct-checkpoint, voorbereid voor assistentachtige dialoog. De modelkaart beschrijft supervised fine-tuning en afstemming op menselijke voorkeuren, met extra distillatie tijdens de ontwikkeling van de kleine modellen. De gebruiksvoorbeelden geven systeem- en gebruikersberichten via een chatformaat. Een systeeminstructie kan de rol en verwachte uitvoer definiëren, terwijl het gebruikersbericht de huidige taak en bronnen aanlevert.\n\nHoud het gespreksformaat passend bij de geselecteerde release wanneer het checkpoint rechtstreeks wordt gebruikt. Definieer het resultaat duidelijk en controleer het gegenereerde antwoord, met inbegrip van het verband met het aangeleverde bewijsmateriaal. Specificeer voor een gestructureerd tekstueel artefact de vereiste velden of koppen en valideer de werkelijke uitvoer voordat een toepassing die verwerkt; een geschreven formaatverzoek garandeert niet dat elke waarde correct is.\n\n### Standaard-, gekwantiseerde en vision-profielen\n\nDe maker onderscheidt het standaardtekstmodel van afzonderlijk gepubliceerde gekwantiseerde tekstprofielen van Llama 3.2. De modeltabel vermeldt een context van 8K voor die gekwantiseerde profielen, verschillend van het standaardvenster van 128K. Kies het model en het werkbudget samen, in plaats van aan te nemen dat elke implementatie met het label 3B dezelfde contextruimte behoudt.\n\nHet 3B Instruct-model staat ook los van de grotere vision-modellen van Llama 3.2. Bereid voor dit tekstprofiel tekstueel bronmateriaal voor of tekst die door de omringende toepassing is verkregen. Gebruik het model voor een gericht antwoord, een herschrijving, samenvatting of korte code-uitleg. Bewaar het geselecteerde checkpoint, de prompt en de bron bij het resultaat en maak een volgende instructie specifiek voor het ontbrekende detail of de waargenomen fout.", "editorialOverlay": { "copy_fields": { "practical_html": "Technisch voorbeeld in het Engels
Rewrite a knowledge-base query\n\nRewrite this support question into one concise search query: 'I changed my work email yesterday and now the old address still gets export notifications, even though I log in with the new one.' Preserve the distinction between login identity and notification destination. Return the query and two key concepts it must retain; do not answer the question.One search query plus two retained concepts covering changed login email and stale export-notification address.The rewrite keeps the notification problem and does not collapse it into a login failure.meta-llama/llama-3.2-3b-instructMeta Llama 3.2 3B Instruct is een compact tekstmodel voor meertalige chat, samenvattingen op basis van opgehaalde bronnen en schrijfhulp. Het standaardcheckpoint heeft een context van 128K; afzonderlijk gepubliceerde gekwantiseerde varianten hebben een ander werkvenster.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Meta Llama 3.2 3B Instruct is een op instructies afgestemd tekstmodel voor meertalige assistentgesprekken, werk op basis van opgehaalde bronnen en samenvattingen. De modeltabel van de maker vermeldt een 3B-klasse met 3,21 miljard parameters. Het accepteert tekst en produceert tekst of code. De ontwikkeling combineert model pruning en kennisdistillatie met instructieafstemming, wat een klein modelprofiel oplevert voor gerichte schrijf- en assistenttaken.
Geef het model het bronmateriaal, de vraag en de verwachte vorm van het antwoord. Een verzoek om schrijfhulp kan de doelgroep, toon en te behouden details specificeren. Een samenvatting kan de te behandelen onderdelen en de gewenste lengte of structuur benoemen. Geef voor een kort antwoord op basis van een kennisbank de relevante passage en vraag om een uitleg die op die bron steunt.
De maker noemt kennis ophalen, samenvatten, mobiele schrijfassistenten, zoekopdrachten herschrijven en prompts herschrijven als beoogde toepassingen van de op instructies afgestemde tekstmodellen. Een retrievaltoepassing kan de gevonden passages aanleveren en het model vragen het antwoord samen te stellen. Bewaar de passage-identifiers bij het resultaat, zodat een lezer of ander onderdeel het bewijsmateriaal kan inspecteren.
Behoud bij het herschrijven van zoekopdrachten de oorspronkelijke vraag en vraag om een beknopte zoekformulering die de bedoeling bewaart. Vraag voor een documentsamenvatting om de belangrijkste beweringen en de voorwaarden die daarop van invloed zijn. Controleer de werkelijke uitvoer op weggelaten voorwaarden, gewijzigde getallen of verzonnen informatie, vooral wanneer een kort antwoord een grotere bron samenvat.
Engels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thai zijn de acht officieel ondersteunde talen. Vermeld de gewenste uitvoertaal en behoud de spelling van namen of vaktermen die ongewijzigd moeten blijven. Een meertalige taak moet voldoende broncontext bevatten om de betekenis van de teruggegeven formulering te beoordelen, in plaats van alleen op vlot taalgebruik te vertrouwen.
Het standaardtekstcheckpoint van Llama 3.2 heeft een contextvenster van 128K tokens. Gebruik dat budget voor relevant bronmateriaal, gespreksgeschiedenis en het gegenereerde resultaat. Bewaar eerdere beslissingen die nodig zijn om verder te gaan en laat ruimte voor het antwoord. De grens van de pretrainingsdata ligt in december 2023. Latere informatie vereist daarom bewijsmateriaal dat met de taak of door de omringende retrievaltoepassing wordt aangeleverd.
Dit is het Instruct-checkpoint, voorbereid voor assistentachtige dialoog. De modelkaart beschrijft supervised fine-tuning en afstemming op menselijke voorkeuren, met extra distillatie tijdens de ontwikkeling van de kleine modellen. De gebruiksvoorbeelden geven systeem- en gebruikersberichten via een chatformaat. Een systeeminstructie kan de rol en verwachte uitvoer definiëren, terwijl het gebruikersbericht de huidige taak en bronnen aanlevert.
Houd het gespreksformaat passend bij de geselecteerde release wanneer het checkpoint rechtstreeks wordt gebruikt. Definieer het resultaat duidelijk en controleer het gegenereerde antwoord, met inbegrip van het verband met het aangeleverde bewijsmateriaal. Specificeer voor een gestructureerd tekstueel artefact de vereiste velden of koppen en valideer de werkelijke uitvoer voordat een toepassing die verwerkt; een geschreven formaatverzoek garandeert niet dat elke waarde correct is.
De maker onderscheidt het standaardtekstmodel van afzonderlijk gepubliceerde gekwantiseerde tekstprofielen van Llama 3.2. De modeltabel vermeldt een context van 8K voor die gekwantiseerde profielen, verschillend van het standaardvenster van 128K. Kies het model en het werkbudget samen, in plaats van aan te nemen dat elke implementatie met het label 3B dezelfde contextruimte behoudt.
Het 3B Instruct-model staat ook los van de grotere vision-modellen van Llama 3.2. Bereid voor dit tekstprofiel tekstueel bronmateriaal voor of tekst die door de omringende toepassing is verkregen. Gebruik het model voor een gericht antwoord, een herschrijving, samenvatting of korte code-uitleg. Bewaar het geselecteerde checkpoint, de prompt en de bron bij het resultaat en maak een volgende instructie specifiek voor het ontbrekende detail of de waargenomen fout.
POST /v1/chat/completionstexttext| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten meta-llama/llama-3.2-3b-instruct | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten Minimumaantal items: 1 | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten Voorbeelden: system, user, assistant, tool, function Voorwaarden: Deze rollen worden expliciet weergegeven door compatibiliteitstypen in de broncode; de exacte rollenverzameling van het model blijft modelspecifiek. Afhankelijk van het model | Standaard— |
Veldmessages[].content | Typestring|content_part[]|null | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_calls | Typetool_call[] | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].tool_call_id | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: role=tool; gebruik het werkelijk teruggegeven ID | Standaard— |
Veldmessages[].name | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldmessages[].reasoning_content | Typestring | VereisteOptioneel | Waarden en limieten Geldt wanneer: Stuur de werkelijk teruggegeven redeneringen terug wanneer dit model ze gebruikt | Standaard— |
Veldmessages[].reasoning_details | Typeobject|array | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmax_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldmax_completion_tokens | Typeinteger | VereisteOptioneel | Waarden en limieten Minimum: 1 Afhankelijk van het model | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Veldstream_options.include_usage | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtemperature | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtop_p | Typenumber | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldstop | Typestring|string[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools | Typefunction_tool[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldtools[].type | Typestring | VereisteOptioneel | Waarden en limieten function Afhankelijk van het model | Standaard— |
Veldtools[].function.name | Typestring | VereisteVereist | Waarden en limieten Geldt wanneer: functietool opgegeven | Standaard— |
Veldtools[].function.description | Typestring | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtools[].function.parameters | TypeJSON_schema | VereisteOptioneel | Waarden en limieten | Standaard— |
Veldtool_choice | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldparallel_tool_calls | Typeboolean | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldresponse_format | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning_effort | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldreasoning | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldservice_tier | Typestring | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldinstructions | Typestring | VereisteOptioneel | Waarden en limieten Compatibiliteitsveld | Standaard— |
Veldfunctions | Typefunction[] | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldfunction_call | Typestring|object | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldprompt_cache_options | Typeobject | VereisteOptioneel | Waarden en limieten Afhankelijk van het model | Standaard— |
Veldmodalities | Typestring[] | VereisteOptioneel | Waarden en limieten text | Standaard— |
Veldprovider | Typeobject | VereisteOptioneel | Waarden en limieten Voorwaarden: provider.options wordt op deze Ultra-tekstroute geweigerd | Standaard— |
Veldcache_control.ttl | Typestring | VereisteOptioneel | Waarden en limieten Voorwaarden: 1h wordt op de daadwerkelijke locaties voor promptcaching geweigerd | Standaard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages |
Parametermaterial_types | Contracttext |
Parametermessages | Contractberichtenarray met de structuur role/content |
Parameterfile_material | Contractwerkelijk UTF-8-document ingevoegd als letterlijke tekst; er wordt geen bestands-ID afgeleid |
Parameteroptional_controls | Contractstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Contractmodelspecifiek; functietools van de gebruiker verschillen van gehoste tools |
Parameteroutput_modalities | Contracttext |
Parameterhosted_operations | Contractfalse |
Parametermultimodal_input_binding | Contractnull |
Levenscyclus: synchronous_or_streamed
Stuur het exacte model-ID mee met messages.
Contextlengte is geen uitvoerlimiet.
Een tekstbestand kan letterlijke tekst aanleveren; beeld-, audio- en bestandsobjectinvoer vereisen een exacte koppeling.
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
Koppel elke kostenpost aan de getoonde voorwaarden. Gebruik één tarief voor elke groep alternatieve configuraties.
| Configuratie | Tariefstaffel | Contexttokens, meer dan | Contexttokens, tot en met | Kosten |
|---|---|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Contexttokens, meer dan— | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.0001 / 1K tokens Uitvoer · Uitvoertokens $0.00066 / 1K tokens Invoer · Cache lezen — / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
| ConfiguratieAanvraaglengte · niveau 1 | Tariefstaffel— | Contexttokens, meer dan0 | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.0001 / 1K tokens Uitvoer · Uitvoertokens $0.00066 / 1K tokens Invoer · Cache lezen — / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.2-3b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.2-3b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.2-3b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar elke keuze en de bijbehorende inhoud, toolaanroepen en redeneringen. Voeg in SSE delta’s samen per keuze-/toolindex en bewaar de uiteindelijke reden van beëindiging en de verbruiksgegevens.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldchoices[].index | Typeinteger |
Veldchoices[].message.content | Typestring|null |
Veldchoices[].message.tool_calls | Typetool_call[] |
Veldchoices[].message.reasoning_content | Typestring |
Veldchoices[].message.reasoning_details | Typeobject|array |
Veldchoices[].finish_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra meta-llama/llama-3.2-3b-instruct
Gebruik de hierboven getoonde methodepaden.
meta-llama/llama-3.2-3b-instructMeta Llama 3.2 3B Instruct is een compact tekstmodel voor meertalige chat, samenvattingen op basis van opgehaalde bronnen en schrijfhulp. Het standaardcheckpoint heeft een context van 128K; afzonderlijk gepubliceerde gekwantiseerde varianten hebben een ander werkvenster.
Deze beschrijving gaat over de mogelijkheden van het model. De via Ailoot beschikbare invoer, uitvoer en opties staan hieronder voor de geselecteerde methode.
Meta Llama 3.2 3B Instruct is een op instructies afgestemd tekstmodel voor meertalige assistentgesprekken, werk op basis van opgehaalde bronnen en samenvattingen. De modeltabel van de maker vermeldt een 3B-klasse met 3,21 miljard parameters. Het accepteert tekst en produceert tekst of code. De ontwikkeling combineert model pruning en kennisdistillatie met instructieafstemming, wat een klein modelprofiel oplevert voor gerichte schrijf- en assistenttaken.
Geef het model het bronmateriaal, de vraag en de verwachte vorm van het antwoord. Een verzoek om schrijfhulp kan de doelgroep, toon en te behouden details specificeren. Een samenvatting kan de te behandelen onderdelen en de gewenste lengte of structuur benoemen. Geef voor een kort antwoord op basis van een kennisbank de relevante passage en vraag om een uitleg die op die bron steunt.
De maker noemt kennis ophalen, samenvatten, mobiele schrijfassistenten, zoekopdrachten herschrijven en prompts herschrijven als beoogde toepassingen van de op instructies afgestemde tekstmodellen. Een retrievaltoepassing kan de gevonden passages aanleveren en het model vragen het antwoord samen te stellen. Bewaar de passage-identifiers bij het resultaat, zodat een lezer of ander onderdeel het bewijsmateriaal kan inspecteren.
Behoud bij het herschrijven van zoekopdrachten de oorspronkelijke vraag en vraag om een beknopte zoekformulering die de bedoeling bewaart. Vraag voor een documentsamenvatting om de belangrijkste beweringen en de voorwaarden die daarop van invloed zijn. Controleer de werkelijke uitvoer op weggelaten voorwaarden, gewijzigde getallen of verzonnen informatie, vooral wanneer een kort antwoord een grotere bron samenvat.
Engels, Duits, Frans, Italiaans, Portugees, Hindi, Spaans en Thai zijn de acht officieel ondersteunde talen. Vermeld de gewenste uitvoertaal en behoud de spelling van namen of vaktermen die ongewijzigd moeten blijven. Een meertalige taak moet voldoende broncontext bevatten om de betekenis van de teruggegeven formulering te beoordelen, in plaats van alleen op vlot taalgebruik te vertrouwen.
Het standaardtekstcheckpoint van Llama 3.2 heeft een contextvenster van 128K tokens. Gebruik dat budget voor relevant bronmateriaal, gespreksgeschiedenis en het gegenereerde resultaat. Bewaar eerdere beslissingen die nodig zijn om verder te gaan en laat ruimte voor het antwoord. De grens van de pretrainingsdata ligt in december 2023. Latere informatie vereist daarom bewijsmateriaal dat met de taak of door de omringende retrievaltoepassing wordt aangeleverd.
Dit is het Instruct-checkpoint, voorbereid voor assistentachtige dialoog. De modelkaart beschrijft supervised fine-tuning en afstemming op menselijke voorkeuren, met extra distillatie tijdens de ontwikkeling van de kleine modellen. De gebruiksvoorbeelden geven systeem- en gebruikersberichten via een chatformaat. Een systeeminstructie kan de rol en verwachte uitvoer definiëren, terwijl het gebruikersbericht de huidige taak en bronnen aanlevert.
Houd het gespreksformaat passend bij de geselecteerde release wanneer het checkpoint rechtstreeks wordt gebruikt. Definieer het resultaat duidelijk en controleer het gegenereerde antwoord, met inbegrip van het verband met het aangeleverde bewijsmateriaal. Specificeer voor een gestructureerd tekstueel artefact de vereiste velden of koppen en valideer de werkelijke uitvoer voordat een toepassing die verwerkt; een geschreven formaatverzoek garandeert niet dat elke waarde correct is.
De maker onderscheidt het standaardtekstmodel van afzonderlijk gepubliceerde gekwantiseerde tekstprofielen van Llama 3.2. De modeltabel vermeldt een context van 8K voor die gekwantiseerde profielen, verschillend van het standaardvenster van 128K. Kies het model en het werkbudget samen, in plaats van aan te nemen dat elke implementatie met het label 3B dezelfde contextruimte behoudt.
Het 3B Instruct-model staat ook los van de grotere vision-modellen van Llama 3.2. Bereid voor dit tekstprofiel tekstueel bronmateriaal voor of tekst die door de omringende toepassing is verkregen. Gebruik het model voor een gericht antwoord, een herschrijving, samenvatting of korte code-uitleg. Bewaar het geselecteerde checkpoint, de prompt en de bron bij het resultaat en maak een volgende instructie specifiek voor het ontbrekende detail of de waargenomen fout.
POST /v1/messagestextjson, sse| Veld | Type | Vereiste | Waarden en limieten | Standaard |
|---|---|---|---|---|
Veldmodel | Typestring | VereisteVereist | Waarden en limieten meta-llama/llama-3.2-3b-instruct | Standaard— |
Veldmessages | Typemessage[] | VereisteVereist | Waarden en limieten | Standaard— |
Veldmessages[].role | Typestring | VereisteVereist | Waarden en limieten user, assistant | Standaard— |
Veldmessages[].content | Typestring | VereisteVereist | Waarden en limieten | Standaard— |
Veldmax_tokens | Typeinteger | VereisteVereist | Waarden en limieten | Standaard— |
Veldstream | Typeboolean | VereisteOptioneel | Waarden en limieten | Standaardfalse |
Tekst · UTF-8-tekst
messages[].content als tekenreeks
| Parameter | Contract |
|---|---|
Parametercontent_type | Contractapplication/json |
Parameterrequired | Contractmodel, messages, max_tokens |
Parameteroptional_controls | Contractstream |
Parametermaterial_types | Contracttext |
Parametertext_file_material | ContractLees het werkelijke UTF-8-document en plaats de tekst ervan in de aangegeven invoer of in de inhoudstekenreeks van een bericht. |
Levenscyclus: synchronous_or_streamed
Tariefverwijzingen voegen geen verzoekopties toe. Ondersteunde parameters staan bij de geselecteerde methode.
Koppel elke kostenpost aan de getoonde voorwaarden. Gebruik één tarief voor elke groep alternatieve configuraties.
| Configuratie | Tariefstaffel | Contexttokens, meer dan | Contexttokens, tot en met | Kosten |
|---|---|---|---|---|
| ConfiguratieBasistarieven voor tokens | TariefstaffelBasistarief | Contexttokens, meer dan— | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.0001 / 1K tokens Uitvoer · Uitvoertokens $0.00066 / 1K tokens Invoer · Cache lezen — / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
| ConfiguratieAanvraaglengte · niveau 1 | Tariefstaffel— | Contexttokens, meer dan0 | Contexttokens, tot en metGeen bovengrens | Kosten Invoer · Invoertokens $0.0001 / 1K tokens Uitvoer · Uitvoertokens $0.00066 / 1K tokens Invoer · Cache lezen — / 1K tokens Invoer · Cache schrijven — / 1K tokens Invoer · Cache schrijven, 1 uur — / 1K tokens |
Ailoot reserveert vóór een verzoek een geschat bedrag. Na het resultaat worden de uiteindelijke kosten afgerekend op basis van het gemeten verbruik. Bij streaming gebeurt de afrekening op basis van de definitieve verbruiksregistratie. Zo werken reservering en afrekening →
{\n "model": "meta-llama/llama-3.2-3b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-3b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-3b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON of SSE
Bewaar elk volledig teruggegeven antwoord, bestand en inhoudsonderdeel.
Bewaar alle inhoudsblokken, handtekeningen van redeneringen en werkelijke toolgebruik-ID’s. Voeg alle SSE-blokdelta’s samen; het eerste tekstblok is niet de volledige uitvoer.
Bewaar aanvraag-/antwoord-ID’s en headers. Er wordt geen algemene URL meegeleverd om teksttaken op te halen.
| Veld | Type |
|---|---|
Veldid | Typestring |
Veldmodel | Typestring |
Veldcontent[] | Typetext|thinking|tool_use|other content block |
Veldstop_reason | Typestring|null |
Veldusage | Typeobject |
| Antwoord | Voorwaarde | Volgende stap |
|---|---|---|
Antwoord400 · invalid_request_error | VoorwaardeVerplichte velden, de materiaalrepresentatie of een parameterwaarde zijn ongeldig | Volgende stapCorrigeer de aangegeven velden vóór een nieuwe aanmaakaanvraag. |
Ailoot Ultra meta-llama/llama-3.2-3b-instruct
Gebruik de hierboven getoonde methodepaden.
Technisch voorbeeld in het Engels
Rewrite a knowledge-base query\n\nRewrite this support question into one concise search query: 'I changed my work email yesterday and now the old address still gets export notifications, even though I log in with the new one.' Preserve the distinction between login identity and notification destination. Return the query and two key concepts it must retain; do not answer the question.One search query plus two retained concepts covering changed login email and stale export-notification address.The rewrite keeps the notification problem and does not collapse it into a login failure.