Meta Llama 3.2 3B Instruct er en instruksjonsjustert tekstmodell utviklet for flerspråklige assistentsamtaler, arbeid forankret i gjenfunne kilder og oppsummering. Produsentens modelltabell angir en 3B-klasse med 3.21B parametere. Modellen tar imot tekst og produserer tekst eller kode. Utviklingen kombinerer modellbeskjæring og kunnskapsdestillasjon med instruksjonsjustering, noe som gir en liten modellprofil for avgrensede skrive- og assistentoppgaver.
Gi modellen kildematerialet, spørsmålet og ønsket svarform. En forespørsel om skrivehjelp kan angi målgruppe, tone og detaljer som må beholdes. Et sammendrag kan angi hvilke deler som skal dekkes, og ønsket lengde eller struktur. For et kort svar fra en kunnskapsbase gir du det relevante tekstutdraget og ber om en forklaring forankret i denne kilden.
Produsenten nevner kunnskapsgjenfinning, oppsummering, mobile skriveassistenter, omskriving av søkespørsmål og omskriving av ledetekster blant de tiltenkte bruksområdene for de instruksjonsjusterte tekstmodellene. En applikasjon for informasjonsgjenfinning kan legge ved utdragene den fant, og be modellen formulere svaret. Behold utdragenes identifikatorer sammen med resultatet, slik at en leser eller en annen komponent kan undersøke kildegrunnlaget.
Ved omskriving av søkespørsmål beholder du det opprinnelige spørsmålet og ber om en kort søkeformulering som ivaretar hensikten. For et dokumentsammendrag ber du om hovedpåstandene og forbeholdene som påvirker dem. Kontroller det faktiske resultatet for utelatte vilkår, endrede tall eller oppdiktet informasjon, særlig når et kort svar komprimerer en større kilde.
Engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai er de åtte offisielt støttede språkene. Angi ønsket svarspråk og behold skrivemåten til navn eller fagterminologi som må forbli uendret. En flerspråklig oppgave bør inneholde nok kildekontekst til at betydningen av den returnerte formuleringen kan vurderes, fremfor å basere vurderingen bare på flytende språk.
Standardkontrollpunktet for Llama 3.2-tekstmodellen har et kontekstvindu på 128K tokener. Bruk dette budsjettet til relevant kildemateriale, samtalehistorikk og det genererte resultatet. Behold tidligere beslutninger som trengs for å fortsette, og la det være plass til svaret. Skjæringsdatoen for forhåndstreningsdataene er desember 2023, så nyere informasjon krever dokumentasjon som legges ved oppgaven eller leveres av den omkringliggende applikasjonen for informasjonsgjenfinning.
Dette er Instruct-kontrollpunktet, klargjort for assistentlignende dialog. Modellkortet beskriver veiledet finjustering og tilpasning til menneskelige preferanser, med ytterligere destillasjon under utviklingen av de små modellene. Brukseksemplene gir system- og brukermeldinger i et chatformat. En systeminstruksjon kan definere rollen og forventningene til resultatet, mens brukermeldingen inneholder den aktuelle oppgaven og kildene.
Bruk samtaleformatet som passer til den valgte utgaven når du bruker kontrollpunktet direkte. Definer resultatet tydelig og undersøk det genererte svaret, også hvordan det henger sammen med det vedlagte kildegrunnlaget. For et strukturert tekstartefakt angir du nødvendige felt eller overskrifter og validerer det faktiske resultatet før en applikasjon bruker det; en skriftlig formatinstruksjon garanterer ikke at alle verdier er riktige.
Produsenten skiller standardtekstmodellen fra separat publiserte kvantiserte Llama 3.2-tekstprofiler. Modelltabellen angir en kontekst på 8K for disse kvantiserte profilene, forskjellig fra standardvinduet på 128K. Velg modell og arbeidsbudsjett samlet, fremfor å anta at alle utrullinger merket 3B beholder den samme kontekstgrensen.
3B Instruct-modellen er også atskilt fra de større synsmodellene i Llama 3.2. For denne tekstprofilen forbereder du tekstlig kildemateriale eller tekst hentet ut av den omkringliggende applikasjonen. Bruk modellen til et avgrenset svar, en omskriving, et sammendrag eller en kort kodeforklaring. Behold valgt kontrollpunkt, ledetekst og kilde sammen med resultatet, og gjør deretter neste instruksjon spesifikk for den manglende detaljen eller observerte feilen.
", "aboutText": "Meta Llama 3.2 3B Instruct er en instruksjonsjustert tekstmodell utviklet for flerspråklige assistentsamtaler, arbeid forankret i gjenfunne kilder og oppsummering. Produsentens modelltabell angir en 3B-klasse med 3.21B parametere. Modellen tar imot tekst og produserer tekst eller kode. Utviklingen kombinerer modellbeskjæring og kunnskapsdestillasjon med instruksjonsjustering, noe som gir en liten modellprofil for avgrensede skrive- og assistentoppgaver.\n\n### Definer et avgrenset tekstresultat\n\nGi modellen kildematerialet, spørsmålet og ønsket svarform. En forespørsel om skrivehjelp kan angi målgruppe, tone og detaljer som må beholdes. Et sammendrag kan angi hvilke deler som skal dekkes, og ønsket lengde eller struktur. For et kort svar fra en kunnskapsbase gir du det relevante tekstutdraget og ber om en forklaring forankret i denne kilden.\n\nProdusenten nevner kunnskapsgjenfinning, oppsummering, mobile skriveassistenter, omskriving av søkespørsmål og omskriving av ledetekster blant de tiltenkte bruksområdene for de instruksjonsjusterte tekstmodellene. En applikasjon for informasjonsgjenfinning kan legge ved utdragene den fant, og be modellen formulere svaret. Behold utdragenes identifikatorer sammen med resultatet, slik at en leser eller en annen komponent kan undersøke kildegrunnlaget.\n\nVed omskriving av søkespørsmål beholder du det opprinnelige spørsmålet og ber om en kort søkeformulering som ivaretar hensikten. For et dokumentsammendrag ber du om hovedpåstandene og forbeholdene som påvirker dem. Kontroller det faktiske resultatet for utelatte vilkår, endrede tall eller oppdiktet informasjon, særlig når et kort svar komprimerer en større kilde.\n\n### Språk og kontekst\n\nEngelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai er de åtte offisielt støttede språkene. Angi ønsket svarspråk og behold skrivemåten til navn eller fagterminologi som må forbli uendret. En flerspråklig oppgave bør inneholde nok kildekontekst til at betydningen av den returnerte formuleringen kan vurderes, fremfor å basere vurderingen bare på flytende språk.\n\nStandardkontrollpunktet for Llama 3.2-tekstmodellen har et kontekstvindu på 128K tokener. Bruk dette budsjettet til relevant kildemateriale, samtalehistorikk og det genererte resultatet. Behold tidligere beslutninger som trengs for å fortsette, og la det være plass til svaret. Skjæringsdatoen for forhåndstreningsdataene er desember 2023, så nyere informasjon krever dokumentasjon som legges ved oppgaven eller leveres av den omkringliggende applikasjonen for informasjonsgjenfinning.\n\n### Instruksjonsjustering og samtaleformat\n\nDette er Instruct-kontrollpunktet, klargjort for assistentlignende dialog. Modellkortet beskriver veiledet finjustering og tilpasning til menneskelige preferanser, med ytterligere destillasjon under utviklingen av de små modellene. Brukseksemplene gir system- og brukermeldinger i et chatformat. En systeminstruksjon kan definere rollen og forventningene til resultatet, mens brukermeldingen inneholder den aktuelle oppgaven og kildene.\n\nBruk samtaleformatet som passer til den valgte utgaven når du bruker kontrollpunktet direkte. Definer resultatet tydelig og undersøk det genererte svaret, også hvordan det henger sammen med det vedlagte kildegrunnlaget. For et strukturert tekstartefakt angir du nødvendige felt eller overskrifter og validerer det faktiske resultatet før en applikasjon bruker det; en skriftlig formatinstruksjon garanterer ikke at alle verdier er riktige.\n\n### Standardprofiler, kvantiserte profiler og synsprofiler\n\nProdusenten skiller standardtekstmodellen fra separat publiserte kvantiserte Llama 3.2-tekstprofiler. Modelltabellen angir en kontekst på 8K for disse kvantiserte profilene, forskjellig fra standardvinduet på 128K. Velg modell og arbeidsbudsjett samlet, fremfor å anta at alle utrullinger merket 3B beholder den samme kontekstgrensen.\n\n3B Instruct-modellen er også atskilt fra de større synsmodellene i Llama 3.2. For denne tekstprofilen forbereder du tekstlig kildemateriale eller tekst hentet ut av den omkringliggende applikasjonen. Bruk modellen til et avgrenset svar, en omskriving, et sammendrag eller en kort kodeforklaring. Behold valgt kontrollpunkt, ledetekst og kilde sammen med resultatet, og gjør deretter neste instruksjon spesifikk for den manglende detaljen eller observerte feilen.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Rewrite a knowledge-base query\n\nRewrite this support question into one concise search query: 'I changed my work email yesterday and now the old address still gets export notifications, even though I log in with the new one.' Preserve the distinction between login identity and notification destination. Return the query and two key concepts it must retain; do not answer the question.One search query plus two retained concepts covering changed login email and stale export-notification address.The rewrite keeps the notification problem and does not collapse it into a login failure.meta-llama/llama-3.2-3b-instructMeta Llama 3.2 3B Instruct er en kompakt tekstmodell for flerspråklig chat, kildeforankrede sammendrag basert på informasjonsgjenfinning og skrivehjelp. Standardkontrollpunktet har en kontekst på 128K; separat publiserte kvantiserte varianter har et annet arbeidsvindu.
Denne beskrivelsen dekker modellens funksjoner. Tilgjengelige inndata, utdata og alternativer i Ailoot er oppført nedenfor for den valgte metoden.
Meta Llama 3.2 3B Instruct er en instruksjonsjustert tekstmodell utviklet for flerspråklige assistentsamtaler, arbeid forankret i gjenfunne kilder og oppsummering. Produsentens modelltabell angir en 3B-klasse med 3.21B parametere. Modellen tar imot tekst og produserer tekst eller kode. Utviklingen kombinerer modellbeskjæring og kunnskapsdestillasjon med instruksjonsjustering, noe som gir en liten modellprofil for avgrensede skrive- og assistentoppgaver.
Gi modellen kildematerialet, spørsmålet og ønsket svarform. En forespørsel om skrivehjelp kan angi målgruppe, tone og detaljer som må beholdes. Et sammendrag kan angi hvilke deler som skal dekkes, og ønsket lengde eller struktur. For et kort svar fra en kunnskapsbase gir du det relevante tekstutdraget og ber om en forklaring forankret i denne kilden.
Produsenten nevner kunnskapsgjenfinning, oppsummering, mobile skriveassistenter, omskriving av søkespørsmål og omskriving av ledetekster blant de tiltenkte bruksområdene for de instruksjonsjusterte tekstmodellene. En applikasjon for informasjonsgjenfinning kan legge ved utdragene den fant, og be modellen formulere svaret. Behold utdragenes identifikatorer sammen med resultatet, slik at en leser eller en annen komponent kan undersøke kildegrunnlaget.
Ved omskriving av søkespørsmål beholder du det opprinnelige spørsmålet og ber om en kort søkeformulering som ivaretar hensikten. For et dokumentsammendrag ber du om hovedpåstandene og forbeholdene som påvirker dem. Kontroller det faktiske resultatet for utelatte vilkår, endrede tall eller oppdiktet informasjon, særlig når et kort svar komprimerer en større kilde.
Engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai er de åtte offisielt støttede språkene. Angi ønsket svarspråk og behold skrivemåten til navn eller fagterminologi som må forbli uendret. En flerspråklig oppgave bør inneholde nok kildekontekst til at betydningen av den returnerte formuleringen kan vurderes, fremfor å basere vurderingen bare på flytende språk.
Standardkontrollpunktet for Llama 3.2-tekstmodellen har et kontekstvindu på 128K tokener. Bruk dette budsjettet til relevant kildemateriale, samtalehistorikk og det genererte resultatet. Behold tidligere beslutninger som trengs for å fortsette, og la det være plass til svaret. Skjæringsdatoen for forhåndstreningsdataene er desember 2023, så nyere informasjon krever dokumentasjon som legges ved oppgaven eller leveres av den omkringliggende applikasjonen for informasjonsgjenfinning.
Dette er Instruct-kontrollpunktet, klargjort for assistentlignende dialog. Modellkortet beskriver veiledet finjustering og tilpasning til menneskelige preferanser, med ytterligere destillasjon under utviklingen av de små modellene. Brukseksemplene gir system- og brukermeldinger i et chatformat. En systeminstruksjon kan definere rollen og forventningene til resultatet, mens brukermeldingen inneholder den aktuelle oppgaven og kildene.
Bruk samtaleformatet som passer til den valgte utgaven når du bruker kontrollpunktet direkte. Definer resultatet tydelig og undersøk det genererte svaret, også hvordan det henger sammen med det vedlagte kildegrunnlaget. For et strukturert tekstartefakt angir du nødvendige felt eller overskrifter og validerer det faktiske resultatet før en applikasjon bruker det; en skriftlig formatinstruksjon garanterer ikke at alle verdier er riktige.
Produsenten skiller standardtekstmodellen fra separat publiserte kvantiserte Llama 3.2-tekstprofiler. Modelltabellen angir en kontekst på 8K for disse kvantiserte profilene, forskjellig fra standardvinduet på 128K. Velg modell og arbeidsbudsjett samlet, fremfor å anta at alle utrullinger merket 3B beholder den samme kontekstgrensen.
3B Instruct-modellen er også atskilt fra de større synsmodellene i Llama 3.2. For denne tekstprofilen forbereder du tekstlig kildemateriale eller tekst hentet ut av den omkringliggende applikasjonen. Bruk modellen til et avgrenset svar, en omskriving, et sammendrag eller en kort kodeforklaring. Behold valgt kontrollpunkt, ledetekst og kilde sammen med resultatet, og gjør deretter neste instruksjon spesifikk for den manglende detaljen eller observerte feilen.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Verdier & grenser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrevd | Verdier & grenser meta-llama/llama-3.2-3b-instruct | Standard— |
Feltmessages | Typemessage[] | KravPåkrevd | Verdier & grenser Minste antall elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrevd | Verdier & grenser Eksempler: system, user, assistant, tool, function Vilkår: Disse rollene representeres eksplisitt av kompatibilitetstyper i kildekoden; det eksakte rollesettet for modellen er fortsatt modellspesifikt. Avhenger av modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfritt | Verdier & grenser Gjelder når: role=tool; bruk faktisk returnert ID | Standard— |
Feltmessages[].name | Typestring | KravValgfritt | Verdier & grenser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfritt | Verdier & grenser Gjelder når: Send den faktisk returnerte resonneringen tilbake der denne modellen bruker den | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfritt | Verdier & grenser Minimum: 1 Avhenger av modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfritt | Verdier & grenser Minimum: 1 Avhenger av modellen | Standard— |
Feltstream | Typeboolean | KravValgfritt | Verdier & grenser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttemperature | Typenumber | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttop_p | Typenumber | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Felttools[].type | Typestring | KravValgfritt | Verdier & grenser function Avhenger av modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrevd | Verdier & grenser Gjelder når: funksjonsverktøy oppgitt | Standard— |
Felttools[].function.description | Typestring | KravValgfritt | Verdier & grenser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfritt | Verdier & grenser | Standard— |
Felttool_choice | Typestring|object | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltreasoning | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltservice_tier | Typestring | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltinstructions | Typestring | KravValgfritt | Verdier & grenser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfritt | Verdier & grenser Avhenger av modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfritt | Verdier & grenser text | Standard— |
Feltprovider | Typeobject | KravValgfritt | Verdier & grenser Vilkår: provider.options avvises på denne Ultra-tekstruten | Standard— |
Feltcache_control.ttl | Typestring | KravValgfritt | Verdier & grenser Vilkår: 1h avvises på faktiske steder for mellomlagring av ledetekster | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Avtale |
|---|---|
Parametercontent_type | Avtaleapplication/json |
Parameterrequired | Avtalemodel, messages |
Parametermaterial_types | Avtaletext |
Parametermessages | Avtalemeldingstabell med role/content-struktur |
Parameterfile_material | Avtalefaktisk UTF-8-dokument satt inn som bokstavelig tekst; ingen fil-ID utledes |
Parameteroptional_controls | Avtalestream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Avtalemodellspesifikt; brukerens funksjonsverktøy skiller seg fra driftede verktøy |
Parameteroutput_modalities | Avtaletext |
Parameterhosted_operations | Avtalefalse |
Parametermultimodal_input_binding | Avtalenull |
Livssyklus: synchronous_or_streamed
Send eksakt modell-ID sammen med messages.
Kontekstlengde er ikke en outputgrense.
En tekstfil kan levere bokstavelig tekst; bilde-, lyd- og filobjektinput trenger eksakt binding.
Tariffopplysninger legger ikke til forespørselsvalg. Støttede parametere står ved den valgte metoden.
Knytt hver kostnad til de viste vilkårene. Bruk én sats for hvert sett med alternative konfigurasjoner.
| Konfigurasjon | Prisplan | Konteksttokener, mer enn | Konteksttokener, opptil og med | Kostnad |
|---|---|---|---|---|
| KonfigurasjonGrunnpriser for tokener | PrisplanGrunnsats | Konteksttokener, mer enn— | Konteksttokener, opptil og medIngen øvre grense | Kostnad Inndata · Inngående tokener $0.0001 / 1K tokener Utdata · Utgående tokener $0.00066 / 1K tokener Inndata · Lesing fra hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
| KonfigurasjonNivå 1 for forespørselslengde | Prisplan— | Konteksttokener, mer enn0 | Konteksttokener, opptil og medIngen øvre grense | Kostnad Inndata · Inngående tokener $0.0001 / 1K tokener Utdata · Utgående tokener $0.00066 / 1K tokener Inndata · Lesing fra hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
Ailoot reserverer et estimert beløp før en forespørsel. Etter resultatet gjøres det endelige beløpet opp basert på målt forbruk. Oppgjør for strømming bruker den endelige forbruksposten. Slik fungerer reservasjon og oppgjør →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.2-3b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.2-3b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.2-3b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Behold alle fullstendige returnerte svar, filer og innholdsdeler.
Behold hvert svaralternativ med innhold, verktøykall og resonnering. Sett sammen endringer i SSE etter svaralternativets/verktøyets indeks, og behold endelig avslutningsgrunn og bruksdata.
Behold forespørsels-/svar-ID-er og headere. Ingen generell URL for henting av tekstjobber oppgis.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Vilkår | Neste trinn |
|---|---|---|
Svar400 · invalid_request_error | VilkårUgyldige påkrevde felter, materialrepresentasjon eller parameterverdi | Neste trinnKorriger de angitte feltene før en ny opprettelsesforespørsel. |
Ailoot Ultra meta-llama/llama-3.2-3b-instruct
Bruk metodestiene som vises ovenfor.
meta-llama/llama-3.2-3b-instructMeta Llama 3.2 3B Instruct er en kompakt tekstmodell for flerspråklig chat, kildeforankrede sammendrag basert på informasjonsgjenfinning og skrivehjelp. Standardkontrollpunktet har en kontekst på 128K; separat publiserte kvantiserte varianter har et annet arbeidsvindu.
Denne beskrivelsen dekker modellens funksjoner. Tilgjengelige inndata, utdata og alternativer i Ailoot er oppført nedenfor for den valgte metoden.
Meta Llama 3.2 3B Instruct er en instruksjonsjustert tekstmodell utviklet for flerspråklige assistentsamtaler, arbeid forankret i gjenfunne kilder og oppsummering. Produsentens modelltabell angir en 3B-klasse med 3.21B parametere. Modellen tar imot tekst og produserer tekst eller kode. Utviklingen kombinerer modellbeskjæring og kunnskapsdestillasjon med instruksjonsjustering, noe som gir en liten modellprofil for avgrensede skrive- og assistentoppgaver.
Gi modellen kildematerialet, spørsmålet og ønsket svarform. En forespørsel om skrivehjelp kan angi målgruppe, tone og detaljer som må beholdes. Et sammendrag kan angi hvilke deler som skal dekkes, og ønsket lengde eller struktur. For et kort svar fra en kunnskapsbase gir du det relevante tekstutdraget og ber om en forklaring forankret i denne kilden.
Produsenten nevner kunnskapsgjenfinning, oppsummering, mobile skriveassistenter, omskriving av søkespørsmål og omskriving av ledetekster blant de tiltenkte bruksområdene for de instruksjonsjusterte tekstmodellene. En applikasjon for informasjonsgjenfinning kan legge ved utdragene den fant, og be modellen formulere svaret. Behold utdragenes identifikatorer sammen med resultatet, slik at en leser eller en annen komponent kan undersøke kildegrunnlaget.
Ved omskriving av søkespørsmål beholder du det opprinnelige spørsmålet og ber om en kort søkeformulering som ivaretar hensikten. For et dokumentsammendrag ber du om hovedpåstandene og forbeholdene som påvirker dem. Kontroller det faktiske resultatet for utelatte vilkår, endrede tall eller oppdiktet informasjon, særlig når et kort svar komprimerer en større kilde.
Engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai er de åtte offisielt støttede språkene. Angi ønsket svarspråk og behold skrivemåten til navn eller fagterminologi som må forbli uendret. En flerspråklig oppgave bør inneholde nok kildekontekst til at betydningen av den returnerte formuleringen kan vurderes, fremfor å basere vurderingen bare på flytende språk.
Standardkontrollpunktet for Llama 3.2-tekstmodellen har et kontekstvindu på 128K tokener. Bruk dette budsjettet til relevant kildemateriale, samtalehistorikk og det genererte resultatet. Behold tidligere beslutninger som trengs for å fortsette, og la det være plass til svaret. Skjæringsdatoen for forhåndstreningsdataene er desember 2023, så nyere informasjon krever dokumentasjon som legges ved oppgaven eller leveres av den omkringliggende applikasjonen for informasjonsgjenfinning.
Dette er Instruct-kontrollpunktet, klargjort for assistentlignende dialog. Modellkortet beskriver veiledet finjustering og tilpasning til menneskelige preferanser, med ytterligere destillasjon under utviklingen av de små modellene. Brukseksemplene gir system- og brukermeldinger i et chatformat. En systeminstruksjon kan definere rollen og forventningene til resultatet, mens brukermeldingen inneholder den aktuelle oppgaven og kildene.
Bruk samtaleformatet som passer til den valgte utgaven når du bruker kontrollpunktet direkte. Definer resultatet tydelig og undersøk det genererte svaret, også hvordan det henger sammen med det vedlagte kildegrunnlaget. For et strukturert tekstartefakt angir du nødvendige felt eller overskrifter og validerer det faktiske resultatet før en applikasjon bruker det; en skriftlig formatinstruksjon garanterer ikke at alle verdier er riktige.
Produsenten skiller standardtekstmodellen fra separat publiserte kvantiserte Llama 3.2-tekstprofiler. Modelltabellen angir en kontekst på 8K for disse kvantiserte profilene, forskjellig fra standardvinduet på 128K. Velg modell og arbeidsbudsjett samlet, fremfor å anta at alle utrullinger merket 3B beholder den samme kontekstgrensen.
3B Instruct-modellen er også atskilt fra de større synsmodellene i Llama 3.2. For denne tekstprofilen forbereder du tekstlig kildemateriale eller tekst hentet ut av den omkringliggende applikasjonen. Bruk modellen til et avgrenset svar, en omskriving, et sammendrag eller en kort kodeforklaring. Behold valgt kontrollpunkt, ledetekst og kilde sammen med resultatet, og gjør deretter neste instruksjon spesifikk for den manglende detaljen eller observerte feilen.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Verdier & grenser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrevd | Verdier & grenser meta-llama/llama-3.2-3b-instruct | Standard— |
Feltmessages | Typemessage[] | KravPåkrevd | Verdier & grenser | Standard— |
Feltmessages[].role | Typestring | KravPåkrevd | Verdier & grenser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrevd | Verdier & grenser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrevd | Verdier & grenser | Standard— |
Feltstream | Typeboolean | KravValgfritt | Verdier & grenser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content-streng
| Parameter | Avtale |
|---|---|
Parametercontent_type | Avtaleapplication/json |
Parameterrequired | Avtalemodel, messages, max_tokens |
Parameteroptional_controls | Avtalestream |
Parametermaterial_types | Avtaletext |
Parametertext_file_material | AvtaleLes det faktiske UTF-8-dokumentet og legg teksten i den angitte input- eller meldingsinnholdsstrengen. |
Livssyklus: synchronous_or_streamed
Tariffopplysninger legger ikke til forespørselsvalg. Støttede parametere står ved den valgte metoden.
Knytt hver kostnad til de viste vilkårene. Bruk én sats for hvert sett med alternative konfigurasjoner.
| Konfigurasjon | Prisplan | Konteksttokener, mer enn | Konteksttokener, opptil og med | Kostnad |
|---|---|---|---|---|
| KonfigurasjonGrunnpriser for tokener | PrisplanGrunnsats | Konteksttokener, mer enn— | Konteksttokener, opptil og medIngen øvre grense | Kostnad Inndata · Inngående tokener $0.0001 / 1K tokener Utdata · Utgående tokener $0.00066 / 1K tokener Inndata · Lesing fra hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
| KonfigurasjonNivå 1 for forespørselslengde | Prisplan— | Konteksttokener, mer enn0 | Konteksttokener, opptil og medIngen øvre grense | Kostnad Inndata · Inngående tokener $0.0001 / 1K tokener Utdata · Utgående tokener $0.00066 / 1K tokener Inndata · Lesing fra hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer — / 1K tokener Inndata · Skriving til hurtigbuffer, 1 time — / 1K tokener |
Ailoot reserverer et estimert beløp før en forespørsel. Etter resultatet gjøres det endelige beløpet opp basert på målt forbruk. Oppgjør for strømming bruker den endelige forbruksposten. Slik fungerer reservasjon og oppgjør →
{\n "model": "meta-llama/llama-3.2-3b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-3b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-3b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Behold alle fullstendige returnerte svar, filer og innholdsdeler.
Behold alle innholdsblokker, resonneringssignaturer og faktiske ID-er for verktøybruk. Sett sammen alle SSE-blokkendringer; den første tekstblokken er ikke hele resultatet.
Behold forespørsels-/svar-ID-er og headere. Ingen generell URL for henting av tekstjobber oppgis.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Vilkår | Neste trinn |
|---|---|---|
Svar400 · invalid_request_error | VilkårUgyldige påkrevde felter, materialrepresentasjon eller parameterverdi | Neste trinnKorriger de angitte feltene før en ny opprettelsesforespørsel. |
Ailoot Ultra meta-llama/llama-3.2-3b-instruct
Bruk metodestiene som vises ovenfor.
Teknisk eksempel på engelsk
Rewrite a knowledge-base query\n\nRewrite this support question into one concise search query: 'I changed my work email yesterday and now the old address still gets export notifications, even though I log in with the new one.' Preserve the distinction between login identity and notification destination. Return the query and two key concepts it must retain; do not answer the question.One search query plus two retained concepts covering changed login email and stale export-notification address.The rewrite keeps the notification problem and does not collapse it into a login failure.