Llama 3.1 8B Instruct er Metas tekstmodel med otte milliarder parametre til flersproget dialog og instruktionsbaserede assistenter. Den modtager skriftlig samtale og kildemateriale og producerer tekst eller kode. Den er Instruct-udgaven i 8B-størrelsen, adskilt fra sin fortrænede basismodel og familiens 70B- og 405B-modeller.
Arkitektur, kontekst og sprog
Modellen bruger en autoregressiv Transformer-arkitektur med grouped-query attention. Den instruktionsfinjusterede familie bruger superviseret finjustering og forstærkningslæring med menneskelig feedback til at tilpasse sine samtalesvar. Producenten dokumenterer en kontekst på 128k for denne tekstudgave; det er ikke visions- eller langkontekstspecifikationen for en senere Llama 4-model.
De otte officielt understøttede sprog er engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Fortræningsdataene spænder over en bredere samling, hvilket adskiller sig fra de sprog, kortet udtrykkeligt understøtter. Angiv slutsproget og de navne, variabelidentifikatorer eller begreber, der skal forblive uændrede i et flersproget resultat.
Familien er fortrænet på cirka femten billioner tokens med en dataskæringsdato i december 2023. Finjusteringen omfatter instruktionsmateriale og mere end femogtyve millioner syntetiske eksempler. Dette beskriver modellens træning, ikke adgang til en privat vidensbase eller aktuelle oplysninger, når et nyt spørgsmål kommer.
Definerede tekstoperationer
En supportorienteret anmodning kan vedlægge brugerens besked og relevante referencepassager og derefter bede om svaret og den understøttende betingelse. En kompakt post kan adskille problemet, allerede angivne oplysninger og næste nødvendige trin. Definér feltnavne og håndtering af manglende værdier, når en applikation skal behandle resultatet.
Ved sammenfatning skal du vedlægge den faktiske passage eller udveksling og angive målgruppen, længden og de fakta, der skal bevares. Bed om beslutninger eller uafklarede spørgsmål vedrørende ét emne frem for et uafgrænset resumé af ubeslægtet materiale. En opfølgning kan bede om et kortere svar eller en klarere forklaring af én betingelse, mens de samme kildefakta bevares.
Ved redigering skal du angive læseren og tonen og identificere den betydning, der skal forblive uændret. En praktisk opgave kan bede om en klarere besked efterfulgt af en kort liste over ændringer eller kun den reviderede besked, hvis den skal bruges direkte. En klassifikationsopgave bør angive tilladte etiketter og forskellen mellem dem frem for at lade etikettens navn definere reglen.
Generering af kode og eksempler
Det dokumenterede output omfatter også kode. Angiv sproget, de krævede input og det forventede resultat, før du beder om en funktion. Ved en forklaring skal du vedlægge den eksisterende funktion og et konkret input og spørge, hvilke trin der bestemmer returværdien. Ved en rettelse skal du medtage den observerede fejl og den tilsigtede adfærd og bevare den grænseflade, der fortsat skal være kompatibel.
Et nyttigt output kan adskille den foreslåede kode, dens antagelser og eksempelinput. Applikationen eller udvikleren udfører den faktiske kompilering, kørsel eller ændring i repositoriet. Skrevet kildekode er et artefakt, der skal undersøges, og ikke en fuldført ekstern operation, blot fordi modellen returnerede den.
Familien understøtter også brug af genereret output til syntetiske eksempler og destillation. En defineret tekstanmodning kan producere variationer efter angivne regler og i et bestemt format. Bevar reglerne og etiketterne, så hvert eksempel kan undersøges; genererede eksempler fastslår ikke uafhængigt, at et træningsdatasæt er korrekt.
Samtaleroller og værktøjsbrug
Modelkortet demonstrerer en chatskabelon med særskilte system- og brugerbeskeder. Definér assistentens rolle og svarkrav i systemkonteksten, og angiv derefter spørgsmålet og kildematerialet som opgave. Bevar relevante tidligere beskeder, når du stiller en opfølgning eller vedlægger ny dokumentation, der ændrer resultatet.
Llama 3.1 dokumenterer flere formater til værktøjsbrug. Applikationen beskriver en funktion, modellen genererer det foreslåede kald og argumenterne, og applikationen udfører det og returnerer resultatet med værktøjsrollen. Næste svar kan derefter bruge de returnerede oplysninger. Hold den oprindelige operation og resultatet forbundet gennem samtalen.
Et opslag kan eksempelvis returnere den aktuelle referenceværdi, der mangler i en passage, eller et beregningsværktøj kan levere det numeriske resultat, forklaringen kræver. En assistent med værktøjer kræver, at miljøet stiller disse operationer til rådighed. Modellens tekstadfærd opretter ikke i sig selv forbindelse til en ekstern kilde eller udfører en sideeffekt.
Praktiske grænser
Producentens kontekstbetegnelse på 128k bør knyttes til den præcise 8B Instruct-udgave og den gældende konfiguration. Genereringseksemplet på 256 tokens er kun et brugsvalg; de læste kilder angiver ikke en særskilt hård maksimal svarkapacitet. 8B-størrelsen bør ikke overtage et andet medlems parameterantal eller en særskilt families navngivne ræsonnementsindstillinger.
Dette er en model kun til tekst. Visuelt input, lydforståelse og talegenerering kræver særskilt specificerede komponenter. Definér slutresultatet, før du vedlægger materialet: et kortfattet svar, en udtrukken post, en revideret passage, en forklaring eller et kodeforslag. Bevar de kildeoplysninger, der kræves for at undersøge artefaktets betydning og format.
", "aboutText": "Llama 3.1 8B Instruct er Metas tekstmodel med otte milliarder parametre til flersproget dialog og instruktionsbaserede assistenter. Den modtager skriftlig samtale og kildemateriale og producerer tekst eller kode. Den er Instruct-udgaven i 8B-størrelsen, adskilt fra sin fortrænede basismodel og familiens 70B- og 405B-modeller.\n\nArkitektur, kontekst og sprog\n\nModellen bruger en autoregressiv Transformer-arkitektur med grouped-query attention. Den instruktionsfinjusterede familie bruger superviseret finjustering og forstærkningslæring med menneskelig feedback til at tilpasse sine samtalesvar. Producenten dokumenterer en kontekst på 128k for denne tekstudgave; det er ikke visions- eller langkontekstspecifikationen for en senere Llama 4-model.\n\nDe otte officielt understøttede sprog er engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Fortræningsdataene spænder over en bredere samling, hvilket adskiller sig fra de sprog, kortet udtrykkeligt understøtter. Angiv slutsproget og de navne, variabelidentifikatorer eller begreber, der skal forblive uændrede i et flersproget resultat.\n\nFamilien er fortrænet på cirka femten billioner tokens med en dataskæringsdato i december 2023. Finjusteringen omfatter instruktionsmateriale og mere end femogtyve millioner syntetiske eksempler. Dette beskriver modellens træning, ikke adgang til en privat vidensbase eller aktuelle oplysninger, når et nyt spørgsmål kommer.\n\nDefinerede tekstoperationer\n\nEn supportorienteret anmodning kan vedlægge brugerens besked og relevante referencepassager og derefter bede om svaret og den understøttende betingelse. En kompakt post kan adskille problemet, allerede angivne oplysninger og næste nødvendige trin. Definér feltnavne og håndtering af manglende værdier, når en applikation skal behandle resultatet.\n\nVed sammenfatning skal du vedlægge den faktiske passage eller udveksling og angive målgruppen, længden og de fakta, der skal bevares. Bed om beslutninger eller uafklarede spørgsmål vedrørende ét emne frem for et uafgrænset resumé af ubeslægtet materiale. En opfølgning kan bede om et kortere svar eller en klarere forklaring af én betingelse, mens de samme kildefakta bevares.\n\nVed redigering skal du angive læseren og tonen og identificere den betydning, der skal forblive uændret. En praktisk opgave kan bede om en klarere besked efterfulgt af en kort liste over ændringer eller kun den reviderede besked, hvis den skal bruges direkte. En klassifikationsopgave bør angive tilladte etiketter og forskellen mellem dem frem for at lade etikettens navn definere reglen.\n\nGenerering af kode og eksempler\n\nDet dokumenterede output omfatter også kode. Angiv sproget, de krævede input og det forventede resultat, før du beder om en funktion. Ved en forklaring skal du vedlægge den eksisterende funktion og et konkret input og spørge, hvilke trin der bestemmer returværdien. Ved en rettelse skal du medtage den observerede fejl og den tilsigtede adfærd og bevare den grænseflade, der fortsat skal være kompatibel.\n\nEt nyttigt output kan adskille den foreslåede kode, dens antagelser og eksempelinput. Applikationen eller udvikleren udfører den faktiske kompilering, kørsel eller ændring i repositoriet. Skrevet kildekode er et artefakt, der skal undersøges, og ikke en fuldført ekstern operation, blot fordi modellen returnerede den.\n\nFamilien understøtter også brug af genereret output til syntetiske eksempler og destillation. En defineret tekstanmodning kan producere variationer efter angivne regler og i et bestemt format. Bevar reglerne og etiketterne, så hvert eksempel kan undersøges; genererede eksempler fastslår ikke uafhængigt, at et træningsdatasæt er korrekt.\n\nSamtaleroller og værktøjsbrug\n\nModelkortet demonstrerer en chatskabelon med særskilte system- og brugerbeskeder. Definér assistentens rolle og svarkrav i systemkonteksten, og angiv derefter spørgsmålet og kildematerialet som opgave. Bevar relevante tidligere beskeder, når du stiller en opfølgning eller vedlægger ny dokumentation, der ændrer resultatet.\n\nLlama 3.1 dokumenterer flere formater til værktøjsbrug. Applikationen beskriver en funktion, modellen genererer det foreslåede kald og argumenterne, og applikationen udfører det og returnerer resultatet med værktøjsrollen. Næste svar kan derefter bruge de returnerede oplysninger. Hold den oprindelige operation og resultatet forbundet gennem samtalen.\n\nEt opslag kan eksempelvis returnere den aktuelle referenceværdi, der mangler i en passage, eller et beregningsværktøj kan levere det numeriske resultat, forklaringen kræver. En assistent med værktøjer kræver, at miljøet stiller disse operationer til rådighed. Modellens tekstadfærd opretter ikke i sig selv forbindelse til en ekstern kilde eller udfører en sideeffekt.\n\nPraktiske grænser\n\nProducentens kontekstbetegnelse på 128k bør knyttes til den præcise 8B Instruct-udgave og den gældende konfiguration. Genereringseksemplet på 256 tokens er kun et brugsvalg; de læste kilder angiver ikke en særskilt hård maksimal svarkapacitet. 8B-størrelsen bør ikke overtage et andet medlems parameterantal eller en særskilt families navngivne ræsonnementsindstillinger.\n\nDette er en model kun til tekst. Visuelt input, lydforståelse og talegenerering kræver særskilt specificerede komponenter. Definér slutresultatet, før du vedlægger materialet: et kortfattet svar, en udtrukken post, en revideret passage, en forklaring eller et kodeforslag. Bevar de kildeoplysninger, der kræves for at undersøge artefaktets betydning og format.", "editorialOverlay": { "copy_fields": { "practical_html": "Teknisk eksempel på engelsk
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct er Metas mindre instruktionsmodel til tekst, flersproget dialog, resuméer og kildebetingede svar. Den har 8 milliarder parametre, en producentangivet kontekst på 128k, grouped-query attention og dokumenterede formater til værktøjsbrug og returnerer tekst eller kode.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Llama 3.1 8B Instruct er Metas tekstmodel med otte milliarder parametre til flersproget dialog og instruktionsbaserede assistenter. Den modtager skriftlig samtale og kildemateriale og producerer tekst eller kode. Den er Instruct-udgaven i 8B-størrelsen, adskilt fra sin fortrænede basismodel og familiens 70B- og 405B-modeller.
Arkitektur, kontekst og sprog
Modellen bruger en autoregressiv Transformer-arkitektur med grouped-query attention. Den instruktionsfinjusterede familie bruger superviseret finjustering og forstærkningslæring med menneskelig feedback til at tilpasse sine samtalesvar. Producenten dokumenterer en kontekst på 128k for denne tekstudgave; det er ikke visions- eller langkontekstspecifikationen for en senere Llama 4-model.
De otte officielt understøttede sprog er engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Fortræningsdataene spænder over en bredere samling, hvilket adskiller sig fra de sprog, kortet udtrykkeligt understøtter. Angiv slutsproget og de navne, variabelidentifikatorer eller begreber, der skal forblive uændrede i et flersproget resultat.
Familien er fortrænet på cirka femten billioner tokens med en dataskæringsdato i december 2023. Finjusteringen omfatter instruktionsmateriale og mere end femogtyve millioner syntetiske eksempler. Dette beskriver modellens træning, ikke adgang til en privat vidensbase eller aktuelle oplysninger, når et nyt spørgsmål kommer.
Definerede tekstoperationer
En supportorienteret anmodning kan vedlægge brugerens besked og relevante referencepassager og derefter bede om svaret og den understøttende betingelse. En kompakt post kan adskille problemet, allerede angivne oplysninger og næste nødvendige trin. Definér feltnavne og håndtering af manglende værdier, når en applikation skal behandle resultatet.
Ved sammenfatning skal du vedlægge den faktiske passage eller udveksling og angive målgruppen, længden og de fakta, der skal bevares. Bed om beslutninger eller uafklarede spørgsmål vedrørende ét emne frem for et uafgrænset resumé af ubeslægtet materiale. En opfølgning kan bede om et kortere svar eller en klarere forklaring af én betingelse, mens de samme kildefakta bevares.
Ved redigering skal du angive læseren og tonen og identificere den betydning, der skal forblive uændret. En praktisk opgave kan bede om en klarere besked efterfulgt af en kort liste over ændringer eller kun den reviderede besked, hvis den skal bruges direkte. En klassifikationsopgave bør angive tilladte etiketter og forskellen mellem dem frem for at lade etikettens navn definere reglen.
Generering af kode og eksempler
Det dokumenterede output omfatter også kode. Angiv sproget, de krævede input og det forventede resultat, før du beder om en funktion. Ved en forklaring skal du vedlægge den eksisterende funktion og et konkret input og spørge, hvilke trin der bestemmer returværdien. Ved en rettelse skal du medtage den observerede fejl og den tilsigtede adfærd og bevare den grænseflade, der fortsat skal være kompatibel.
Et nyttigt output kan adskille den foreslåede kode, dens antagelser og eksempelinput. Applikationen eller udvikleren udfører den faktiske kompilering, kørsel eller ændring i repositoriet. Skrevet kildekode er et artefakt, der skal undersøges, og ikke en fuldført ekstern operation, blot fordi modellen returnerede den.
Familien understøtter også brug af genereret output til syntetiske eksempler og destillation. En defineret tekstanmodning kan producere variationer efter angivne regler og i et bestemt format. Bevar reglerne og etiketterne, så hvert eksempel kan undersøges; genererede eksempler fastslår ikke uafhængigt, at et træningsdatasæt er korrekt.
Samtaleroller og værktøjsbrug
Modelkortet demonstrerer en chatskabelon med særskilte system- og brugerbeskeder. Definér assistentens rolle og svarkrav i systemkonteksten, og angiv derefter spørgsmålet og kildematerialet som opgave. Bevar relevante tidligere beskeder, når du stiller en opfølgning eller vedlægger ny dokumentation, der ændrer resultatet.
Llama 3.1 dokumenterer flere formater til værktøjsbrug. Applikationen beskriver en funktion, modellen genererer det foreslåede kald og argumenterne, og applikationen udfører det og returnerer resultatet med værktøjsrollen. Næste svar kan derefter bruge de returnerede oplysninger. Hold den oprindelige operation og resultatet forbundet gennem samtalen.
Et opslag kan eksempelvis returnere den aktuelle referenceværdi, der mangler i en passage, eller et beregningsværktøj kan levere det numeriske resultat, forklaringen kræver. En assistent med værktøjer kræver, at miljøet stiller disse operationer til rådighed. Modellens tekstadfærd opretter ikke i sig selv forbindelse til en ekstern kilde eller udfører en sideeffekt.
Praktiske grænser
Producentens kontekstbetegnelse på 128k bør knyttes til den præcise 8B Instruct-udgave og den gældende konfiguration. Genereringseksemplet på 256 tokens er kun et brugsvalg; de læste kilder angiver ikke en særskilt hård maksimal svarkapacitet. 8B-størrelsen bør ikke overtage et andet medlems parameterantal eller en særskilt families navngivne ræsonnementsindstillinger.
Dette er en model kun til tekst. Visuelt input, lydforståelse og talegenerering kræver særskilt specificerede komponenter. Definér slutresultatet, før du vedlægger materialet: et kortfattet svar, en udtrukken post, en revideret passage, en forklaring eller et kodeforslag. Bevar de kildeoplysninger, der kræves for at undersøge artefaktets betydning og format.
POST /v1/chat/completionstexttext| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser meta-llama/llama-3.1-8b-instruct | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser Minimumsantal elementer: 1 | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser Eksempler: system, user, assistant, tool, function Betingelser: Disse roller er eksplicit repræsenteret i kildekodens kompatibilitetstyper; modellens præcise rollesæt er fortsat modelspecifikt. Afhænger af modellen | Standard— |
Feltmessages[].content | Typestring|content_part[]|null | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_calls | Typetool_call[] | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].tool_call_id | Typestring | KravValgfrit | Værdier og grænser Gælder når: role=tool; brug det faktisk returnerede ID | Standard— |
Feltmessages[].name | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Feltmessages[].reasoning_content | Typestring | KravValgfrit | Værdier og grænser Gælder når: Send det faktisk returnerede ræsonnement tilbage, når modellen bruger det | Standard— |
Feltmessages[].reasoning_details | Typeobject|array | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmax_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltmax_completion_tokens | Typeinteger | KravValgfrit | Værdier og grænser Minimum: 1 Afhænger af modellen | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Feltstream_options.include_usage | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttemperature | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttop_p | Typenumber | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltstop | Typestring|string[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools | Typefunction_tool[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Felttools[].type | Typestring | KravValgfrit | Værdier og grænser function Afhænger af modellen | Standard— |
Felttools[].function.name | Typestring | KravPåkrævet | Værdier og grænser Gælder når: funktionsværktøj angivet | Standard— |
Felttools[].function.description | Typestring | KravValgfrit | Værdier og grænser | Standard— |
Felttools[].function.parameters | TypeJSON_schema | KravValgfrit | Værdier og grænser | Standard— |
Felttool_choice | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltparallel_tool_calls | Typeboolean | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltresponse_format | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning_effort | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltreasoning | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltservice_tier | Typestring | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltinstructions | Typestring | KravValgfrit | Værdier og grænser Kompatibilitetsfelt | Standard— |
Feltfunctions | Typefunction[] | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltfunction_call | Typestring|object | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltprompt_cache_options | Typeobject | KravValgfrit | Værdier og grænser Afhænger af modellen | Standard— |
Feltmodalities | Typestring[] | KravValgfrit | Værdier og grænser text | Standard— |
Feltprovider | Typeobject | KravValgfrit | Værdier og grænser Betingelser: provider.options afvises på denne Ultra-tekstrute | Standard— |
Feltcache_control.ttl | Typestring | KravValgfrit | Værdier og grænser Betingelser: 1h afvises på de faktiske placeringer for promptcaching | Standard— |
Tekst · UTF8-tekst
messages[].content
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages |
Parametermaterial_types | Kontrakttext |
Parametermessages | Kontraktbeskedarray med strukturen role/content |
Parameterfile_material | Kontraktfaktisk UTF-8-dokument indsat som bogstavelig tekst; intet fil-ID udledes |
Parameteroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametercontrol_scope | Kontraktmodelspecifikt; brugerens funktionsværktøjer er forskellige fra hostede værktøjer |
Parameteroutput_modalities | Kontrakttext |
Parameterhosted_operations | Kontraktfalse |
Parametermultimodal_input_binding | Kontraktnull |
Livscyklus: synchronous_or_streamed
Send det præcise model-ID med messages.
Kontekstlængde er ikke et outputloft.
En tekstfil kan levere bogstavelig tekst; billed-, lyd- og filobjektinput kræver en præcis binding.
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
Knyt hver omkostning til de viste betingelser. Brug én takst for hver gruppe af alternative konfigurationer.
| Konfiguration | Takstplan | Konteksttokens, mere end | Konteksttokens, op til og med | Beløb |
|---|---|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Konteksttokens, mere end— | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00044 / 1K tokens Output · Outputtokens $0.00044 / 1K tokens Input · Cachelæsning $0.00044 / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
| KonfigurationAnmodningslængde · niveau 1 | Takstplan— | Konteksttokens, mere end0 | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00044 / 1K tokens Output · Outputtokens $0.00044 / 1K tokens Input · Cachelæsning $0.00044 / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar hvert valg og dets indhold, værktøjskald og ræsonnement. Saml i SSE deltaer efter valg-/værktøjsindeks, og bevar den endelige afslutningsårsag og forbrugsoplysningerne.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltchoices[].index | Typeinteger |
Feltchoices[].message.content | Typestring|null |
Feltchoices[].message.tool_calls | Typetool_call[] |
Feltchoices[].message.reasoning_content | Typestring |
Feltchoices[].message.reasoning_details | Typeobject|array |
Feltchoices[].finish_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Brug metodestierne vist ovenfor.
meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct er Metas mindre instruktionsmodel til tekst, flersproget dialog, resuméer og kildebetingede svar. Den har 8 milliarder parametre, en producentangivet kontekst på 128k, grouped-query attention og dokumenterede formater til værktøjsbrug og returnerer tekst eller kode.
Denne beskrivelse dækker modellens funktioner. Tilgængelige input, output og indstillinger i Ailoot står nedenfor for den valgte metode.
Llama 3.1 8B Instruct er Metas tekstmodel med otte milliarder parametre til flersproget dialog og instruktionsbaserede assistenter. Den modtager skriftlig samtale og kildemateriale og producerer tekst eller kode. Den er Instruct-udgaven i 8B-størrelsen, adskilt fra sin fortrænede basismodel og familiens 70B- og 405B-modeller.
Arkitektur, kontekst og sprog
Modellen bruger en autoregressiv Transformer-arkitektur med grouped-query attention. Den instruktionsfinjusterede familie bruger superviseret finjustering og forstærkningslæring med menneskelig feedback til at tilpasse sine samtalesvar. Producenten dokumenterer en kontekst på 128k for denne tekstudgave; det er ikke visions- eller langkontekstspecifikationen for en senere Llama 4-model.
De otte officielt understøttede sprog er engelsk, tysk, fransk, italiensk, portugisisk, hindi, spansk og thai. Fortræningsdataene spænder over en bredere samling, hvilket adskiller sig fra de sprog, kortet udtrykkeligt understøtter. Angiv slutsproget og de navne, variabelidentifikatorer eller begreber, der skal forblive uændrede i et flersproget resultat.
Familien er fortrænet på cirka femten billioner tokens med en dataskæringsdato i december 2023. Finjusteringen omfatter instruktionsmateriale og mere end femogtyve millioner syntetiske eksempler. Dette beskriver modellens træning, ikke adgang til en privat vidensbase eller aktuelle oplysninger, når et nyt spørgsmål kommer.
Definerede tekstoperationer
En supportorienteret anmodning kan vedlægge brugerens besked og relevante referencepassager og derefter bede om svaret og den understøttende betingelse. En kompakt post kan adskille problemet, allerede angivne oplysninger og næste nødvendige trin. Definér feltnavne og håndtering af manglende værdier, når en applikation skal behandle resultatet.
Ved sammenfatning skal du vedlægge den faktiske passage eller udveksling og angive målgruppen, længden og de fakta, der skal bevares. Bed om beslutninger eller uafklarede spørgsmål vedrørende ét emne frem for et uafgrænset resumé af ubeslægtet materiale. En opfølgning kan bede om et kortere svar eller en klarere forklaring af én betingelse, mens de samme kildefakta bevares.
Ved redigering skal du angive læseren og tonen og identificere den betydning, der skal forblive uændret. En praktisk opgave kan bede om en klarere besked efterfulgt af en kort liste over ændringer eller kun den reviderede besked, hvis den skal bruges direkte. En klassifikationsopgave bør angive tilladte etiketter og forskellen mellem dem frem for at lade etikettens navn definere reglen.
Generering af kode og eksempler
Det dokumenterede output omfatter også kode. Angiv sproget, de krævede input og det forventede resultat, før du beder om en funktion. Ved en forklaring skal du vedlægge den eksisterende funktion og et konkret input og spørge, hvilke trin der bestemmer returværdien. Ved en rettelse skal du medtage den observerede fejl og den tilsigtede adfærd og bevare den grænseflade, der fortsat skal være kompatibel.
Et nyttigt output kan adskille den foreslåede kode, dens antagelser og eksempelinput. Applikationen eller udvikleren udfører den faktiske kompilering, kørsel eller ændring i repositoriet. Skrevet kildekode er et artefakt, der skal undersøges, og ikke en fuldført ekstern operation, blot fordi modellen returnerede den.
Familien understøtter også brug af genereret output til syntetiske eksempler og destillation. En defineret tekstanmodning kan producere variationer efter angivne regler og i et bestemt format. Bevar reglerne og etiketterne, så hvert eksempel kan undersøges; genererede eksempler fastslår ikke uafhængigt, at et træningsdatasæt er korrekt.
Samtaleroller og værktøjsbrug
Modelkortet demonstrerer en chatskabelon med særskilte system- og brugerbeskeder. Definér assistentens rolle og svarkrav i systemkonteksten, og angiv derefter spørgsmålet og kildematerialet som opgave. Bevar relevante tidligere beskeder, når du stiller en opfølgning eller vedlægger ny dokumentation, der ændrer resultatet.
Llama 3.1 dokumenterer flere formater til værktøjsbrug. Applikationen beskriver en funktion, modellen genererer det foreslåede kald og argumenterne, og applikationen udfører det og returnerer resultatet med værktøjsrollen. Næste svar kan derefter bruge de returnerede oplysninger. Hold den oprindelige operation og resultatet forbundet gennem samtalen.
Et opslag kan eksempelvis returnere den aktuelle referenceværdi, der mangler i en passage, eller et beregningsværktøj kan levere det numeriske resultat, forklaringen kræver. En assistent med værktøjer kræver, at miljøet stiller disse operationer til rådighed. Modellens tekstadfærd opretter ikke i sig selv forbindelse til en ekstern kilde eller udfører en sideeffekt.
Praktiske grænser
Producentens kontekstbetegnelse på 128k bør knyttes til den præcise 8B Instruct-udgave og den gældende konfiguration. Genereringseksemplet på 256 tokens er kun et brugsvalg; de læste kilder angiver ikke en særskilt hård maksimal svarkapacitet. 8B-størrelsen bør ikke overtage et andet medlems parameterantal eller en særskilt families navngivne ræsonnementsindstillinger.
Dette er en model kun til tekst. Visuelt input, lydforståelse og talegenerering kræver særskilt specificerede komponenter. Definér slutresultatet, før du vedlægger materialet: et kortfattet svar, en udtrukken post, en revideret passage, en forklaring eller et kodeforslag. Bevar de kildeoplysninger, der kræves for at undersøge artefaktets betydning og format.
POST /v1/messagestextjson, sse| Felt | Type | Krav | Værdier og grænser | Standard |
|---|---|---|---|---|
Feltmodel | Typestring | KravPåkrævet | Værdier og grænser meta-llama/llama-3.1-8b-instruct | Standard— |
Feltmessages | Typemessage[] | KravPåkrævet | Værdier og grænser | Standard— |
Feltmessages[].role | Typestring | KravPåkrævet | Værdier og grænser user, assistant | Standard— |
Feltmessages[].content | Typestring | KravPåkrævet | Værdier og grænser | Standard— |
Feltmax_tokens | Typeinteger | KravPåkrævet | Værdier og grænser | Standard— |
Feltstream | Typeboolean | KravValgfrit | Værdier og grænser | Standardfalse |
Tekst · UTF-8-tekst
messages[].content som streng
| Parameter | Kontrakt |
|---|---|
Parametercontent_type | Kontraktapplication/json |
Parameterrequired | Kontraktmodel, messages, max_tokens |
Parameteroptional_controls | Kontraktstream |
Parametermaterial_types | Kontrakttext |
Parametertext_file_material | KontraktLæs det faktiske UTF-8-dokument, og indsæt teksten i det angivne input eller beskedens indholdsstreng. |
Livscyklus: synchronous_or_streamed
Tarifoplysninger tilføjer ikke anmodningsmuligheder. Understøttede parametre står ved den valgte metode.
Knyt hver omkostning til de viste betingelser. Brug én takst for hver gruppe af alternative konfigurationer.
| Konfiguration | Takstplan | Konteksttokens, mere end | Konteksttokens, op til og med | Beløb |
|---|---|---|---|---|
| KonfigurationGrundtakster for tokens | TakstplanGrundtakst | Konteksttokens, mere end— | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00044 / 1K tokens Output · Outputtokens $0.00044 / 1K tokens Input · Cachelæsning $0.00044 / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
| KonfigurationAnmodningslængde · niveau 1 | Takstplan— | Konteksttokens, mere end0 | Konteksttokens, op til og medIngen øvre grænse | Beløb Input · Inputtokens $0.00044 / 1K tokens Output · Outputtokens $0.00044 / 1K tokens Input · Cachelæsning $0.00044 / 1K tokens Input · Cacheskrivning — / 1K tokens Input · Cacheskrivning, 1 time — / 1K tokens |
Ailoot reserverer et estimeret beløb før en anmodning. Efter resultatet afregnes det endelige beløb ud fra det målte forbrug. Ved streaming bruges den endelige forbrugsregistrering til afregningen. Sådan fungerer reservation og afregning →
{\n "model": "meta-llama/llama-3.1-8b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON eller SSE
Gem hvert fuldstændigt returneret svar, hver fil og hver indholdsdel.
Bevar alle indholdsblokke, ræsonnementssignaturer og faktiske værktøjsbrugs-ID’er. Saml alle SSE-blokdeltaer; den første tekstblok er ikke hele outputtet.
Bevar anmodnings-/svar-ID’er og headere. Der leveres ingen generel URL til at hente tekstjob.
| Felt | Type |
|---|---|
Feltid | Typestring |
Feltmodel | Typestring |
Feltcontent[] | Typetext|thinking|tool_use|other content block |
Feltstop_reason | Typestring|null |
Feltusage | Typeobject |
| Svar | Betingelse | Næste trin |
|---|---|---|
Svar400 · invalid_request_error | BetingelseUgyldige obligatoriske felter, materialerepræsentation eller parameterværdi | Næste trinRet de angivne felter før en ny oprettelsesanmodning. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Brug metodestierne vist ovenfor.
Teknisk eksempel på engelsk
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.