Llama 3.1 8B Instruct – aštuonių milijardų parametrų Meta teksto modelis daugiakalbiam dialogui ir nurodymais grindžiamiems asistentams. Jis priima rašytinį pokalbį ir šaltinių medžiagą bei generuoja tekstą arba kodą. Tai 8B dydžio Instruct leidimas, atskiras nuo iš anksto mokyto pagrindo ir šeimos 70B bei 405B modelių.
Architektūra, kontekstas ir kalbos
Modelis naudoja autoregresinę Transformer architektūrą su sugrupuotų užklausų dėmesio mechanizmu. Pagal nurodymus pritaikyta šeima naudoja prižiūrimąjį tikslinimą ir mokymąsi su pastiprinimu pagal žmonių grįžtamąjį ryšį pokalbio atsakymams suderinti. Gamintojas dokumentuoja 128k kontekstą šiam teksto leidimui; tai nėra vėlesnio Llama 4 modelio regos ar ilgo konteksto specifikacija.
Aštuonios oficialiai palaikomos kalbos yra anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų ir tajų. Išankstinio mokymo duomenys apima platesnį rinkinį, kuris skiriasi nuo kortelėje aiškiai palaikomų kalbų. Nurodykite galutinę kalbą ir vardus, kintamųjų identifikatorius ar terminus, kurie daugiakalbiame rezultate turėtų likti nepakitę.
Šeima iš anksto mokyta su maždaug penkiolika trilijonų žetonų, o duomenų riba yra 2023 m. gruodis. Tikslinimas apima nurodymų medžiagą ir daugiau nei dvidešimt penkis milijonus sintetinių pavyzdžių. Tai aprašo modelio mokymą, o ne prieigą prie privačios žinių bazės ar gyvos informacijos gavus naują klausimą.
Apibrėžtos tekstinės operacijos
Pagalbai skirta užklausa gali pateikti naudotojo žinutę ir susijusias šaltinių ištraukas, tada paprašyti atsakymo ir jį pagrindžiančios sąlygos. Glaustas įrašas gali atskirti problemą, jau pateiktą informaciją ir kitą reikalingą žingsnį. Apibrėžkite laukų pavadinimus ir trūkstamų reikšmių tvarkymą, kai programa turi apdoroti tą rezultatą.
Apibendrinimui pateikite tikrąją ištrauką ar apsikeitimą žinutėmis ir nurodykite auditoriją, ilgį bei išsaugotinus faktus. Prašykite vienai temai svarbių sprendimų ar neišspręstų klausimų, užuot nekryptingai apibendrinę nesusijusią medžiagą. Tęsinyje galima paprašyti trumpesnio atsakymo arba aiškesnio vienos sąlygos paaiškinimo, išsaugant tuos pačius šaltinio faktus.
Redagavimui nurodykite skaitytoją ir toną bei įvardykite prasmę, kuri turi likti nepakitusi. Praktinė užduotis gali prašyti aiškesnės žinutės su trumpu pakeitimų sąrašu arba vien pataisytos žinutės, jeigu ji bus naudojama tiesiogiai. Klasifikavimo užduotis turėtų pateikti leidžiamas žymas ir jų skirtumą, užuot pasikliovus žymos pavadinimu taisyklei apibrėžti.
Kodo ir pavyzdžių generavimas
Dokumentuota išvestis taip pat apima kodą. Prieš prašydami funkcijos pateikite kalbą, reikiamas įvestis ir numatomą rezultatą. Paaiškinimui pateikite esamą funkciją bei konkrečią įvestį ir paklauskite, kurie žingsniai lemia jos grąžinamą reikšmę. Pataisymui įtraukite pastebėtą gedimą ir numatytą veikimą, išlaikydami sąsają, kuri turi likti suderinama.
Naudinga išvestis gali atskirti siūlomą kodą, jo prielaidas ir pavyzdines įvestis. Faktinį kompiliavimą, vykdymą ar saugyklos pakeitimą atlieka programa arba kūrėjas. Parašytas pirminis kodas yra peržiūrėtinas artefaktas, o ne užbaigta išorinė operacija vien todėl, kad modelis jį grąžino.
Šeima taip pat palaiko sugeneruotos išvesties naudojimą sintetiniams pavyzdžiams ir distiliavimui. Apibrėžta tekstinė užklausa gali generuoti variantus pagal pateiktas taisykles ir nurodytu formatu. Išsaugokite taisykles ir žymas, kad būtų galima patikrinti kiekvieną pavyzdį; sugeneruoti pavyzdžiai savarankiškai nepatvirtina mokymo duomenų rinkinio teisingumo.
Pokalbio vaidmenys ir įrankių naudojimas
Modelio kortelė demonstruoja pokalbio šabloną su atskiromis sisteminėmis ir naudotojo žinutėmis. Sisteminiame kontekste apibrėžkite asistento vaidmenį ir atsakymo reikalavimus, tada kaip užduotį pateikite klausimą bei šaltinių medžiagą. Išsaugokite susijusias ankstesnes žinutes, kai prašote tęsinio ar pateikiate naujų įrodymų, keičiančių rezultatą.
Llama 3.1 dokumentuoja kelis įrankių naudojimo formatus. Programa aprašo funkciją, modelis generuoja siūlomą kvietimą ir argumentus, programa jį įvykdo bei grąžina rezultatą su įrankio vaidmeniu. Kitas atsakymas gali naudoti grąžintą informaciją. Pokalbyje išlaikykite ryšį tarp pradinės operacijos ir rezultato.
Pavyzdžiui, paieška gali grąžinti dabartinę etaloninę reikšmę, kurios trūksta ištraukoje, arba skaičiavimo įrankis gali pateikti paaiškinimui reikalingą skaitinį rezultatą. Asistentui su įrankiais reikia, kad šias operacijas suteiktų aplinka. Modelio tekstinė elgsena pati nesukuria ryšio su išoriniu šaltiniu ir neatlieka išorinių veiksmų.
Praktinės ribos
Gamintojo 128k konteksto žymą reikėtų išlaikyti su tiksliu 8B Instruct leidimu ir taikoma konfigūracija. 256 žetonų generavimo pavyzdys yra tik naudojimo pasirinkimas; perskaityti šaltiniai nenurodo atskiros griežtos didžiausios atsakymo talpos. 8B dydžiui neturėtų būti priskirtas kito šeimos nario parametrų skaičius ar atskiros šeimos vardiniai samprotavimo valdikliai.
Tai tik tekstinis modelis. Vaizdinė įvestis, garso supratimas ir sakytinės kalbos generavimas reikalauja atskirai nurodytų komponentų. Prieš pateikdami medžiagą apibrėžkite galutinį artefaktą: glaustas atsakymas, išgautas įrašas, pataisyta ištrauka, paaiškinimas ar kodo pasiūlymas. Išsaugokite šaltinio informaciją, reikalingą to artefakto prasmei ir formatui patikrinti.
", "aboutText": "Llama 3.1 8B Instruct – aštuonių milijardų parametrų Meta teksto modelis daugiakalbiam dialogui ir nurodymais grindžiamiems asistentams. Jis priima rašytinį pokalbį ir šaltinių medžiagą bei generuoja tekstą arba kodą. Tai 8B dydžio Instruct leidimas, atskiras nuo iš anksto mokyto pagrindo ir šeimos 70B bei 405B modelių.\n\nArchitektūra, kontekstas ir kalbos\n\nModelis naudoja autoregresinę Transformer architektūrą su sugrupuotų užklausų dėmesio mechanizmu. Pagal nurodymus pritaikyta šeima naudoja prižiūrimąjį tikslinimą ir mokymąsi su pastiprinimu pagal žmonių grįžtamąjį ryšį pokalbio atsakymams suderinti. Gamintojas dokumentuoja 128k kontekstą šiam teksto leidimui; tai nėra vėlesnio Llama 4 modelio regos ar ilgo konteksto specifikacija.\n\nAštuonios oficialiai palaikomos kalbos yra anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų ir tajų. Išankstinio mokymo duomenys apima platesnį rinkinį, kuris skiriasi nuo kortelėje aiškiai palaikomų kalbų. Nurodykite galutinę kalbą ir vardus, kintamųjų identifikatorius ar terminus, kurie daugiakalbiame rezultate turėtų likti nepakitę.\n\nŠeima iš anksto mokyta su maždaug penkiolika trilijonų žetonų, o duomenų riba yra 2023 m. gruodis. Tikslinimas apima nurodymų medžiagą ir daugiau nei dvidešimt penkis milijonus sintetinių pavyzdžių. Tai aprašo modelio mokymą, o ne prieigą prie privačios žinių bazės ar gyvos informacijos gavus naują klausimą.\n\nApibrėžtos tekstinės operacijos\n\nPagalbai skirta užklausa gali pateikti naudotojo žinutę ir susijusias šaltinių ištraukas, tada paprašyti atsakymo ir jį pagrindžiančios sąlygos. Glaustas įrašas gali atskirti problemą, jau pateiktą informaciją ir kitą reikalingą žingsnį. Apibrėžkite laukų pavadinimus ir trūkstamų reikšmių tvarkymą, kai programa turi apdoroti tą rezultatą.\n\nApibendrinimui pateikite tikrąją ištrauką ar apsikeitimą žinutėmis ir nurodykite auditoriją, ilgį bei išsaugotinus faktus. Prašykite vienai temai svarbių sprendimų ar neišspręstų klausimų, užuot nekryptingai apibendrinę nesusijusią medžiagą. Tęsinyje galima paprašyti trumpesnio atsakymo arba aiškesnio vienos sąlygos paaiškinimo, išsaugant tuos pačius šaltinio faktus.\n\nRedagavimui nurodykite skaitytoją ir toną bei įvardykite prasmę, kuri turi likti nepakitusi. Praktinė užduotis gali prašyti aiškesnės žinutės su trumpu pakeitimų sąrašu arba vien pataisytos žinutės, jeigu ji bus naudojama tiesiogiai. Klasifikavimo užduotis turėtų pateikti leidžiamas žymas ir jų skirtumą, užuot pasikliovus žymos pavadinimu taisyklei apibrėžti.\n\nKodo ir pavyzdžių generavimas\n\nDokumentuota išvestis taip pat apima kodą. Prieš prašydami funkcijos pateikite kalbą, reikiamas įvestis ir numatomą rezultatą. Paaiškinimui pateikite esamą funkciją bei konkrečią įvestį ir paklauskite, kurie žingsniai lemia jos grąžinamą reikšmę. Pataisymui įtraukite pastebėtą gedimą ir numatytą veikimą, išlaikydami sąsają, kuri turi likti suderinama.\n\nNaudinga išvestis gali atskirti siūlomą kodą, jo prielaidas ir pavyzdines įvestis. Faktinį kompiliavimą, vykdymą ar saugyklos pakeitimą atlieka programa arba kūrėjas. Parašytas pirminis kodas yra peržiūrėtinas artefaktas, o ne užbaigta išorinė operacija vien todėl, kad modelis jį grąžino.\n\nŠeima taip pat palaiko sugeneruotos išvesties naudojimą sintetiniams pavyzdžiams ir distiliavimui. Apibrėžta tekstinė užklausa gali generuoti variantus pagal pateiktas taisykles ir nurodytu formatu. Išsaugokite taisykles ir žymas, kad būtų galima patikrinti kiekvieną pavyzdį; sugeneruoti pavyzdžiai savarankiškai nepatvirtina mokymo duomenų rinkinio teisingumo.\n\nPokalbio vaidmenys ir įrankių naudojimas\n\nModelio kortelė demonstruoja pokalbio šabloną su atskiromis sisteminėmis ir naudotojo žinutėmis. Sisteminiame kontekste apibrėžkite asistento vaidmenį ir atsakymo reikalavimus, tada kaip užduotį pateikite klausimą bei šaltinių medžiagą. Išsaugokite susijusias ankstesnes žinutes, kai prašote tęsinio ar pateikiate naujų įrodymų, keičiančių rezultatą.\n\nLlama 3.1 dokumentuoja kelis įrankių naudojimo formatus. Programa aprašo funkciją, modelis generuoja siūlomą kvietimą ir argumentus, programa jį įvykdo bei grąžina rezultatą su įrankio vaidmeniu. Kitas atsakymas gali naudoti grąžintą informaciją. Pokalbyje išlaikykite ryšį tarp pradinės operacijos ir rezultato.\n\nPavyzdžiui, paieška gali grąžinti dabartinę etaloninę reikšmę, kurios trūksta ištraukoje, arba skaičiavimo įrankis gali pateikti paaiškinimui reikalingą skaitinį rezultatą. Asistentui su įrankiais reikia, kad šias operacijas suteiktų aplinka. Modelio tekstinė elgsena pati nesukuria ryšio su išoriniu šaltiniu ir neatlieka išorinių veiksmų.\n\nPraktinės ribos\n\nGamintojo 128k konteksto žymą reikėtų išlaikyti su tiksliu 8B Instruct leidimu ir taikoma konfigūracija. 256 žetonų generavimo pavyzdys yra tik naudojimo pasirinkimas; perskaityti šaltiniai nenurodo atskiros griežtos didžiausios atsakymo talpos. 8B dydžiui neturėtų būti priskirtas kito šeimos nario parametrų skaičius ar atskiros šeimos vardiniai samprotavimo valdikliai.\n\nTai tik tekstinis modelis. Vaizdinė įvestis, garso supratimas ir sakytinės kalbos generavimas reikalauja atskirai nurodytų komponentų. Prieš pateikdami medžiagą apibrėžkite galutinį artefaktą: glaustas atsakymas, išgautas įrašas, pataisyta ištrauka, paaiškinimas ar kodo pasiūlymas. Išsaugokite šaltinio informaciją, reikalingą to artefakto prasmei ir formatui patikrinti.", "editorialOverlay": { "copy_fields": { "practical_html": "Techninis pavyzdys anglų kalba
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct – mažesnis Meta teksto nurodymų modelis daugiakalbiam dialogui, santraukoms ir šaltiniu pagrįstiems atsakymams. Jis turi 8B parametrų, gamintojo nurodytą 128k kontekstą, sugrupuotų užklausų dėmesio mechanizmą ir dokumentuotus įrankių naudojimo formatus, grąžina tekstą arba kodą.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Llama 3.1 8B Instruct – aštuonių milijardų parametrų Meta teksto modelis daugiakalbiam dialogui ir nurodymais grindžiamiems asistentams. Jis priima rašytinį pokalbį ir šaltinių medžiagą bei generuoja tekstą arba kodą. Tai 8B dydžio Instruct leidimas, atskiras nuo iš anksto mokyto pagrindo ir šeimos 70B bei 405B modelių.
Architektūra, kontekstas ir kalbos
Modelis naudoja autoregresinę Transformer architektūrą su sugrupuotų užklausų dėmesio mechanizmu. Pagal nurodymus pritaikyta šeima naudoja prižiūrimąjį tikslinimą ir mokymąsi su pastiprinimu pagal žmonių grįžtamąjį ryšį pokalbio atsakymams suderinti. Gamintojas dokumentuoja 128k kontekstą šiam teksto leidimui; tai nėra vėlesnio Llama 4 modelio regos ar ilgo konteksto specifikacija.
Aštuonios oficialiai palaikomos kalbos yra anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų ir tajų. Išankstinio mokymo duomenys apima platesnį rinkinį, kuris skiriasi nuo kortelėje aiškiai palaikomų kalbų. Nurodykite galutinę kalbą ir vardus, kintamųjų identifikatorius ar terminus, kurie daugiakalbiame rezultate turėtų likti nepakitę.
Šeima iš anksto mokyta su maždaug penkiolika trilijonų žetonų, o duomenų riba yra 2023 m. gruodis. Tikslinimas apima nurodymų medžiagą ir daugiau nei dvidešimt penkis milijonus sintetinių pavyzdžių. Tai aprašo modelio mokymą, o ne prieigą prie privačios žinių bazės ar gyvos informacijos gavus naują klausimą.
Apibrėžtos tekstinės operacijos
Pagalbai skirta užklausa gali pateikti naudotojo žinutę ir susijusias šaltinių ištraukas, tada paprašyti atsakymo ir jį pagrindžiančios sąlygos. Glaustas įrašas gali atskirti problemą, jau pateiktą informaciją ir kitą reikalingą žingsnį. Apibrėžkite laukų pavadinimus ir trūkstamų reikšmių tvarkymą, kai programa turi apdoroti tą rezultatą.
Apibendrinimui pateikite tikrąją ištrauką ar apsikeitimą žinutėmis ir nurodykite auditoriją, ilgį bei išsaugotinus faktus. Prašykite vienai temai svarbių sprendimų ar neišspręstų klausimų, užuot nekryptingai apibendrinę nesusijusią medžiagą. Tęsinyje galima paprašyti trumpesnio atsakymo arba aiškesnio vienos sąlygos paaiškinimo, išsaugant tuos pačius šaltinio faktus.
Redagavimui nurodykite skaitytoją ir toną bei įvardykite prasmę, kuri turi likti nepakitusi. Praktinė užduotis gali prašyti aiškesnės žinutės su trumpu pakeitimų sąrašu arba vien pataisytos žinutės, jeigu ji bus naudojama tiesiogiai. Klasifikavimo užduotis turėtų pateikti leidžiamas žymas ir jų skirtumą, užuot pasikliovus žymos pavadinimu taisyklei apibrėžti.
Kodo ir pavyzdžių generavimas
Dokumentuota išvestis taip pat apima kodą. Prieš prašydami funkcijos pateikite kalbą, reikiamas įvestis ir numatomą rezultatą. Paaiškinimui pateikite esamą funkciją bei konkrečią įvestį ir paklauskite, kurie žingsniai lemia jos grąžinamą reikšmę. Pataisymui įtraukite pastebėtą gedimą ir numatytą veikimą, išlaikydami sąsają, kuri turi likti suderinama.
Naudinga išvestis gali atskirti siūlomą kodą, jo prielaidas ir pavyzdines įvestis. Faktinį kompiliavimą, vykdymą ar saugyklos pakeitimą atlieka programa arba kūrėjas. Parašytas pirminis kodas yra peržiūrėtinas artefaktas, o ne užbaigta išorinė operacija vien todėl, kad modelis jį grąžino.
Šeima taip pat palaiko sugeneruotos išvesties naudojimą sintetiniams pavyzdžiams ir distiliavimui. Apibrėžta tekstinė užklausa gali generuoti variantus pagal pateiktas taisykles ir nurodytu formatu. Išsaugokite taisykles ir žymas, kad būtų galima patikrinti kiekvieną pavyzdį; sugeneruoti pavyzdžiai savarankiškai nepatvirtina mokymo duomenų rinkinio teisingumo.
Pokalbio vaidmenys ir įrankių naudojimas
Modelio kortelė demonstruoja pokalbio šabloną su atskiromis sisteminėmis ir naudotojo žinutėmis. Sisteminiame kontekste apibrėžkite asistento vaidmenį ir atsakymo reikalavimus, tada kaip užduotį pateikite klausimą bei šaltinių medžiagą. Išsaugokite susijusias ankstesnes žinutes, kai prašote tęsinio ar pateikiate naujų įrodymų, keičiančių rezultatą.
Llama 3.1 dokumentuoja kelis įrankių naudojimo formatus. Programa aprašo funkciją, modelis generuoja siūlomą kvietimą ir argumentus, programa jį įvykdo bei grąžina rezultatą su įrankio vaidmeniu. Kitas atsakymas gali naudoti grąžintą informaciją. Pokalbyje išlaikykite ryšį tarp pradinės operacijos ir rezultato.
Pavyzdžiui, paieška gali grąžinti dabartinę etaloninę reikšmę, kurios trūksta ištraukoje, arba skaičiavimo įrankis gali pateikti paaiškinimui reikalingą skaitinį rezultatą. Asistentui su įrankiais reikia, kad šias operacijas suteiktų aplinka. Modelio tekstinė elgsena pati nesukuria ryšio su išoriniu šaltiniu ir neatlieka išorinių veiksmų.
Praktinės ribos
Gamintojo 128k konteksto žymą reikėtų išlaikyti su tiksliu 8B Instruct leidimu ir taikoma konfigūracija. 256 žetonų generavimo pavyzdys yra tik naudojimo pasirinkimas; perskaityti šaltiniai nenurodo atskiros griežtos didžiausios atsakymo talpos. 8B dydžiui neturėtų būti priskirtas kito šeimos nario parametrų skaičius ar atskiros šeimos vardiniai samprotavimo valdikliai.
Tai tik tekstinis modelis. Vaizdinė įvestis, garso supratimas ir sakytinės kalbos generavimas reikalauja atskirai nurodytų komponentų. Prieš pateikdami medžiagą apibrėžkite galutinį artefaktą: glaustas atsakymas, išgautas įrašas, pataisyta ištrauka, paaiškinimas ar kodo pasiūlymas. Išsaugokite šaltinio informaciją, reikalingą to artefakto prasmei ir formatui patikrinti.
POST /v1/chat/completionstexttext| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos meta-llama/llama-3.1-8b-instruct | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Pavyzdžiai: system, user, assistant, tool, function Sąlygos: Šie vaidmenys aiškiai išreikšti šaltinio kodo suderinamumo tipuose; tikslus vaidmenų rinkinys priklauso nuo konkretaus modelio. Priklauso nuo modelio | Numatyta— |
Laukasmessages[].content | Tipasstring|content_part[]|null | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_calls | Tipastool_call[] | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_call_id | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: role=tool; naudokite tikrąjį grąžintą ID | Numatyta— |
Laukasmessages[].name | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].reasoning_content | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: Grąžinkite tikrąjį gautą samprotavimą ten, kur šis modelis jį naudoja | Numatyta— |
Laukasmessages[].reasoning_details | Tipasobject|array | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasmax_completion_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Laukasstream_options.include_usage | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastemperature | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastop_p | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasstop | Tipasstring|string[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools | Tipasfunction_tool[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools[].type | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos function Priklauso nuo modelio | Numatyta— |
Laukastools[].function.name | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Taikoma, kai: pateiktas funkcijos tipo įrankis | Numatyta— |
Laukastools[].function.description | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastools[].function.parameters | TipasJSON_schema | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastool_choice | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasparallel_tool_calls | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasresponse_format | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning_effort | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasservice_tier | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasinstructions | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Suderinamumo laukas | Numatyta— |
Laukasfunctions | Tipasfunction[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasfunction_call | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasprompt_cache_options | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmodalities | Tipasstring[] | ReikalavimasNeprivaloma | Reikšmės ir ribos text | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options šiame Ultra teksto maršrute atmetamas | Numatyta— |
Laukascache_control.ttl | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: 1h atmetamas tikrosiose užklausų podėlio vietose | Numatyta— |
Tekstas · UTF8 tekstas
messages[].content
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages |
Parametrasmaterial_types | Specifikacijatext |
Parametrasmessages | Specifikacijapranešimų masyvas su role/content struktūra |
Parametrasfile_material | Specifikacijatikrasis UTF-8 dokumentas įterptas kaip pažodinis tekstas; failo ID nenumanomas |
Parametrasoptional_controls | Specifikacijastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrascontrol_scope | Specifikacijapriklauso nuo modelio; naudotojo funkcijų įrankiai skiriasi nuo priglobtų įrankių |
Parametrasoutput_modalities | Specifikacijatext |
Parametrashosted_operations | Specifikacijafalse |
Parametrasmultimodal_input_binding | Specifikacijanull |
Gyvavimo ciklas: synchronous_or_streamed
Siųskite tikslų modelio ID kartu su messages.
Konteksto ilgis nėra išvesties limitas.
Teksto failas gali pateikti pažodinį tekstą; vaizdų / garso / failų objektų įvestims reikia tikslaus susiejimo.
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Konteksto tokenų daugiau nei | Konteksto tokenų iki imtinai | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Konteksto tokenų daugiau nei— | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.00044 / 1K tokenų Išvestis · Išvesties tokenai $0.00044 / 1K tokenų Įvestis · Talpyklos skaitymas $0.00044 / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUžklausos ilgio pakopa 1 | Įkainių lentelė— | Konteksto tokenų daugiau nei0 | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.00044 / 1K tokenų Išvestis · Išvesties tokenai $0.00044 / 1K tokenų Įvestis · Talpyklos skaitymas $0.00044 / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną variantą ir jo turinį / įrankių iškvietimus / samprotavimą. SSE prieaugius surinkite pagal varianto / įrankio indeksą; išsaugokite galutinę užbaigimo priežastį ir naudojimo duomenis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukaschoices[].index | Tipasinteger |
Laukaschoices[].message.content | Tipasstring|null |
Laukaschoices[].message.tool_calls | Tipastool_call[] |
Laukaschoices[].message.reasoning_content | Tipasstring |
Laukaschoices[].message.reasoning_details | Tipasobject|array |
Laukaschoices[].finish_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Naudokite aukščiau nurodytus metodų kelius.
meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct – mažesnis Meta teksto nurodymų modelis daugiakalbiam dialogui, santraukoms ir šaltiniu pagrįstiems atsakymams. Jis turi 8B parametrų, gamintojo nurodytą 128k kontekstą, sugrupuotų užklausų dėmesio mechanizmą ir dokumentuotus įrankių naudojimo formatus, grąžina tekstą arba kodą.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Llama 3.1 8B Instruct – aštuonių milijardų parametrų Meta teksto modelis daugiakalbiam dialogui ir nurodymais grindžiamiems asistentams. Jis priima rašytinį pokalbį ir šaltinių medžiagą bei generuoja tekstą arba kodą. Tai 8B dydžio Instruct leidimas, atskiras nuo iš anksto mokyto pagrindo ir šeimos 70B bei 405B modelių.
Architektūra, kontekstas ir kalbos
Modelis naudoja autoregresinę Transformer architektūrą su sugrupuotų užklausų dėmesio mechanizmu. Pagal nurodymus pritaikyta šeima naudoja prižiūrimąjį tikslinimą ir mokymąsi su pastiprinimu pagal žmonių grįžtamąjį ryšį pokalbio atsakymams suderinti. Gamintojas dokumentuoja 128k kontekstą šiam teksto leidimui; tai nėra vėlesnio Llama 4 modelio regos ar ilgo konteksto specifikacija.
Aštuonios oficialiai palaikomos kalbos yra anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų ir tajų. Išankstinio mokymo duomenys apima platesnį rinkinį, kuris skiriasi nuo kortelėje aiškiai palaikomų kalbų. Nurodykite galutinę kalbą ir vardus, kintamųjų identifikatorius ar terminus, kurie daugiakalbiame rezultate turėtų likti nepakitę.
Šeima iš anksto mokyta su maždaug penkiolika trilijonų žetonų, o duomenų riba yra 2023 m. gruodis. Tikslinimas apima nurodymų medžiagą ir daugiau nei dvidešimt penkis milijonus sintetinių pavyzdžių. Tai aprašo modelio mokymą, o ne prieigą prie privačios žinių bazės ar gyvos informacijos gavus naują klausimą.
Apibrėžtos tekstinės operacijos
Pagalbai skirta užklausa gali pateikti naudotojo žinutę ir susijusias šaltinių ištraukas, tada paprašyti atsakymo ir jį pagrindžiančios sąlygos. Glaustas įrašas gali atskirti problemą, jau pateiktą informaciją ir kitą reikalingą žingsnį. Apibrėžkite laukų pavadinimus ir trūkstamų reikšmių tvarkymą, kai programa turi apdoroti tą rezultatą.
Apibendrinimui pateikite tikrąją ištrauką ar apsikeitimą žinutėmis ir nurodykite auditoriją, ilgį bei išsaugotinus faktus. Prašykite vienai temai svarbių sprendimų ar neišspręstų klausimų, užuot nekryptingai apibendrinę nesusijusią medžiagą. Tęsinyje galima paprašyti trumpesnio atsakymo arba aiškesnio vienos sąlygos paaiškinimo, išsaugant tuos pačius šaltinio faktus.
Redagavimui nurodykite skaitytoją ir toną bei įvardykite prasmę, kuri turi likti nepakitusi. Praktinė užduotis gali prašyti aiškesnės žinutės su trumpu pakeitimų sąrašu arba vien pataisytos žinutės, jeigu ji bus naudojama tiesiogiai. Klasifikavimo užduotis turėtų pateikti leidžiamas žymas ir jų skirtumą, užuot pasikliovus žymos pavadinimu taisyklei apibrėžti.
Kodo ir pavyzdžių generavimas
Dokumentuota išvestis taip pat apima kodą. Prieš prašydami funkcijos pateikite kalbą, reikiamas įvestis ir numatomą rezultatą. Paaiškinimui pateikite esamą funkciją bei konkrečią įvestį ir paklauskite, kurie žingsniai lemia jos grąžinamą reikšmę. Pataisymui įtraukite pastebėtą gedimą ir numatytą veikimą, išlaikydami sąsają, kuri turi likti suderinama.
Naudinga išvestis gali atskirti siūlomą kodą, jo prielaidas ir pavyzdines įvestis. Faktinį kompiliavimą, vykdymą ar saugyklos pakeitimą atlieka programa arba kūrėjas. Parašytas pirminis kodas yra peržiūrėtinas artefaktas, o ne užbaigta išorinė operacija vien todėl, kad modelis jį grąžino.
Šeima taip pat palaiko sugeneruotos išvesties naudojimą sintetiniams pavyzdžiams ir distiliavimui. Apibrėžta tekstinė užklausa gali generuoti variantus pagal pateiktas taisykles ir nurodytu formatu. Išsaugokite taisykles ir žymas, kad būtų galima patikrinti kiekvieną pavyzdį; sugeneruoti pavyzdžiai savarankiškai nepatvirtina mokymo duomenų rinkinio teisingumo.
Pokalbio vaidmenys ir įrankių naudojimas
Modelio kortelė demonstruoja pokalbio šabloną su atskiromis sisteminėmis ir naudotojo žinutėmis. Sisteminiame kontekste apibrėžkite asistento vaidmenį ir atsakymo reikalavimus, tada kaip užduotį pateikite klausimą bei šaltinių medžiagą. Išsaugokite susijusias ankstesnes žinutes, kai prašote tęsinio ar pateikiate naujų įrodymų, keičiančių rezultatą.
Llama 3.1 dokumentuoja kelis įrankių naudojimo formatus. Programa aprašo funkciją, modelis generuoja siūlomą kvietimą ir argumentus, programa jį įvykdo bei grąžina rezultatą su įrankio vaidmeniu. Kitas atsakymas gali naudoti grąžintą informaciją. Pokalbyje išlaikykite ryšį tarp pradinės operacijos ir rezultato.
Pavyzdžiui, paieška gali grąžinti dabartinę etaloninę reikšmę, kurios trūksta ištraukoje, arba skaičiavimo įrankis gali pateikti paaiškinimui reikalingą skaitinį rezultatą. Asistentui su įrankiais reikia, kad šias operacijas suteiktų aplinka. Modelio tekstinė elgsena pati nesukuria ryšio su išoriniu šaltiniu ir neatlieka išorinių veiksmų.
Praktinės ribos
Gamintojo 128k konteksto žymą reikėtų išlaikyti su tiksliu 8B Instruct leidimu ir taikoma konfigūracija. 256 žetonų generavimo pavyzdys yra tik naudojimo pasirinkimas; perskaityti šaltiniai nenurodo atskiros griežtos didžiausios atsakymo talpos. 8B dydžiui neturėtų būti priskirtas kito šeimos nario parametrų skaičius ar atskiros šeimos vardiniai samprotavimo valdikliai.
Tai tik tekstinis modelis. Vaizdinė įvestis, garso supratimas ir sakytinės kalbos generavimas reikalauja atskirai nurodytų komponentų. Prieš pateikdami medžiagą apibrėžkite galutinį artefaktą: glaustas atsakymas, išgautas įrašas, pataisyta ištrauka, paaiškinimas ar kodo pasiūlymas. Išsaugokite šaltinio informaciją, reikalingą to artefakto prasmei ir formatui patikrinti.
POST /v1/messagestextjson, sse| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos meta-llama/llama-3.1-8b-instruct | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos user, assistant | Numatyta— |
Laukasmessages[].content | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Tekstas · UTF-8 tekstas
messages[].content eilutė
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages, max_tokens |
Parametrasoptional_controls | Specifikacijastream |
Parametrasmaterial_types | Specifikacijatext |
Parametrastext_file_material | SpecifikacijaPerskaitykite tikrąjį UTF-8 dokumentą ir įterpkite jo tekstą į nurodytą input lauką arba pranešimo turinio eilutę. |
Gyvavimo ciklas: synchronous_or_streamed
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Konteksto tokenų daugiau nei | Konteksto tokenų iki imtinai | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Konteksto tokenų daugiau nei— | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.00044 / 1K tokenų Išvestis · Išvesties tokenai $0.00044 / 1K tokenų Įvestis · Talpyklos skaitymas $0.00044 / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUžklausos ilgio pakopa 1 | Įkainių lentelė— | Konteksto tokenų daugiau nei0 | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.00044 / 1K tokenų Išvestis · Išvesties tokenai $0.00044 / 1K tokenų Įvestis · Talpyklos skaitymas $0.00044 / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
{\n "model": "meta-llama/llama-3.1-8b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visus turinio blokus, mąstymo parašus ir tikruosius įrankių naudojimo ID. Surinkite visus SSE blokų prieaugius; pirmasis teksto blokas nėra visa išvestis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukasid | Tipasstring |
Laukasmodel | Tipasstring |
Laukascontent[] | Tipastext|thinking|tool_use|other content block |
Laukasstop_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Naudokite aukščiau nurodytus metodų kelius.
Techninis pavyzdys anglų kalba
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.