Llama 3.1 70B Instruct – 70 milijardų parametrų Meta teksto modelis, optimizuotas daugiakalbiam dialogui ir asistentams būdingoms užklausoms. Tai pagal nurodymus pritaikytas kontrolinis taškas šeimoje, kurioje taip pat yra 8B bei 405B dydžiai ir atskiri iš anksto mokyti modeliai. Jis priima tekstą ir grąžina daugiakalbį tekstą arba kodą; vardinis 70B leidimas išlaiko savą dydį ir tapatybę.
Modelio informacija ir mokymas
Leidimas naudoja autoregresinę Transformer architektūrą su sugrupuotų užklausų dėmesio mechanizmu. Pritaikyti modeliai suderinami naudojant prižiūrimąjį tikslinimą ir mokymąsi su pastiprinimu pagal žmonių grįžtamąjį ryšį. Tai naudingo pokalbinio veikimo mokymo etapai, o ne vardinis vykdymo jungiklis tarp atskirų režimų su samprotavimu ir be jo.
Gamintojas dokumentuoja 128k kontekstą teksto modeliams ir oficialiai palaiko anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų bei tajų kalbas. Mokymas apima platesnį kalbų rinkinį, tačiau tai nereiškia, kad visos kalbos palaikomos vienodai. Prieš prašydami daugiakalbio artefakto nurodykite išvesties kalbą, terminiją ir skaitytoją.
Šeimos išankstinio mokymo korpusas apibūdinamas kaip maždaug penkiolika trilijonų žetonų, kurių riba yra 2023 m. gruodis. Tikslinimas apima nurodymų duomenų rinkinius ir daugiau nei dvidešimt penkis milijonus sintetinių pavyzdžių. Ši riba yra mokymo duomenų riba; klausimui, priklausančiam nuo naujesnės ar privačios informacijos, reikia ją pateikti užduotyje arba gauti iš prijungto šaltinio.
Asistento pokalbiai ir šaltinių analizė
Instruct leidimas skirtas atsakyti į pokalbio užklausą, o iš anksto mokyta versija yra pagrindas, kurį galima pritaikyti kitoms generavimo užduotims. Šaltiniu pagrįstam atsakymui pateikite klausimą ir ištraukas, lemiančias rezultatą. Pažymėkite šaltinius ir prašykite prie kiekvienos išvados pateikti ją pagrindžiantį skyrių ar teiginį.
Praktinis palyginimas gali pateikti dvi procedūras ir prašyti bendrų sąlygų, skirtumų bei neišspręstų prieštaravimų. Gautas vadovas gali išsaugoti originalią seką ir sąlygas, kuriomis taikomas kiekvienas veiksmas. Dokumento redagavimo užduotyje galima nurodyti auditoriją, faktus, kurie turi išlikti, ir tai, ar galutinis artefaktas turėtų būti vien pataisyta ištrauka, ar ištrauka su paaiškinimu.
Ilgesniam atsakymui įvardykite reikiamus skyrius ir kiekvieno paskirtį. Didelis kontekstas gali išlaikyti susijusią medžiagą kartu, o galutinis rezultatas vis tiek gali būti glausta matrica ar paaiškinimas. Šaltinių tapatybė ir tiksliai apibrėžtas klausimas svarbesni nei tiesiog visų prieinamų dokumentų įtraukimas.
Kodas ir generuojami pavyzdžiai
Dokumentuota išvestis apima kodą. Siūlomam įgyvendinimui pateikite kalbą, įvesties tipus, numatomą rezultatą ir sąsają, kuri turi likti suderinama. Kai užduotis yra pataisymas, įtraukite esamą fragmentą ir susijusias deklaracijas. Prašykite kodo atskirai nuo jo prielaidų ir pavyzdžių, kad kitas kūrimo žingsnis galėtų jį peržiūrėti.
Kodo paaiškinimui pateikite atsektiną įvestį ir paklauskite, kaip pateikta funkcija pasiekia grąžinamą reikšmę. Matematiniam paaiškinimui apibrėžkite simbolius bei prielaidas ir nurodykite, ar rezultatas turėtų būti tikslus, apytikslis ar įrodymas. Kodo generavimas ir rašytinis samprotavimas savaime nekompiliuoja programos ir nevykdo skaičiavimo.
Gamintojas taip pat įvardija sintetinių duomenų generavimą ir distiliavimą kaip šeimos naudojimo būdus. Tekstinė užduotis gali prašyti įvairių pavyzdžių nurodytu formatu, išlaikant pateiktas taisykles. Ar tie pavyzdžiai tinkami tolesniam mokymui, yra atskiras programos sprendimas; vien tekstinė išvestis nėra nepriklausoma jų teisingumo patikra.
Pokalbio formatas ir įrankiai
Kortelė demonstruoja atskiras sistemines ir naudotojo žinutes su atitinkamu pokalbio šablonu. Sisteminį nurodymą naudokite vaidmeniui, tonui ir pastovioms atsakymo taisyklėms, o naudotojo užklausoje pateikite tikrąją problemą bei šaltinius. Išsaugokite susijusias ankstesnes žinutes, kai prašote tęsinio, grindžiamo ankstesniu atsakymu.
Llama 3.1 palaiko kelis dokumentuotus įrankių naudojimo formatus. Programa pateikia funkcijas ir parametrus, modelis parengia siūlomą kvietimą, programa jį įvykdo ir prideda rezultatą prie pokalbio. Vėlesnis generavimas gali naudoti tą rezultatą. Trumpas kortelės pavyzdys aiškiai rodo asistento kvietimo ir po jo įrankio rezultato pridėjimą; funkcijos parinkimas skiriasi nuo jos operacijos užbaigimo.
Paieškai nurodykite, kokios informacijos reikia, ir apibrėžkite ją grąžinančią funkciją. Prieš prašydami galutinio paaiškinimo išsaugokite faktinę grąžintą reikšmę kartu su pradiniu kvietimu. Skaičiavimui atskirkite modelio siūlomą operaciją nuo skaičiuotuvo grąžinto rezultato. Natyvus įrankių formatavimas ir apgaubiančios sąsajos matomas pateikimas turėtų išlaikyti savas dokumentuotas taisykles.
Leidimas ir praktinės ribos
Perskaitytos kortelės 256 žetonų generavimo nustatymas yra naudojimo pavyzdys, o ne atskirai nurodyta didžiausia išvesties talpa. 128k kontekstas apima medžiagą ir generuojamą pokalbį sukonfigūruotame leidime. Nepakeiskite jo Llama 4 kontekstu ar regos galimybėmis arba kito Llama 3.1 kontrolinio taško dydžiu.
Tai tik tekstinis Instruct modelis. Vaizdui, garso ar vaizdo įrašui reikia, kad kitas komponentas parengtų susijusį turinį. Išorinė paieška, programos vykdymas ir failų pakeitimai taip pat priklauso prie asistento prijungtai programai. Išsaugokite tikslų 70B Instruct leidimą ir prašykite su šaltiniais susieto paaiškinimo, pataisyto dokumento, kodo ar struktūrizuoto teksto, kurio reikia užduočiai.
", "aboutText": "Llama 3.1 70B Instruct – 70 milijardų parametrų Meta teksto modelis, optimizuotas daugiakalbiam dialogui ir asistentams būdingoms užklausoms. Tai pagal nurodymus pritaikytas kontrolinis taškas šeimoje, kurioje taip pat yra 8B bei 405B dydžiai ir atskiri iš anksto mokyti modeliai. Jis priima tekstą ir grąžina daugiakalbį tekstą arba kodą; vardinis 70B leidimas išlaiko savą dydį ir tapatybę.\n\nModelio informacija ir mokymas\n\nLeidimas naudoja autoregresinę Transformer architektūrą su sugrupuotų užklausų dėmesio mechanizmu. Pritaikyti modeliai suderinami naudojant prižiūrimąjį tikslinimą ir mokymąsi su pastiprinimu pagal žmonių grįžtamąjį ryšį. Tai naudingo pokalbinio veikimo mokymo etapai, o ne vardinis vykdymo jungiklis tarp atskirų režimų su samprotavimu ir be jo.\n\nGamintojas dokumentuoja 128k kontekstą teksto modeliams ir oficialiai palaiko anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų bei tajų kalbas. Mokymas apima platesnį kalbų rinkinį, tačiau tai nereiškia, kad visos kalbos palaikomos vienodai. Prieš prašydami daugiakalbio artefakto nurodykite išvesties kalbą, terminiją ir skaitytoją.\n\nŠeimos išankstinio mokymo korpusas apibūdinamas kaip maždaug penkiolika trilijonų žetonų, kurių riba yra 2023 m. gruodis. Tikslinimas apima nurodymų duomenų rinkinius ir daugiau nei dvidešimt penkis milijonus sintetinių pavyzdžių. Ši riba yra mokymo duomenų riba; klausimui, priklausančiam nuo naujesnės ar privačios informacijos, reikia ją pateikti užduotyje arba gauti iš prijungto šaltinio.\n\nAsistento pokalbiai ir šaltinių analizė\n\nInstruct leidimas skirtas atsakyti į pokalbio užklausą, o iš anksto mokyta versija yra pagrindas, kurį galima pritaikyti kitoms generavimo užduotims. Šaltiniu pagrįstam atsakymui pateikite klausimą ir ištraukas, lemiančias rezultatą. Pažymėkite šaltinius ir prašykite prie kiekvienos išvados pateikti ją pagrindžiantį skyrių ar teiginį.\n\nPraktinis palyginimas gali pateikti dvi procedūras ir prašyti bendrų sąlygų, skirtumų bei neišspręstų prieštaravimų. Gautas vadovas gali išsaugoti originalią seką ir sąlygas, kuriomis taikomas kiekvienas veiksmas. Dokumento redagavimo užduotyje galima nurodyti auditoriją, faktus, kurie turi išlikti, ir tai, ar galutinis artefaktas turėtų būti vien pataisyta ištrauka, ar ištrauka su paaiškinimu.\n\nIlgesniam atsakymui įvardykite reikiamus skyrius ir kiekvieno paskirtį. Didelis kontekstas gali išlaikyti susijusią medžiagą kartu, o galutinis rezultatas vis tiek gali būti glausta matrica ar paaiškinimas. Šaltinių tapatybė ir tiksliai apibrėžtas klausimas svarbesni nei tiesiog visų prieinamų dokumentų įtraukimas.\n\nKodas ir generuojami pavyzdžiai\n\nDokumentuota išvestis apima kodą. Siūlomam įgyvendinimui pateikite kalbą, įvesties tipus, numatomą rezultatą ir sąsają, kuri turi likti suderinama. Kai užduotis yra pataisymas, įtraukite esamą fragmentą ir susijusias deklaracijas. Prašykite kodo atskirai nuo jo prielaidų ir pavyzdžių, kad kitas kūrimo žingsnis galėtų jį peržiūrėti.\n\nKodo paaiškinimui pateikite atsektiną įvestį ir paklauskite, kaip pateikta funkcija pasiekia grąžinamą reikšmę. Matematiniam paaiškinimui apibrėžkite simbolius bei prielaidas ir nurodykite, ar rezultatas turėtų būti tikslus, apytikslis ar įrodymas. Kodo generavimas ir rašytinis samprotavimas savaime nekompiliuoja programos ir nevykdo skaičiavimo.\n\nGamintojas taip pat įvardija sintetinių duomenų generavimą ir distiliavimą kaip šeimos naudojimo būdus. Tekstinė užduotis gali prašyti įvairių pavyzdžių nurodytu formatu, išlaikant pateiktas taisykles. Ar tie pavyzdžiai tinkami tolesniam mokymui, yra atskiras programos sprendimas; vien tekstinė išvestis nėra nepriklausoma jų teisingumo patikra.\n\nPokalbio formatas ir įrankiai\n\nKortelė demonstruoja atskiras sistemines ir naudotojo žinutes su atitinkamu pokalbio šablonu. Sisteminį nurodymą naudokite vaidmeniui, tonui ir pastovioms atsakymo taisyklėms, o naudotojo užklausoje pateikite tikrąją problemą bei šaltinius. Išsaugokite susijusias ankstesnes žinutes, kai prašote tęsinio, grindžiamo ankstesniu atsakymu.\n\nLlama 3.1 palaiko kelis dokumentuotus įrankių naudojimo formatus. Programa pateikia funkcijas ir parametrus, modelis parengia siūlomą kvietimą, programa jį įvykdo ir prideda rezultatą prie pokalbio. Vėlesnis generavimas gali naudoti tą rezultatą. Trumpas kortelės pavyzdys aiškiai rodo asistento kvietimo ir po jo įrankio rezultato pridėjimą; funkcijos parinkimas skiriasi nuo jos operacijos užbaigimo.\n\nPaieškai nurodykite, kokios informacijos reikia, ir apibrėžkite ją grąžinančią funkciją. Prieš prašydami galutinio paaiškinimo išsaugokite faktinę grąžintą reikšmę kartu su pradiniu kvietimu. Skaičiavimui atskirkite modelio siūlomą operaciją nuo skaičiuotuvo grąžinto rezultato. Natyvus įrankių formatavimas ir apgaubiančios sąsajos matomas pateikimas turėtų išlaikyti savas dokumentuotas taisykles.\n\nLeidimas ir praktinės ribos\n\nPerskaitytos kortelės 256 žetonų generavimo nustatymas yra naudojimo pavyzdys, o ne atskirai nurodyta didžiausia išvesties talpa. 128k kontekstas apima medžiagą ir generuojamą pokalbį sukonfigūruotame leidime. Nepakeiskite jo Llama 4 kontekstu ar regos galimybėmis arba kito Llama 3.1 kontrolinio taško dydžiu.\n\nTai tik tekstinis Instruct modelis. Vaizdui, garso ar vaizdo įrašui reikia, kad kitas komponentas parengtų susijusį turinį. Išorinė paieška, programos vykdymas ir failų pakeitimai taip pat priklauso prie asistento prijungtai programai. Išsaugokite tikslų 70B Instruct leidimą ir prašykite su šaltiniais susieto paaiškinimo, pataisyto dokumento, kodo ar struktūrizuoto teksto, kurio reikia užduočiai.", "editorialOverlay": { "copy_fields": { "practical_html": "Techninis pavyzdys anglų kalba
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct – Meta teksto modelis daugiakalbiam dialogui, samprotavimui apie dokumentus ir kodui. Jo pagal nurodymus pritaikytas 70B leidimas naudoja sugrupuotų užklausų dėmesio mechanizmą, gamintojo nurodytą 128k kontekstą ir dokumentuotus įrankių kvietimo pokalbio formatus, su teksto bei kodo išvestimi.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Llama 3.1 70B Instruct – 70 milijardų parametrų Meta teksto modelis, optimizuotas daugiakalbiam dialogui ir asistentams būdingoms užklausoms. Tai pagal nurodymus pritaikytas kontrolinis taškas šeimoje, kurioje taip pat yra 8B bei 405B dydžiai ir atskiri iš anksto mokyti modeliai. Jis priima tekstą ir grąžina daugiakalbį tekstą arba kodą; vardinis 70B leidimas išlaiko savą dydį ir tapatybę.
Modelio informacija ir mokymas
Leidimas naudoja autoregresinę Transformer architektūrą su sugrupuotų užklausų dėmesio mechanizmu. Pritaikyti modeliai suderinami naudojant prižiūrimąjį tikslinimą ir mokymąsi su pastiprinimu pagal žmonių grįžtamąjį ryšį. Tai naudingo pokalbinio veikimo mokymo etapai, o ne vardinis vykdymo jungiklis tarp atskirų režimų su samprotavimu ir be jo.
Gamintojas dokumentuoja 128k kontekstą teksto modeliams ir oficialiai palaiko anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų bei tajų kalbas. Mokymas apima platesnį kalbų rinkinį, tačiau tai nereiškia, kad visos kalbos palaikomos vienodai. Prieš prašydami daugiakalbio artefakto nurodykite išvesties kalbą, terminiją ir skaitytoją.
Šeimos išankstinio mokymo korpusas apibūdinamas kaip maždaug penkiolika trilijonų žetonų, kurių riba yra 2023 m. gruodis. Tikslinimas apima nurodymų duomenų rinkinius ir daugiau nei dvidešimt penkis milijonus sintetinių pavyzdžių. Ši riba yra mokymo duomenų riba; klausimui, priklausančiam nuo naujesnės ar privačios informacijos, reikia ją pateikti užduotyje arba gauti iš prijungto šaltinio.
Asistento pokalbiai ir šaltinių analizė
Instruct leidimas skirtas atsakyti į pokalbio užklausą, o iš anksto mokyta versija yra pagrindas, kurį galima pritaikyti kitoms generavimo užduotims. Šaltiniu pagrįstam atsakymui pateikite klausimą ir ištraukas, lemiančias rezultatą. Pažymėkite šaltinius ir prašykite prie kiekvienos išvados pateikti ją pagrindžiantį skyrių ar teiginį.
Praktinis palyginimas gali pateikti dvi procedūras ir prašyti bendrų sąlygų, skirtumų bei neišspręstų prieštaravimų. Gautas vadovas gali išsaugoti originalią seką ir sąlygas, kuriomis taikomas kiekvienas veiksmas. Dokumento redagavimo užduotyje galima nurodyti auditoriją, faktus, kurie turi išlikti, ir tai, ar galutinis artefaktas turėtų būti vien pataisyta ištrauka, ar ištrauka su paaiškinimu.
Ilgesniam atsakymui įvardykite reikiamus skyrius ir kiekvieno paskirtį. Didelis kontekstas gali išlaikyti susijusią medžiagą kartu, o galutinis rezultatas vis tiek gali būti glausta matrica ar paaiškinimas. Šaltinių tapatybė ir tiksliai apibrėžtas klausimas svarbesni nei tiesiog visų prieinamų dokumentų įtraukimas.
Kodas ir generuojami pavyzdžiai
Dokumentuota išvestis apima kodą. Siūlomam įgyvendinimui pateikite kalbą, įvesties tipus, numatomą rezultatą ir sąsają, kuri turi likti suderinama. Kai užduotis yra pataisymas, įtraukite esamą fragmentą ir susijusias deklaracijas. Prašykite kodo atskirai nuo jo prielaidų ir pavyzdžių, kad kitas kūrimo žingsnis galėtų jį peržiūrėti.
Kodo paaiškinimui pateikite atsektiną įvestį ir paklauskite, kaip pateikta funkcija pasiekia grąžinamą reikšmę. Matematiniam paaiškinimui apibrėžkite simbolius bei prielaidas ir nurodykite, ar rezultatas turėtų būti tikslus, apytikslis ar įrodymas. Kodo generavimas ir rašytinis samprotavimas savaime nekompiliuoja programos ir nevykdo skaičiavimo.
Gamintojas taip pat įvardija sintetinių duomenų generavimą ir distiliavimą kaip šeimos naudojimo būdus. Tekstinė užduotis gali prašyti įvairių pavyzdžių nurodytu formatu, išlaikant pateiktas taisykles. Ar tie pavyzdžiai tinkami tolesniam mokymui, yra atskiras programos sprendimas; vien tekstinė išvestis nėra nepriklausoma jų teisingumo patikra.
Pokalbio formatas ir įrankiai
Kortelė demonstruoja atskiras sistemines ir naudotojo žinutes su atitinkamu pokalbio šablonu. Sisteminį nurodymą naudokite vaidmeniui, tonui ir pastovioms atsakymo taisyklėms, o naudotojo užklausoje pateikite tikrąją problemą bei šaltinius. Išsaugokite susijusias ankstesnes žinutes, kai prašote tęsinio, grindžiamo ankstesniu atsakymu.
Llama 3.1 palaiko kelis dokumentuotus įrankių naudojimo formatus. Programa pateikia funkcijas ir parametrus, modelis parengia siūlomą kvietimą, programa jį įvykdo ir prideda rezultatą prie pokalbio. Vėlesnis generavimas gali naudoti tą rezultatą. Trumpas kortelės pavyzdys aiškiai rodo asistento kvietimo ir po jo įrankio rezultato pridėjimą; funkcijos parinkimas skiriasi nuo jos operacijos užbaigimo.
Paieškai nurodykite, kokios informacijos reikia, ir apibrėžkite ją grąžinančią funkciją. Prieš prašydami galutinio paaiškinimo išsaugokite faktinę grąžintą reikšmę kartu su pradiniu kvietimu. Skaičiavimui atskirkite modelio siūlomą operaciją nuo skaičiuotuvo grąžinto rezultato. Natyvus įrankių formatavimas ir apgaubiančios sąsajos matomas pateikimas turėtų išlaikyti savas dokumentuotas taisykles.
Leidimas ir praktinės ribos
Perskaitytos kortelės 256 žetonų generavimo nustatymas yra naudojimo pavyzdys, o ne atskirai nurodyta didžiausia išvesties talpa. 128k kontekstas apima medžiagą ir generuojamą pokalbį sukonfigūruotame leidime. Nepakeiskite jo Llama 4 kontekstu ar regos galimybėmis arba kito Llama 3.1 kontrolinio taško dydžiu.
Tai tik tekstinis Instruct modelis. Vaizdui, garso ar vaizdo įrašui reikia, kad kitas komponentas parengtų susijusį turinį. Išorinė paieška, programos vykdymas ir failų pakeitimai taip pat priklauso prie asistento prijungtai programai. Išsaugokite tikslų 70B Instruct leidimą ir prašykite su šaltiniais susieto paaiškinimo, pataisyto dokumento, kodo ar struktūrizuoto teksto, kurio reikia užduočiai.
POST /v1/chat/completionstexttext| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos meta-llama/llama-3.1-70b-instruct | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Pavyzdžiai: system, user, assistant, tool, function Sąlygos: Šie vaidmenys aiškiai išreikšti šaltinio kodo suderinamumo tipuose; tikslus vaidmenų rinkinys priklauso nuo konkretaus modelio. Priklauso nuo modelio | Numatyta— |
Laukasmessages[].content | Tipasstring|content_part[]|null | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_calls | Tipastool_call[] | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_call_id | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: role=tool; naudokite tikrąjį grąžintą ID | Numatyta— |
Laukasmessages[].name | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].reasoning_content | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: Grąžinkite tikrąjį gautą samprotavimą ten, kur šis modelis jį naudoja | Numatyta— |
Laukasmessages[].reasoning_details | Tipasobject|array | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasmax_completion_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Laukasstream_options.include_usage | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastemperature | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastop_p | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasstop | Tipasstring|string[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools | Tipasfunction_tool[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools[].type | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos function Priklauso nuo modelio | Numatyta— |
Laukastools[].function.name | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Taikoma, kai: pateiktas funkcijos tipo įrankis | Numatyta— |
Laukastools[].function.description | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastools[].function.parameters | TipasJSON_schema | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastool_choice | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasparallel_tool_calls | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasresponse_format | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning_effort | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasservice_tier | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasinstructions | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Suderinamumo laukas | Numatyta— |
Laukasfunctions | Tipasfunction[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasfunction_call | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasprompt_cache_options | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmodalities | Tipasstring[] | ReikalavimasNeprivaloma | Reikšmės ir ribos text | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options šiame Ultra teksto maršrute atmetamas | Numatyta— |
Laukascache_control.ttl | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: 1h atmetamas tikrosiose užklausų podėlio vietose | Numatyta— |
Tekstas · UTF8 tekstas
messages[].content
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages |
Parametrasmaterial_types | Specifikacijatext |
Parametrasmessages | Specifikacijapranešimų masyvas su role/content struktūra |
Parametrasfile_material | Specifikacijatikrasis UTF-8 dokumentas įterptas kaip pažodinis tekstas; failo ID nenumanomas |
Parametrasoptional_controls | Specifikacijastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrascontrol_scope | Specifikacijapriklauso nuo modelio; naudotojo funkcijų įrankiai skiriasi nuo priglobtų įrankių |
Parametrasoutput_modalities | Specifikacijatext |
Parametrashosted_operations | Specifikacijafalse |
Parametrasmultimodal_input_binding | Specifikacijanull |
Gyvavimo ciklas: synchronous_or_streamed
Siųskite tikslų modelio ID kartu su messages.
Konteksto ilgis nėra išvesties limitas.
Teksto failas gali pateikti pažodinį tekstą; vaizdų / garso / failų objektų įvestims reikia tikslaus susiejimo.
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Konteksto tokenų daugiau nei | Konteksto tokenų iki imtinai | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Konteksto tokenų daugiau nei— | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.00144 / 1K tokenų Išvestis · Išvesties tokenai $0.00144 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUžklausos ilgio pakopa 1 | Įkainių lentelė— | Konteksto tokenų daugiau nei0 | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.00144 / 1K tokenų Išvestis · Išvesties tokenai $0.00144 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-70b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-70b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną variantą ir jo turinį / įrankių iškvietimus / samprotavimą. SSE prieaugius surinkite pagal varianto / įrankio indeksą; išsaugokite galutinę užbaigimo priežastį ir naudojimo duomenis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukaschoices[].index | Tipasinteger |
Laukaschoices[].message.content | Tipasstring|null |
Laukaschoices[].message.tool_calls | Tipastool_call[] |
Laukaschoices[].message.reasoning_content | Tipasstring |
Laukaschoices[].message.reasoning_details | Tipasobject|array |
Laukaschoices[].finish_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Naudokite aukščiau nurodytus metodų kelius.
meta-llama/llama-3.1-70b-instructLlama 3.1 70B Instruct – Meta teksto modelis daugiakalbiam dialogui, samprotavimui apie dokumentus ir kodui. Jo pagal nurodymus pritaikytas 70B leidimas naudoja sugrupuotų užklausų dėmesio mechanizmą, gamintojo nurodytą 128k kontekstą ir dokumentuotus įrankių kvietimo pokalbio formatus, su teksto bei kodo išvestimi.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Llama 3.1 70B Instruct – 70 milijardų parametrų Meta teksto modelis, optimizuotas daugiakalbiam dialogui ir asistentams būdingoms užklausoms. Tai pagal nurodymus pritaikytas kontrolinis taškas šeimoje, kurioje taip pat yra 8B bei 405B dydžiai ir atskiri iš anksto mokyti modeliai. Jis priima tekstą ir grąžina daugiakalbį tekstą arba kodą; vardinis 70B leidimas išlaiko savą dydį ir tapatybę.
Modelio informacija ir mokymas
Leidimas naudoja autoregresinę Transformer architektūrą su sugrupuotų užklausų dėmesio mechanizmu. Pritaikyti modeliai suderinami naudojant prižiūrimąjį tikslinimą ir mokymąsi su pastiprinimu pagal žmonių grįžtamąjį ryšį. Tai naudingo pokalbinio veikimo mokymo etapai, o ne vardinis vykdymo jungiklis tarp atskirų režimų su samprotavimu ir be jo.
Gamintojas dokumentuoja 128k kontekstą teksto modeliams ir oficialiai palaiko anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų bei tajų kalbas. Mokymas apima platesnį kalbų rinkinį, tačiau tai nereiškia, kad visos kalbos palaikomos vienodai. Prieš prašydami daugiakalbio artefakto nurodykite išvesties kalbą, terminiją ir skaitytoją.
Šeimos išankstinio mokymo korpusas apibūdinamas kaip maždaug penkiolika trilijonų žetonų, kurių riba yra 2023 m. gruodis. Tikslinimas apima nurodymų duomenų rinkinius ir daugiau nei dvidešimt penkis milijonus sintetinių pavyzdžių. Ši riba yra mokymo duomenų riba; klausimui, priklausančiam nuo naujesnės ar privačios informacijos, reikia ją pateikti užduotyje arba gauti iš prijungto šaltinio.
Asistento pokalbiai ir šaltinių analizė
Instruct leidimas skirtas atsakyti į pokalbio užklausą, o iš anksto mokyta versija yra pagrindas, kurį galima pritaikyti kitoms generavimo užduotims. Šaltiniu pagrįstam atsakymui pateikite klausimą ir ištraukas, lemiančias rezultatą. Pažymėkite šaltinius ir prašykite prie kiekvienos išvados pateikti ją pagrindžiantį skyrių ar teiginį.
Praktinis palyginimas gali pateikti dvi procedūras ir prašyti bendrų sąlygų, skirtumų bei neišspręstų prieštaravimų. Gautas vadovas gali išsaugoti originalią seką ir sąlygas, kuriomis taikomas kiekvienas veiksmas. Dokumento redagavimo užduotyje galima nurodyti auditoriją, faktus, kurie turi išlikti, ir tai, ar galutinis artefaktas turėtų būti vien pataisyta ištrauka, ar ištrauka su paaiškinimu.
Ilgesniam atsakymui įvardykite reikiamus skyrius ir kiekvieno paskirtį. Didelis kontekstas gali išlaikyti susijusią medžiagą kartu, o galutinis rezultatas vis tiek gali būti glausta matrica ar paaiškinimas. Šaltinių tapatybė ir tiksliai apibrėžtas klausimas svarbesni nei tiesiog visų prieinamų dokumentų įtraukimas.
Kodas ir generuojami pavyzdžiai
Dokumentuota išvestis apima kodą. Siūlomam įgyvendinimui pateikite kalbą, įvesties tipus, numatomą rezultatą ir sąsają, kuri turi likti suderinama. Kai užduotis yra pataisymas, įtraukite esamą fragmentą ir susijusias deklaracijas. Prašykite kodo atskirai nuo jo prielaidų ir pavyzdžių, kad kitas kūrimo žingsnis galėtų jį peržiūrėti.
Kodo paaiškinimui pateikite atsektiną įvestį ir paklauskite, kaip pateikta funkcija pasiekia grąžinamą reikšmę. Matematiniam paaiškinimui apibrėžkite simbolius bei prielaidas ir nurodykite, ar rezultatas turėtų būti tikslus, apytikslis ar įrodymas. Kodo generavimas ir rašytinis samprotavimas savaime nekompiliuoja programos ir nevykdo skaičiavimo.
Gamintojas taip pat įvardija sintetinių duomenų generavimą ir distiliavimą kaip šeimos naudojimo būdus. Tekstinė užduotis gali prašyti įvairių pavyzdžių nurodytu formatu, išlaikant pateiktas taisykles. Ar tie pavyzdžiai tinkami tolesniam mokymui, yra atskiras programos sprendimas; vien tekstinė išvestis nėra nepriklausoma jų teisingumo patikra.
Pokalbio formatas ir įrankiai
Kortelė demonstruoja atskiras sistemines ir naudotojo žinutes su atitinkamu pokalbio šablonu. Sisteminį nurodymą naudokite vaidmeniui, tonui ir pastovioms atsakymo taisyklėms, o naudotojo užklausoje pateikite tikrąją problemą bei šaltinius. Išsaugokite susijusias ankstesnes žinutes, kai prašote tęsinio, grindžiamo ankstesniu atsakymu.
Llama 3.1 palaiko kelis dokumentuotus įrankių naudojimo formatus. Programa pateikia funkcijas ir parametrus, modelis parengia siūlomą kvietimą, programa jį įvykdo ir prideda rezultatą prie pokalbio. Vėlesnis generavimas gali naudoti tą rezultatą. Trumpas kortelės pavyzdys aiškiai rodo asistento kvietimo ir po jo įrankio rezultato pridėjimą; funkcijos parinkimas skiriasi nuo jos operacijos užbaigimo.
Paieškai nurodykite, kokios informacijos reikia, ir apibrėžkite ją grąžinančią funkciją. Prieš prašydami galutinio paaiškinimo išsaugokite faktinę grąžintą reikšmę kartu su pradiniu kvietimu. Skaičiavimui atskirkite modelio siūlomą operaciją nuo skaičiuotuvo grąžinto rezultato. Natyvus įrankių formatavimas ir apgaubiančios sąsajos matomas pateikimas turėtų išlaikyti savas dokumentuotas taisykles.
Leidimas ir praktinės ribos
Perskaitytos kortelės 256 žetonų generavimo nustatymas yra naudojimo pavyzdys, o ne atskirai nurodyta didžiausia išvesties talpa. 128k kontekstas apima medžiagą ir generuojamą pokalbį sukonfigūruotame leidime. Nepakeiskite jo Llama 4 kontekstu ar regos galimybėmis arba kito Llama 3.1 kontrolinio taško dydžiu.
Tai tik tekstinis Instruct modelis. Vaizdui, garso ar vaizdo įrašui reikia, kad kitas komponentas parengtų susijusį turinį. Išorinė paieška, programos vykdymas ir failų pakeitimai taip pat priklauso prie asistento prijungtai programai. Išsaugokite tikslų 70B Instruct leidimą ir prašykite su šaltiniais susieto paaiškinimo, pataisyto dokumento, kodo ar struktūrizuoto teksto, kurio reikia užduočiai.
POST /v1/messagestextjson, sse| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos meta-llama/llama-3.1-70b-instruct | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos user, assistant | Numatyta— |
Laukasmessages[].content | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Tekstas · UTF-8 tekstas
messages[].content eilutė
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages, max_tokens |
Parametrasoptional_controls | Specifikacijastream |
Parametrasmaterial_types | Specifikacijatext |
Parametrastext_file_material | SpecifikacijaPerskaitykite tikrąjį UTF-8 dokumentą ir įterpkite jo tekstą į nurodytą input lauką arba pranešimo turinio eilutę. |
Gyvavimo ciklas: synchronous_or_streamed
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Konteksto tokenų daugiau nei | Konteksto tokenų iki imtinai | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Konteksto tokenų daugiau nei— | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.00144 / 1K tokenų Išvestis · Išvesties tokenai $0.00144 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUžklausos ilgio pakopa 1 | Įkainių lentelė— | Konteksto tokenų daugiau nei0 | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.00144 / 1K tokenų Išvestis · Išvesties tokenai $0.00144 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
{\n "model": "meta-llama/llama-3.1-70b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-70b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visus turinio blokus, mąstymo parašus ir tikruosius įrankių naudojimo ID. Surinkite visus SSE blokų prieaugius; pirmasis teksto blokas nėra visa išvestis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukasid | Tipasstring |
Laukasmodel | Tipasstring |
Laukascontent[] | Tipastext|thinking|tool_use|other content block |
Laukasstop_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra meta-llama/llama-3.1-70b-instruct
Naudokite aukščiau nurodytus metodų kelius.
Techninis pavyzdys anglų kalba
Produce a bilingual maintenance notice\n\nWrite a maintenance notice in English and Spanish from these facts: warehouse entrance B closes on Tuesday from 08:00 to 11:00; deliveries must use entrance A; pedestrian access is unchanged. Use three short sentences per language and preserve entrance letters and times. Do not add a date, delay estimate or closure of pedestrian access.Two labelled language blocks with equivalent three-sentence notices.Compare both versions for entrance A/B, Tuesday, the time range and unchanged pedestrian access.