Meta Llama 3.2 3B Instruct – pagal nurodymus pritaikytas teksto modelis, skirtas daugiakalbiams asistento pokalbiams, paieškos šaltiniais grindžiamam darbui ir apibendrinimui. Gamintojo modelių lentelėje nurodyta 3B klasė su 3.21B parametrų. Jis priima tekstą ir generuoja tekstą arba kodą. Jo kūrimas derina modelio retinimą ir žinių distiliavimą su pritaikymu pagal nurodymus, taip sukuriant mažo modelio profilį tikslinėms rašymo ir asistento užduotims.
Pateikite modeliui šaltinių medžiagą, klausimą ir numatomą atsakymo formą. Pagalbos rašant užklausoje galima nurodyti auditoriją, toną ir detales, kurios turi išlikti. Santraukai galima įvardyti apimtinas dalis ir pageidaujamą ilgį ar struktūrą. Trumpam žinių bazės atsakymui pateikite susijusią ištrauką ir paprašykite tuo šaltiniu pagrįsto paaiškinimo.
Gamintojas tarp numatytų pagal nurodymus pritaikytų teksto modelių naudojimo būdų įvardija žinių paiešką, apibendrinimą, mobiliuosius rašymo asistentus, užklausų performulavimą ir užklausų modeliui perrašymą. Paieškos programa gali pateikti rastas ištraukas ir paprašyti modelio suformuluoti atsakymą. Kartu su rezultatu išsaugokite ištraukų identifikatorius, kad skaitytojas ar kitas komponentas galėtų peržiūrėti įrodymus.
Performuluodami užklausą išsaugokite originalų klausimą ir prašykite glaustos paieškos formuluotės, išlaikančios jo tikslą. Dokumento santraukai prašykite pagrindinių teiginių ir juos veikiančių išlygų. Faktinę išvestį peržiūrėkite ieškodami praleistų sąlygų, pakeistų skaičių ar išgalvotos informacijos, ypač kai trumpas atsakymas suspaudžia didesnį šaltinį.
Anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų ir tajų yra aštuonios oficialiai palaikomos kalbos. Nurodykite pageidaujamą išvesties kalbą ir išsaugokite vardų ar specialiųjų terminų rašybą, kuri turi likti nepakitusi. Daugiakalbė užduotis turėtų turėti pakankamai šaltinio konteksto grąžintos formuluotės prasmei įvertinti, užuot pasikliovus vien sklandumu.
Standartinis Llama 3.2 teksto kontrolinis taškas turi 128K žetonų konteksto langą. Šį biudžetą naudokite susijusiai šaltinių medžiagai, pokalbio istorijai ir generuojamam rezultatui. Išsaugokite tęsimui reikalingus ankstesnius sprendimus ir palikite vietos atsakymui. Išankstinio mokymo duomenų riba yra 2023 m. gruodis, todėl vėlesnei informacijai reikia įrodymų, pateiktų su užduotimi arba aplinkinės paieškos programos.
Tai Instruct kontrolinis taškas, parengtas į asistentą panašiam dialogui. Modelio kortelėje aprašytas prižiūrimasis tikslinimas ir derinimas pagal žmonių pageidavimus bei papildomas distiliavimas kuriant mažus modelius. Naudojimo pavyzdžiuose sisteminės ir naudotojo žinutės pateikiamos pokalbio formatu. Sisteminis nurodymas gali apibrėžti vaidmenį ir išvesties lūkesčius, o naudotojo žinutė pateikia dabartinę užduotį ir šaltinius.
Tiesiogiai naudodami kontrolinį tašką, išlaikykite pasirinktam leidimui tinkamą pokalbio formatą. Aiškiai apibrėžkite rezultatą ir peržiūrėkite sugeneruotą atsakymą, įskaitant jo ryšį su pateiktais įrodymais. Struktūrizuotam tekstiniam artefaktui nurodykite reikiamus laukus ar antraštes ir patikrinkite faktinę išvestį prieš programai ją panaudojant; rašytinis formato prašymas negarantuoja, kad kiekviena reikšmė teisinga.
Gamintojas skiria standartinį teksto modelį nuo atskirai paskelbtų kvantuotų Llama 3.2 teksto profilių. Jo modelių lentelėje šiems kvantuotiems profiliams nurodytas 8K kontekstas, besiskiriantis nuo standartinio 128K lango. Modelį ir darbinį biudžetą rinkitės kartu, užuot manę, kad kiekvienas 3B pažymėtas diegimas išlaiko tokį patį konteksto limitą.
3B Instruct modelis taip pat atskiras nuo didesnių Llama 3.2 regos modelių. Šiam teksto profiliui parenkite tekstinę šaltinių medžiagą arba aplinkinės programos gautą tekstą. Naudokite modelį tiksliniam atsakymui, perrašymui, santraukai ar trumpam kodo paaiškinimui. Kartu su rezultatu išsaugokite pasirinktą kontrolinį tašką, užklausą ir šaltinį, tada kitą nurodymą susiekite su konkrečia trūkstama detale ar pastebėta klaida.
", "aboutText": "Meta Llama 3.2 3B Instruct – pagal nurodymus pritaikytas teksto modelis, skirtas daugiakalbiams asistento pokalbiams, paieškos šaltiniais grindžiamam darbui ir apibendrinimui. Gamintojo modelių lentelėje nurodyta 3B klasė su 3.21B parametrų. Jis priima tekstą ir generuoja tekstą arba kodą. Jo kūrimas derina modelio retinimą ir žinių distiliavimą su pritaikymu pagal nurodymus, taip sukuriant mažo modelio profilį tikslinėms rašymo ir asistento užduotims.\n\n### Apibrėžkite ribotos apimties tekstinį rezultatą\n\nPateikite modeliui šaltinių medžiagą, klausimą ir numatomą atsakymo formą. Pagalbos rašant užklausoje galima nurodyti auditoriją, toną ir detales, kurios turi išlikti. Santraukai galima įvardyti apimtinas dalis ir pageidaujamą ilgį ar struktūrą. Trumpam žinių bazės atsakymui pateikite susijusią ištrauką ir paprašykite tuo šaltiniu pagrįsto paaiškinimo.\n\nGamintojas tarp numatytų pagal nurodymus pritaikytų teksto modelių naudojimo būdų įvardija žinių paiešką, apibendrinimą, mobiliuosius rašymo asistentus, užklausų performulavimą ir užklausų modeliui perrašymą. Paieškos programa gali pateikti rastas ištraukas ir paprašyti modelio suformuluoti atsakymą. Kartu su rezultatu išsaugokite ištraukų identifikatorius, kad skaitytojas ar kitas komponentas galėtų peržiūrėti įrodymus.\n\nPerformuluodami užklausą išsaugokite originalų klausimą ir prašykite glaustos paieškos formuluotės, išlaikančios jo tikslą. Dokumento santraukai prašykite pagrindinių teiginių ir juos veikiančių išlygų. Faktinę išvestį peržiūrėkite ieškodami praleistų sąlygų, pakeistų skaičių ar išgalvotos informacijos, ypač kai trumpas atsakymas suspaudžia didesnį šaltinį.\n\n### Kalbos ir kontekstas\n\nAnglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų ir tajų yra aštuonios oficialiai palaikomos kalbos. Nurodykite pageidaujamą išvesties kalbą ir išsaugokite vardų ar specialiųjų terminų rašybą, kuri turi likti nepakitusi. Daugiakalbė užduotis turėtų turėti pakankamai šaltinio konteksto grąžintos formuluotės prasmei įvertinti, užuot pasikliovus vien sklandumu.\n\nStandartinis Llama 3.2 teksto kontrolinis taškas turi 128K žetonų konteksto langą. Šį biudžetą naudokite susijusiai šaltinių medžiagai, pokalbio istorijai ir generuojamam rezultatui. Išsaugokite tęsimui reikalingus ankstesnius sprendimus ir palikite vietos atsakymui. Išankstinio mokymo duomenų riba yra 2023 m. gruodis, todėl vėlesnei informacijai reikia įrodymų, pateiktų su užduotimi arba aplinkinės paieškos programos.\n\n### Pritaikymas pagal nurodymus ir pokalbio formatas\n\nTai Instruct kontrolinis taškas, parengtas į asistentą panašiam dialogui. Modelio kortelėje aprašytas prižiūrimasis tikslinimas ir derinimas pagal žmonių pageidavimus bei papildomas distiliavimas kuriant mažus modelius. Naudojimo pavyzdžiuose sisteminės ir naudotojo žinutės pateikiamos pokalbio formatu. Sisteminis nurodymas gali apibrėžti vaidmenį ir išvesties lūkesčius, o naudotojo žinutė pateikia dabartinę užduotį ir šaltinius.\n\nTiesiogiai naudodami kontrolinį tašką, išlaikykite pasirinktam leidimui tinkamą pokalbio formatą. Aiškiai apibrėžkite rezultatą ir peržiūrėkite sugeneruotą atsakymą, įskaitant jo ryšį su pateiktais įrodymais. Struktūrizuotam tekstiniam artefaktui nurodykite reikiamus laukus ar antraštes ir patikrinkite faktinę išvestį prieš programai ją panaudojant; rašytinis formato prašymas negarantuoja, kad kiekviena reikšmė teisinga.\n\n### Standartiniai, kvantuoti ir regos profiliai\n\nGamintojas skiria standartinį teksto modelį nuo atskirai paskelbtų kvantuotų Llama 3.2 teksto profilių. Jo modelių lentelėje šiems kvantuotiems profiliams nurodytas 8K kontekstas, besiskiriantis nuo standartinio 128K lango. Modelį ir darbinį biudžetą rinkitės kartu, užuot manę, kad kiekvienas 3B pažymėtas diegimas išlaiko tokį patį konteksto limitą.\n\n3B Instruct modelis taip pat atskiras nuo didesnių Llama 3.2 regos modelių. Šiam teksto profiliui parenkite tekstinę šaltinių medžiagą arba aplinkinės programos gautą tekstą. Naudokite modelį tiksliniam atsakymui, perrašymui, santraukai ar trumpam kodo paaiškinimui. Kartu su rezultatu išsaugokite pasirinktą kontrolinį tašką, užklausą ir šaltinį, tada kitą nurodymą susiekite su konkrečia trūkstama detale ar pastebėta klaida.", "editorialOverlay": { "copy_fields": { "practical_html": "Techninis pavyzdys anglų kalba
Rewrite a knowledge-base query\n\nRewrite this support question into one concise search query: 'I changed my work email yesterday and now the old address still gets export notifications, even though I log in with the new one.' Preserve the distinction between login identity and notification destination. Return the query and two key concepts it must retain; do not answer the question.One search query plus two retained concepts covering changed login email and stale export-notification address.The rewrite keeps the notification problem and does not collapse it into a login failure.meta-llama/llama-3.2-3b-instructMeta Llama 3.2 3B Instruct – kompaktiškas teksto modelis daugiakalbiams pokalbiams, paieškos šaltiniais pagrįstoms santraukoms ir pagalbai rašant. Jo standartinis kontrolinis taškas turi 128K kontekstą; atskirai paskelbti kvantuoti variantai turi kitokį darbinį langą.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Meta Llama 3.2 3B Instruct – pagal nurodymus pritaikytas teksto modelis, skirtas daugiakalbiams asistento pokalbiams, paieškos šaltiniais grindžiamam darbui ir apibendrinimui. Gamintojo modelių lentelėje nurodyta 3B klasė su 3.21B parametrų. Jis priima tekstą ir generuoja tekstą arba kodą. Jo kūrimas derina modelio retinimą ir žinių distiliavimą su pritaikymu pagal nurodymus, taip sukuriant mažo modelio profilį tikslinėms rašymo ir asistento užduotims.
Pateikite modeliui šaltinių medžiagą, klausimą ir numatomą atsakymo formą. Pagalbos rašant užklausoje galima nurodyti auditoriją, toną ir detales, kurios turi išlikti. Santraukai galima įvardyti apimtinas dalis ir pageidaujamą ilgį ar struktūrą. Trumpam žinių bazės atsakymui pateikite susijusią ištrauką ir paprašykite tuo šaltiniu pagrįsto paaiškinimo.
Gamintojas tarp numatytų pagal nurodymus pritaikytų teksto modelių naudojimo būdų įvardija žinių paiešką, apibendrinimą, mobiliuosius rašymo asistentus, užklausų performulavimą ir užklausų modeliui perrašymą. Paieškos programa gali pateikti rastas ištraukas ir paprašyti modelio suformuluoti atsakymą. Kartu su rezultatu išsaugokite ištraukų identifikatorius, kad skaitytojas ar kitas komponentas galėtų peržiūrėti įrodymus.
Performuluodami užklausą išsaugokite originalų klausimą ir prašykite glaustos paieškos formuluotės, išlaikančios jo tikslą. Dokumento santraukai prašykite pagrindinių teiginių ir juos veikiančių išlygų. Faktinę išvestį peržiūrėkite ieškodami praleistų sąlygų, pakeistų skaičių ar išgalvotos informacijos, ypač kai trumpas atsakymas suspaudžia didesnį šaltinį.
Anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų ir tajų yra aštuonios oficialiai palaikomos kalbos. Nurodykite pageidaujamą išvesties kalbą ir išsaugokite vardų ar specialiųjų terminų rašybą, kuri turi likti nepakitusi. Daugiakalbė užduotis turėtų turėti pakankamai šaltinio konteksto grąžintos formuluotės prasmei įvertinti, užuot pasikliovus vien sklandumu.
Standartinis Llama 3.2 teksto kontrolinis taškas turi 128K žetonų konteksto langą. Šį biudžetą naudokite susijusiai šaltinių medžiagai, pokalbio istorijai ir generuojamam rezultatui. Išsaugokite tęsimui reikalingus ankstesnius sprendimus ir palikite vietos atsakymui. Išankstinio mokymo duomenų riba yra 2023 m. gruodis, todėl vėlesnei informacijai reikia įrodymų, pateiktų su užduotimi arba aplinkinės paieškos programos.
Tai Instruct kontrolinis taškas, parengtas į asistentą panašiam dialogui. Modelio kortelėje aprašytas prižiūrimasis tikslinimas ir derinimas pagal žmonių pageidavimus bei papildomas distiliavimas kuriant mažus modelius. Naudojimo pavyzdžiuose sisteminės ir naudotojo žinutės pateikiamos pokalbio formatu. Sisteminis nurodymas gali apibrėžti vaidmenį ir išvesties lūkesčius, o naudotojo žinutė pateikia dabartinę užduotį ir šaltinius.
Tiesiogiai naudodami kontrolinį tašką, išlaikykite pasirinktam leidimui tinkamą pokalbio formatą. Aiškiai apibrėžkite rezultatą ir peržiūrėkite sugeneruotą atsakymą, įskaitant jo ryšį su pateiktais įrodymais. Struktūrizuotam tekstiniam artefaktui nurodykite reikiamus laukus ar antraštes ir patikrinkite faktinę išvestį prieš programai ją panaudojant; rašytinis formato prašymas negarantuoja, kad kiekviena reikšmė teisinga.
Gamintojas skiria standartinį teksto modelį nuo atskirai paskelbtų kvantuotų Llama 3.2 teksto profilių. Jo modelių lentelėje šiems kvantuotiems profiliams nurodytas 8K kontekstas, besiskiriantis nuo standartinio 128K lango. Modelį ir darbinį biudžetą rinkitės kartu, užuot manę, kad kiekvienas 3B pažymėtas diegimas išlaiko tokį patį konteksto limitą.
3B Instruct modelis taip pat atskiras nuo didesnių Llama 3.2 regos modelių. Šiam teksto profiliui parenkite tekstinę šaltinių medžiagą arba aplinkinės programos gautą tekstą. Naudokite modelį tiksliniam atsakymui, perrašymui, santraukai ar trumpam kodo paaiškinimui. Kartu su rezultatu išsaugokite pasirinktą kontrolinį tašką, užklausą ir šaltinį, tada kitą nurodymą susiekite su konkrečia trūkstama detale ar pastebėta klaida.
POST /v1/chat/completionstexttext| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos meta-llama/llama-3.2-3b-instruct | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos Mažiausias elementų skaičius: 1 | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Pavyzdžiai: system, user, assistant, tool, function Sąlygos: Šie vaidmenys aiškiai išreikšti šaltinio kodo suderinamumo tipuose; tikslus vaidmenų rinkinys priklauso nuo konkretaus modelio. Priklauso nuo modelio | Numatyta— |
Laukasmessages[].content | Tipasstring|content_part[]|null | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_calls | Tipastool_call[] | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].tool_call_id | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: role=tool; naudokite tikrąjį grąžintą ID | Numatyta— |
Laukasmessages[].name | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].reasoning_content | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Taikoma, kai: Grąžinkite tikrąjį gautą samprotavimą ten, kur šis modelis jį naudoja | Numatyta— |
Laukasmessages[].reasoning_details | Tipasobject|array | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasmax_completion_tokens | Tipasinteger | ReikalavimasNeprivaloma | Reikšmės ir ribos Mažiausia reikšmė: 1 Priklauso nuo modelio | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Laukasstream_options.include_usage | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastemperature | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastop_p | Tipasnumber | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasstop | Tipasstring|string[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools | Tipasfunction_tool[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukastools[].type | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos function Priklauso nuo modelio | Numatyta— |
Laukastools[].function.name | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos Taikoma, kai: pateiktas funkcijos tipo įrankis | Numatyta— |
Laukastools[].function.description | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastools[].function.parameters | TipasJSON_schema | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatyta— |
Laukastool_choice | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasparallel_tool_calls | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasresponse_format | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning_effort | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasreasoning | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasservice_tier | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasinstructions | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Suderinamumo laukas | Numatyta— |
Laukasfunctions | Tipasfunction[] | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasfunction_call | Tipasstring|object | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasprompt_cache_options | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Priklauso nuo modelio | Numatyta— |
Laukasmodalities | Tipasstring[] | ReikalavimasNeprivaloma | Reikšmės ir ribos text | Numatyta— |
Laukasprovider | Tipasobject | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: provider.options šiame Ultra teksto maršrute atmetamas | Numatyta— |
Laukascache_control.ttl | Tipasstring | ReikalavimasNeprivaloma | Reikšmės ir ribos Sąlygos: 1h atmetamas tikrosiose užklausų podėlio vietose | Numatyta— |
Tekstas · UTF8 tekstas
messages[].content
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages |
Parametrasmaterial_types | Specifikacijatext |
Parametrasmessages | Specifikacijapranešimų masyvas su role/content struktūra |
Parametrasfile_material | Specifikacijatikrasis UTF-8 dokumentas įterptas kaip pažodinis tekstas; failo ID nenumanomas |
Parametrasoptional_controls | Specifikacijastream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrascontrol_scope | Specifikacijapriklauso nuo modelio; naudotojo funkcijų įrankiai skiriasi nuo priglobtų įrankių |
Parametrasoutput_modalities | Specifikacijatext |
Parametrashosted_operations | Specifikacijafalse |
Parametrasmultimodal_input_binding | Specifikacijanull |
Gyvavimo ciklas: synchronous_or_streamed
Siųskite tikslų modelio ID kartu su messages.
Konteksto ilgis nėra išvesties limitas.
Teksto failas gali pateikti pažodinį tekstą; vaizdų / garso / failų objektų įvestims reikia tikslaus susiejimo.
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Konteksto tokenų daugiau nei | Konteksto tokenų iki imtinai | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Konteksto tokenų daugiau nei— | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.0001 / 1K tokenų Išvestis · Išvesties tokenai $0.00066 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUžklausos ilgio pakopa 1 | Įkainių lentelė— | Konteksto tokenų daugiau nei0 | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.0001 / 1K tokenų Išvestis · Išvesties tokenai $0.00066 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.2-3b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.2-3b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.2-3b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite kiekvieną variantą ir jo turinį / įrankių iškvietimus / samprotavimą. SSE prieaugius surinkite pagal varianto / įrankio indeksą; išsaugokite galutinę užbaigimo priežastį ir naudojimo duomenis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukaschoices[].index | Tipasinteger |
Laukaschoices[].message.content | Tipasstring|null |
Laukaschoices[].message.tool_calls | Tipastool_call[] |
Laukaschoices[].message.reasoning_content | Tipasstring |
Laukaschoices[].message.reasoning_details | Tipasobject|array |
Laukaschoices[].finish_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra meta-llama/llama-3.2-3b-instruct
Naudokite aukščiau nurodytus metodų kelius.
meta-llama/llama-3.2-3b-instructMeta Llama 3.2 3B Instruct – kompaktiškas teksto modelis daugiakalbiams pokalbiams, paieškos šaltiniais pagrįstoms santraukoms ir pagalbai rašant. Jo standartinis kontrolinis taškas turi 128K kontekstą; atskirai paskelbti kvantuoti variantai turi kitokį darbinį langą.
Šis aprašas apima modelio galimybes. Pasirinktam metodui Ailoot prieinamos įvestys, išvestys ir parinktys nurodytos toliau.
Meta Llama 3.2 3B Instruct – pagal nurodymus pritaikytas teksto modelis, skirtas daugiakalbiams asistento pokalbiams, paieškos šaltiniais grindžiamam darbui ir apibendrinimui. Gamintojo modelių lentelėje nurodyta 3B klasė su 3.21B parametrų. Jis priima tekstą ir generuoja tekstą arba kodą. Jo kūrimas derina modelio retinimą ir žinių distiliavimą su pritaikymu pagal nurodymus, taip sukuriant mažo modelio profilį tikslinėms rašymo ir asistento užduotims.
Pateikite modeliui šaltinių medžiagą, klausimą ir numatomą atsakymo formą. Pagalbos rašant užklausoje galima nurodyti auditoriją, toną ir detales, kurios turi išlikti. Santraukai galima įvardyti apimtinas dalis ir pageidaujamą ilgį ar struktūrą. Trumpam žinių bazės atsakymui pateikite susijusią ištrauką ir paprašykite tuo šaltiniu pagrįsto paaiškinimo.
Gamintojas tarp numatytų pagal nurodymus pritaikytų teksto modelių naudojimo būdų įvardija žinių paiešką, apibendrinimą, mobiliuosius rašymo asistentus, užklausų performulavimą ir užklausų modeliui perrašymą. Paieškos programa gali pateikti rastas ištraukas ir paprašyti modelio suformuluoti atsakymą. Kartu su rezultatu išsaugokite ištraukų identifikatorius, kad skaitytojas ar kitas komponentas galėtų peržiūrėti įrodymus.
Performuluodami užklausą išsaugokite originalų klausimą ir prašykite glaustos paieškos formuluotės, išlaikančios jo tikslą. Dokumento santraukai prašykite pagrindinių teiginių ir juos veikiančių išlygų. Faktinę išvestį peržiūrėkite ieškodami praleistų sąlygų, pakeistų skaičių ar išgalvotos informacijos, ypač kai trumpas atsakymas suspaudžia didesnį šaltinį.
Anglų, vokiečių, prancūzų, italų, portugalų, hindi, ispanų ir tajų yra aštuonios oficialiai palaikomos kalbos. Nurodykite pageidaujamą išvesties kalbą ir išsaugokite vardų ar specialiųjų terminų rašybą, kuri turi likti nepakitusi. Daugiakalbė užduotis turėtų turėti pakankamai šaltinio konteksto grąžintos formuluotės prasmei įvertinti, užuot pasikliovus vien sklandumu.
Standartinis Llama 3.2 teksto kontrolinis taškas turi 128K žetonų konteksto langą. Šį biudžetą naudokite susijusiai šaltinių medžiagai, pokalbio istorijai ir generuojamam rezultatui. Išsaugokite tęsimui reikalingus ankstesnius sprendimus ir palikite vietos atsakymui. Išankstinio mokymo duomenų riba yra 2023 m. gruodis, todėl vėlesnei informacijai reikia įrodymų, pateiktų su užduotimi arba aplinkinės paieškos programos.
Tai Instruct kontrolinis taškas, parengtas į asistentą panašiam dialogui. Modelio kortelėje aprašytas prižiūrimasis tikslinimas ir derinimas pagal žmonių pageidavimus bei papildomas distiliavimas kuriant mažus modelius. Naudojimo pavyzdžiuose sisteminės ir naudotojo žinutės pateikiamos pokalbio formatu. Sisteminis nurodymas gali apibrėžti vaidmenį ir išvesties lūkesčius, o naudotojo žinutė pateikia dabartinę užduotį ir šaltinius.
Tiesiogiai naudodami kontrolinį tašką, išlaikykite pasirinktam leidimui tinkamą pokalbio formatą. Aiškiai apibrėžkite rezultatą ir peržiūrėkite sugeneruotą atsakymą, įskaitant jo ryšį su pateiktais įrodymais. Struktūrizuotam tekstiniam artefaktui nurodykite reikiamus laukus ar antraštes ir patikrinkite faktinę išvestį prieš programai ją panaudojant; rašytinis formato prašymas negarantuoja, kad kiekviena reikšmė teisinga.
Gamintojas skiria standartinį teksto modelį nuo atskirai paskelbtų kvantuotų Llama 3.2 teksto profilių. Jo modelių lentelėje šiems kvantuotiems profiliams nurodytas 8K kontekstas, besiskiriantis nuo standartinio 128K lango. Modelį ir darbinį biudžetą rinkitės kartu, užuot manę, kad kiekvienas 3B pažymėtas diegimas išlaiko tokį patį konteksto limitą.
3B Instruct modelis taip pat atskiras nuo didesnių Llama 3.2 regos modelių. Šiam teksto profiliui parenkite tekstinę šaltinių medžiagą arba aplinkinės programos gautą tekstą. Naudokite modelį tiksliniam atsakymui, perrašymui, santraukai ar trumpam kodo paaiškinimui. Kartu su rezultatu išsaugokite pasirinktą kontrolinį tašką, užklausą ir šaltinį, tada kitą nurodymą susiekite su konkrečia trūkstama detale ar pastebėta klaida.
POST /v1/messagestextjson, sse| Laukas | Tipas | Reikalavimas | Reikšmės ir ribos | Numatyta |
|---|---|---|---|---|
Laukasmodel | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos meta-llama/llama-3.2-3b-instruct | Numatyta— |
Laukasmessages | Tipasmessage[] | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmessages[].role | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos user, assistant | Numatyta— |
Laukasmessages[].content | Tipasstring | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasmax_tokens | Tipasinteger | ReikalavimasPrivaloma | Reikšmės ir ribos | Numatyta— |
Laukasstream | Tipasboolean | ReikalavimasNeprivaloma | Reikšmės ir ribos | Numatytafalse |
Tekstas · UTF-8 tekstas
messages[].content eilutė
| Parametras | Specifikacija |
|---|---|
Parametrascontent_type | Specifikacijaapplication/json |
Parametrasrequired | Specifikacijamodel, messages, max_tokens |
Parametrasoptional_controls | Specifikacijastream |
Parametrasmaterial_types | Specifikacijatext |
Parametrastext_file_material | SpecifikacijaPerskaitykite tikrąjį UTF-8 dokumentą ir įterpkite jo tekstą į nurodytą input lauką arba pranešimo turinio eilutę. |
Gyvavimo ciklas: synchronous_or_streamed
Tarifų informacija neprideda užklausos parinkčių. Palaikomi parametrai nurodyti prie pasirinkto metodo.
Kiekvieną mokestį susiekite su nurodytomis sąlygomis. Kiekvienam alternatyvių konfigūracijų rinkiniui taikykite vieną įkainį.
| Konfigūracija | Įkainių lentelė | Konteksto tokenų daugiau nei | Konteksto tokenų iki imtinai | Mokestis |
|---|---|---|---|---|
| KonfigūracijaBaziniai žetonų įkainiai | Įkainių lentelėBazinis įkainis | Konteksto tokenų daugiau nei— | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.0001 / 1K tokenų Išvestis · Išvesties tokenai $0.00066 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
| KonfigūracijaUžklausos ilgio pakopa 1 | Įkainių lentelė— | Konteksto tokenų daugiau nei0 | Konteksto tokenų iki imtinaiBe viršutinės ribos | Mokestis Įvestis · Įvesties tokenai $0.0001 / 1K tokenų Išvestis · Išvesties tokenai $0.00066 / 1K tokenų Įvestis · Talpyklos skaitymas — / 1K tokenų Įvestis · Rašymas į talpyklą — / 1K tokenų Įvestis · Rašymas į talpyklą, 1 val — / 1K tokenų |
Ailoot prieš užklausą rezervuoja numatomą sumą. Gavus rezultatą, galutinis mokestis nuskaitomas pagal išmatuotą naudojimą. Srautinio atsakymo atsiskaitymui naudojamas galutinis naudojimo įrašas. Kaip veikia rezervavimas ir atsiskaitymas →
{\n "model": "meta-llama/llama-3.2-3b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-3b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-3b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON arba SSE
Išsaugokite kiekvieną visą grąžintą atsakymą, failą ir turinio dalį.
Išsaugokite visus turinio blokus, mąstymo parašus ir tikruosius įrankių naudojimo ID. Surinkite visus SSE blokų prieaugius; pirmasis teksto blokas nėra visa išvestis.
Išsaugokite užklausų / atsakymų ID ir antraštes. Bendras teksto užduoties gavimo URL nepateikiamas.
| Laukas | Tipas |
|---|---|
Laukasid | Tipasstring |
Laukasmodel | Tipasstring |
Laukascontent[] | Tipastext|thinking|tool_use|other content block |
Laukasstop_reason | Tipasstring|null |
Laukasusage | Tipasobject |
| Atsakymas | Sąlyga | Kitas žingsnis |
|---|---|---|
Atsakymas400 · invalid_request_error | SąlygaNetinkami privalomi laukai, medžiagos pateikimo forma arba parametro reikšmė | Kitas žingsnisPrieš naują kūrimo užklausą pataisykite nurodytus laukus. |
Ailoot Ultra meta-llama/llama-3.2-3b-instruct
Naudokite aukščiau nurodytus metodų kelius.
Techninis pavyzdys anglų kalba
Rewrite a knowledge-base query\n\nRewrite this support question into one concise search query: 'I changed my work email yesterday and now the old address still gets export notifications, even though I log in with the new one.' Preserve the distinction between login identity and notification destination. Return the query and two key concepts it must retain; do not answer the question.One search query plus two retained concepts covering changed login email and stale export-notification address.The rewrite keeps the notification problem and does not collapse it into a login failure.