Llama 3.1 8B Instruct on Metan kahdeksan miljardin parametrin tekstimalli monikieliseen keskusteluun ja ohjeisiin perustuviin avustajiin. Se vastaanottaa kirjallista keskustelua ja lähdeaineistoa sekä tuottaa tekstiä tai koodia. Se on 8B-koon Instruct-versio, joka eroaa esikoulutetusta perustastaan sekä malliperheen 70B- ja 405B-malleista.
Arkkitehtuuri, konteksti ja kielet
Malli käyttää autoregressiivistä Transformer-arkkitehtuuria ja grouped-query attention -mekanismia. Ohjeviritetyn malliperheen keskusteluvastauksia mukautetaan ohjatulla hienosäädöllä ja ihmispalautteeseen perustuvalla vahvistusoppimisella. Valmistaja dokumentoi tälle tekstijulkaisulle 128k-kontekstin; kyse ei ole myöhemmän Llama 4 -mallin näkö- tai pitkän kontekstin määrityksestä.
Kahdeksan virallisesti tuettua kieltä ovat englanti, saksa, ranska, italia, portugali, hindi, espanja ja thai. Esikoulutusaineisto kattaa laajemman kokoelman, joka eroaa kortissa nimenomaisesti tuetuista kielistä. Ilmoita lopullinen kieli sekä nimet, muuttujatunnisteet ja termit, joiden tulee säilyä muuttumattomina monikielisessä tuloksessa.
Malliperhe on esikoulutettu noin viidellätoista biljoonalla tokenilla, ja aineiston aikaraja on joulukuu 2023. Hienosäätö sisältää ohjeaineistoa ja yli kaksikymmentäviisi miljoonaa synteettistä esimerkkiä. Tämä kuvaa mallin koulutusta, ei pääsyä yksityiseen tietopankkiin tai ajantasaiseen tietoon uuden kysymyksen saapuessa.
Määritellyt tekstitoiminnot
Tukitehtävään suunnattu pyyntö voi sisältää käyttäjän viestin ja olennaiset viitekatkelmat, minkä jälkeen pyydetään vastaus ja sitä tukeva ehto. Tiivis tietue voi erottaa ongelman, jo annetut tiedot ja seuraavan tarvittavan vaiheen. Määrittele kenttien nimet ja puuttuvien arvojen käsittely, kun sovelluksen on käsiteltävä tulosta.
Anna tiivistämistä varten varsinainen katkelma tai viestinvaihto sekä määrittele kohdeyleisö, pituus ja säilytettävät faktat. Pyydä yhteen aiheeseen liittyvät päätökset tai ratkaisemattomat kysymykset sen sijaan, että pyytäisit kohdentamattoman yhteenvedon toisistaan irrallisista aineistoista. Jatkopyynnössä voidaan pyytää lyhyempi vastaus tai yhden ehdon selkeämpi selitys säilyttäen samat lähdefaktat.
Määrittele muokkaamista varten lukija ja sävy sekä merkitys, jonka on säilyttävä muuttumattomana. Käytännöllinen tehtävä voi pyytää selkeämpää viestiä ja sen jälkeen lyhyttä muutosluetteloa tai pelkkää muokattua viestiä, jos sitä käytetään suoraan. Luokittelutehtävän tulee antaa sallitut luokat ja niiden erot sen sijaan, että luokan nimen oletettaisiin määrittelevän säännön.
Koodin ja esimerkkien tuottaminen
Dokumentoitu tulos sisältää myös koodin. Anna ohjelmointikieli, vaaditut syötteet ja odotettu tulos ennen funktion pyytämistä. Anna selitystä varten olemassa oleva funktio ja konkreettinen syöte sekä kysy, mitkä vaiheet määräävät sen palautusarvon. Sisällytä korjauspyyntöön havaittu virhe ja tavoiteltu käyttäytyminen säilyttäen yhteensopivana pysyvä rajapinta.
Hyödyllinen tulos voi erottaa ehdotetun koodin, sen oletukset ja esimerkkisyötteet. Varsinaisen käännöksen, suorituksen tai koodivarastomuutoksen tekee sovellus tai kehittäjä. Kirjallinen lähdekoodi on tarkastettava tuotos eikä suoritettu ulkoinen toimenpide pelkästään siksi, että malli palautti sen.
Malliperhe tukee myös tuotosten käyttämistä synteettisiin esimerkkeihin ja tislaukseen. Määritelty tekstipyyntö voi tuottaa muunnelmia annettujen sääntöjen mukaisesti ja määritellyssä muodossa. Säilytä säännöt ja luokkatunnukset jokaisen esimerkin tarkastamista varten; tuotetut esimerkit eivät itsessään osoita koulutusaineiston oikeellisuutta.
Keskusteluroolit ja työkalujen käyttö
Mallikortti havainnollistaa keskustelumallinetta, jossa on erilliset järjestelmä- ja käyttäjäviestit. Määrittele avustajan rooli ja vastausvaatimukset järjestelmäkontekstissa ja anna sitten kysymys sekä lähdeaineisto tehtävänä. Säilytä olennaiset aiemmat viestit, kun esität jatkokysymyksen tai uutta näyttöä, joka muuttaa tulosta.
Llama 3.1 dokumentoi useita työkalunkäyttömuotoja. Sovellus kuvaa funktion, malli tuottaa ehdotetun kutsun ja argumentit, sovellus suorittaa sen ja palauttaa tuloksen työkaluroolissa. Seuraava vastaus voi käyttää palautettua tietoa. Pidä alkuperäinen toimenpide ja sen tulos yhdistettyinä keskustelussa.
Esimerkiksi haku voi palauttaa katkelmasta puuttuvan ajantasaisen viitearvon tai laskentatyökalu selityksessä tarvittavan numeerisen tuloksen. Työkaluja käyttävä avustaja tarvitsee nämä toiminnot ympäristöstään. Mallin tekstikäyttäytyminen ei itsessään luo yhteyttä ulkoiseen lähteeseen tai suorita sivuvaikutusta.
Käytännön rajat
Valmistajan 128k-kontekstimerkintä tulee pitää yhteydessä täsmälliseen 8B Instruct -julkaisuun ja sovellettavaan kokoonpanoon. 256 tokenin generointiesimerkki on vain käyttövalinta; luetuissa lähteissä ei ilmoiteta erillistä kovaa vastauksen enimmäiskapasiteettia. 8B-koon ei tule periä toisen jäsenen parametrimäärää tai erillisen malliperheen nimettyjä päättelysäätimiä.
Tämä on vain tekstiä käsittelevä malli. Kuva- ja äänisyötteet sekä puheen tuottaminen vaativat erikseen määritellyt komponentit. Määrittele lopullinen tuotos ennen aineiston antamista: tiivis vastaus, poimittu tietue, muokattu katkelma, selitys tai koodiehdotus. Säilytä tuotoksen merkityksen ja muodon tarkastamiseen tarvittavat lähdetiedot.
", "aboutText": "Llama 3.1 8B Instruct on Metan kahdeksan miljardin parametrin tekstimalli monikieliseen keskusteluun ja ohjeisiin perustuviin avustajiin. Se vastaanottaa kirjallista keskustelua ja lähdeaineistoa sekä tuottaa tekstiä tai koodia. Se on 8B-koon Instruct-versio, joka eroaa esikoulutetusta perustastaan sekä malliperheen 70B- ja 405B-malleista.\n\nArkkitehtuuri, konteksti ja kielet\n\nMalli käyttää autoregressiivistä Transformer-arkkitehtuuria ja grouped-query attention -mekanismia. Ohjeviritetyn malliperheen keskusteluvastauksia mukautetaan ohjatulla hienosäädöllä ja ihmispalautteeseen perustuvalla vahvistusoppimisella. Valmistaja dokumentoi tälle tekstijulkaisulle 128k-kontekstin; kyse ei ole myöhemmän Llama 4 -mallin näkö- tai pitkän kontekstin määrityksestä.\n\nKahdeksan virallisesti tuettua kieltä ovat englanti, saksa, ranska, italia, portugali, hindi, espanja ja thai. Esikoulutusaineisto kattaa laajemman kokoelman, joka eroaa kortissa nimenomaisesti tuetuista kielistä. Ilmoita lopullinen kieli sekä nimet, muuttujatunnisteet ja termit, joiden tulee säilyä muuttumattomina monikielisessä tuloksessa.\n\nMalliperhe on esikoulutettu noin viidellätoista biljoonalla tokenilla, ja aineiston aikaraja on joulukuu 2023. Hienosäätö sisältää ohjeaineistoa ja yli kaksikymmentäviisi miljoonaa synteettistä esimerkkiä. Tämä kuvaa mallin koulutusta, ei pääsyä yksityiseen tietopankkiin tai ajantasaiseen tietoon uuden kysymyksen saapuessa.\n\nMääritellyt tekstitoiminnot\n\nTukitehtävään suunnattu pyyntö voi sisältää käyttäjän viestin ja olennaiset viitekatkelmat, minkä jälkeen pyydetään vastaus ja sitä tukeva ehto. Tiivis tietue voi erottaa ongelman, jo annetut tiedot ja seuraavan tarvittavan vaiheen. Määrittele kenttien nimet ja puuttuvien arvojen käsittely, kun sovelluksen on käsiteltävä tulosta.\n\nAnna tiivistämistä varten varsinainen katkelma tai viestinvaihto sekä määrittele kohdeyleisö, pituus ja säilytettävät faktat. Pyydä yhteen aiheeseen liittyvät päätökset tai ratkaisemattomat kysymykset sen sijaan, että pyytäisit kohdentamattoman yhteenvedon toisistaan irrallisista aineistoista. Jatkopyynnössä voidaan pyytää lyhyempi vastaus tai yhden ehdon selkeämpi selitys säilyttäen samat lähdefaktat.\n\nMäärittele muokkaamista varten lukija ja sävy sekä merkitys, jonka on säilyttävä muuttumattomana. Käytännöllinen tehtävä voi pyytää selkeämpää viestiä ja sen jälkeen lyhyttä muutosluetteloa tai pelkkää muokattua viestiä, jos sitä käytetään suoraan. Luokittelutehtävän tulee antaa sallitut luokat ja niiden erot sen sijaan, että luokan nimen oletettaisiin määrittelevän säännön.\n\nKoodin ja esimerkkien tuottaminen\n\nDokumentoitu tulos sisältää myös koodin. Anna ohjelmointikieli, vaaditut syötteet ja odotettu tulos ennen funktion pyytämistä. Anna selitystä varten olemassa oleva funktio ja konkreettinen syöte sekä kysy, mitkä vaiheet määräävät sen palautusarvon. Sisällytä korjauspyyntöön havaittu virhe ja tavoiteltu käyttäytyminen säilyttäen yhteensopivana pysyvä rajapinta.\n\nHyödyllinen tulos voi erottaa ehdotetun koodin, sen oletukset ja esimerkkisyötteet. Varsinaisen käännöksen, suorituksen tai koodivarastomuutoksen tekee sovellus tai kehittäjä. Kirjallinen lähdekoodi on tarkastettava tuotos eikä suoritettu ulkoinen toimenpide pelkästään siksi, että malli palautti sen.\n\nMalliperhe tukee myös tuotosten käyttämistä synteettisiin esimerkkeihin ja tislaukseen. Määritelty tekstipyyntö voi tuottaa muunnelmia annettujen sääntöjen mukaisesti ja määritellyssä muodossa. Säilytä säännöt ja luokkatunnukset jokaisen esimerkin tarkastamista varten; tuotetut esimerkit eivät itsessään osoita koulutusaineiston oikeellisuutta.\n\nKeskusteluroolit ja työkalujen käyttö\n\nMallikortti havainnollistaa keskustelumallinetta, jossa on erilliset järjestelmä- ja käyttäjäviestit. Määrittele avustajan rooli ja vastausvaatimukset järjestelmäkontekstissa ja anna sitten kysymys sekä lähdeaineisto tehtävänä. Säilytä olennaiset aiemmat viestit, kun esität jatkokysymyksen tai uutta näyttöä, joka muuttaa tulosta.\n\nLlama 3.1 dokumentoi useita työkalunkäyttömuotoja. Sovellus kuvaa funktion, malli tuottaa ehdotetun kutsun ja argumentit, sovellus suorittaa sen ja palauttaa tuloksen työkaluroolissa. Seuraava vastaus voi käyttää palautettua tietoa. Pidä alkuperäinen toimenpide ja sen tulos yhdistettyinä keskustelussa.\n\nEsimerkiksi haku voi palauttaa katkelmasta puuttuvan ajantasaisen viitearvon tai laskentatyökalu selityksessä tarvittavan numeerisen tuloksen. Työkaluja käyttävä avustaja tarvitsee nämä toiminnot ympäristöstään. Mallin tekstikäyttäytyminen ei itsessään luo yhteyttä ulkoiseen lähteeseen tai suorita sivuvaikutusta.\n\nKäytännön rajat\n\nValmistajan 128k-kontekstimerkintä tulee pitää yhteydessä täsmälliseen 8B Instruct -julkaisuun ja sovellettavaan kokoonpanoon. 256 tokenin generointiesimerkki on vain käyttövalinta; luetuissa lähteissä ei ilmoiteta erillistä kovaa vastauksen enimmäiskapasiteettia. 8B-koon ei tule periä toisen jäsenen parametrimäärää tai erillisen malliperheen nimettyjä päättelysäätimiä.\n\nTämä on vain tekstiä käsittelevä malli. Kuva- ja äänisyötteet sekä puheen tuottaminen vaativat erikseen määritellyt komponentit. Määrittele lopullinen tuotos ennen aineiston antamista: tiivis vastaus, poimittu tietue, muokattu katkelma, selitys tai koodiehdotus. Säilytä tuotoksen merkityksen ja muodon tarkastamiseen tarvittavat lähdetiedot.", "editorialOverlay": { "copy_fields": { "practical_html": "Tekninen esimerkki englanniksi
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct on Metan pienempi ohjeviritetty tekstimalli monikieliseen keskusteluun, tiivistelmiin ja lähteisiin sidottuihin vastauksiin. Sen koko on 8B parametria, valmistajan ilmoittama konteksti 128k, ja se käyttää grouped-query attention -mekanismia sekä dokumentoituja työkalunkäyttömuotoja. Tuloksena saadaan tekstiä tai koodia.
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
Llama 3.1 8B Instruct on Metan kahdeksan miljardin parametrin tekstimalli monikieliseen keskusteluun ja ohjeisiin perustuviin avustajiin. Se vastaanottaa kirjallista keskustelua ja lähdeaineistoa sekä tuottaa tekstiä tai koodia. Se on 8B-koon Instruct-versio, joka eroaa esikoulutetusta perustastaan sekä malliperheen 70B- ja 405B-malleista.
Arkkitehtuuri, konteksti ja kielet
Malli käyttää autoregressiivistä Transformer-arkkitehtuuria ja grouped-query attention -mekanismia. Ohjeviritetyn malliperheen keskusteluvastauksia mukautetaan ohjatulla hienosäädöllä ja ihmispalautteeseen perustuvalla vahvistusoppimisella. Valmistaja dokumentoi tälle tekstijulkaisulle 128k-kontekstin; kyse ei ole myöhemmän Llama 4 -mallin näkö- tai pitkän kontekstin määrityksestä.
Kahdeksan virallisesti tuettua kieltä ovat englanti, saksa, ranska, italia, portugali, hindi, espanja ja thai. Esikoulutusaineisto kattaa laajemman kokoelman, joka eroaa kortissa nimenomaisesti tuetuista kielistä. Ilmoita lopullinen kieli sekä nimet, muuttujatunnisteet ja termit, joiden tulee säilyä muuttumattomina monikielisessä tuloksessa.
Malliperhe on esikoulutettu noin viidellätoista biljoonalla tokenilla, ja aineiston aikaraja on joulukuu 2023. Hienosäätö sisältää ohjeaineistoa ja yli kaksikymmentäviisi miljoonaa synteettistä esimerkkiä. Tämä kuvaa mallin koulutusta, ei pääsyä yksityiseen tietopankkiin tai ajantasaiseen tietoon uuden kysymyksen saapuessa.
Määritellyt tekstitoiminnot
Tukitehtävään suunnattu pyyntö voi sisältää käyttäjän viestin ja olennaiset viitekatkelmat, minkä jälkeen pyydetään vastaus ja sitä tukeva ehto. Tiivis tietue voi erottaa ongelman, jo annetut tiedot ja seuraavan tarvittavan vaiheen. Määrittele kenttien nimet ja puuttuvien arvojen käsittely, kun sovelluksen on käsiteltävä tulosta.
Anna tiivistämistä varten varsinainen katkelma tai viestinvaihto sekä määrittele kohdeyleisö, pituus ja säilytettävät faktat. Pyydä yhteen aiheeseen liittyvät päätökset tai ratkaisemattomat kysymykset sen sijaan, että pyytäisit kohdentamattoman yhteenvedon toisistaan irrallisista aineistoista. Jatkopyynnössä voidaan pyytää lyhyempi vastaus tai yhden ehdon selkeämpi selitys säilyttäen samat lähdefaktat.
Määrittele muokkaamista varten lukija ja sävy sekä merkitys, jonka on säilyttävä muuttumattomana. Käytännöllinen tehtävä voi pyytää selkeämpää viestiä ja sen jälkeen lyhyttä muutosluetteloa tai pelkkää muokattua viestiä, jos sitä käytetään suoraan. Luokittelutehtävän tulee antaa sallitut luokat ja niiden erot sen sijaan, että luokan nimen oletettaisiin määrittelevän säännön.
Koodin ja esimerkkien tuottaminen
Dokumentoitu tulos sisältää myös koodin. Anna ohjelmointikieli, vaaditut syötteet ja odotettu tulos ennen funktion pyytämistä. Anna selitystä varten olemassa oleva funktio ja konkreettinen syöte sekä kysy, mitkä vaiheet määräävät sen palautusarvon. Sisällytä korjauspyyntöön havaittu virhe ja tavoiteltu käyttäytyminen säilyttäen yhteensopivana pysyvä rajapinta.
Hyödyllinen tulos voi erottaa ehdotetun koodin, sen oletukset ja esimerkkisyötteet. Varsinaisen käännöksen, suorituksen tai koodivarastomuutoksen tekee sovellus tai kehittäjä. Kirjallinen lähdekoodi on tarkastettava tuotos eikä suoritettu ulkoinen toimenpide pelkästään siksi, että malli palautti sen.
Malliperhe tukee myös tuotosten käyttämistä synteettisiin esimerkkeihin ja tislaukseen. Määritelty tekstipyyntö voi tuottaa muunnelmia annettujen sääntöjen mukaisesti ja määritellyssä muodossa. Säilytä säännöt ja luokkatunnukset jokaisen esimerkin tarkastamista varten; tuotetut esimerkit eivät itsessään osoita koulutusaineiston oikeellisuutta.
Keskusteluroolit ja työkalujen käyttö
Mallikortti havainnollistaa keskustelumallinetta, jossa on erilliset järjestelmä- ja käyttäjäviestit. Määrittele avustajan rooli ja vastausvaatimukset järjestelmäkontekstissa ja anna sitten kysymys sekä lähdeaineisto tehtävänä. Säilytä olennaiset aiemmat viestit, kun esität jatkokysymyksen tai uutta näyttöä, joka muuttaa tulosta.
Llama 3.1 dokumentoi useita työkalunkäyttömuotoja. Sovellus kuvaa funktion, malli tuottaa ehdotetun kutsun ja argumentit, sovellus suorittaa sen ja palauttaa tuloksen työkaluroolissa. Seuraava vastaus voi käyttää palautettua tietoa. Pidä alkuperäinen toimenpide ja sen tulos yhdistettyinä keskustelussa.
Esimerkiksi haku voi palauttaa katkelmasta puuttuvan ajantasaisen viitearvon tai laskentatyökalu selityksessä tarvittavan numeerisen tuloksen. Työkaluja käyttävä avustaja tarvitsee nämä toiminnot ympäristöstään. Mallin tekstikäyttäytyminen ei itsessään luo yhteyttä ulkoiseen lähteeseen tai suorita sivuvaikutusta.
Käytännön rajat
Valmistajan 128k-kontekstimerkintä tulee pitää yhteydessä täsmälliseen 8B Instruct -julkaisuun ja sovellettavaan kokoonpanoon. 256 tokenin generointiesimerkki on vain käyttövalinta; luetuissa lähteissä ei ilmoiteta erillistä kovaa vastauksen enimmäiskapasiteettia. 8B-koon ei tule periä toisen jäsenen parametrimäärää tai erillisen malliperheen nimettyjä päättelysäätimiä.
Tämä on vain tekstiä käsittelevä malli. Kuva- ja äänisyötteet sekä puheen tuottaminen vaativat erikseen määritellyt komponentit. Määrittele lopullinen tuotos ennen aineiston antamista: tiivis vastaus, poimittu tietue, muokattu katkelma, selitys tai koodiehdotus. Säilytä tuotoksen merkityksen ja muodon tarkastamiseen tarvittavat lähdetiedot.
POST /v1/chat/completionstexttext| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat meta-llama/llama-3.1-8b-instruct | Oletus— |
Kenttämessages | Tyyppimessage[] | VaatimusPakollinen | Arvot & rajat Kohteiden vähimmäismäärä: 1 | Oletus— |
Kenttämessages[].role | Tyyppistring | VaatimusPakollinen | Arvot & rajat Esimerkit: system, user, assistant, tool, function Ehdot: Nämä roolit esitetään nimenomaisesti lähdekoodin yhteensopivuustyypeissä; mallin täsmällinen roolijoukko pysyy mallikohtaisena. Riippuu mallista | Oletus— |
Kenttämessages[].content | Tyyppistring|content_part[]|null | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttämessages[].tool_calls | Tyyppitool_call[] | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttämessages[].tool_call_id | Tyyppistring | VaatimusValinnainen | Arvot & rajat Sovelletaan, kun: role=tool; käytä todella palautettua ID:tä | Oletus— |
Kenttämessages[].name | Tyyppistring | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttämessages[].reasoning_content | Tyyppistring | VaatimusValinnainen | Arvot & rajat Sovelletaan, kun: Palauta todella saatu päättely takaisin mallille, kun kyseinen malli käyttää sitä | Oletus— |
Kenttämessages[].reasoning_details | Tyyppiobject|array | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttämax_tokens | Tyyppiinteger | VaatimusValinnainen | Arvot & rajat Vähimmäismäärä: 1 Riippuu mallista | Oletus— |
Kenttämax_completion_tokens | Tyyppiinteger | VaatimusValinnainen | Arvot & rajat Vähimmäismäärä: 1 Riippuu mallista | Oletus— |
Kenttästream | Tyyppiboolean | VaatimusValinnainen | Arvot & rajat | Oletusfalse |
Kenttästream_options.include_usage | Tyyppiboolean | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttätemperature | Tyyppinumber | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttätop_p | Tyyppinumber | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttästop | Tyyppistring|string[] | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttätools | Tyyppifunction_tool[] | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttätools[].type | Tyyppistring | VaatimusValinnainen | Arvot & rajat function Riippuu mallista | Oletus— |
Kenttätools[].function.name | Tyyppistring | VaatimusPakollinen | Arvot & rajat Sovelletaan, kun: funktiotyökalu annettu | Oletus— |
Kenttätools[].function.description | Tyyppistring | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttätools[].function.parameters | TyyppiJSON_schema | VaatimusValinnainen | Arvot & rajat | Oletus— |
Kenttätool_choice | Tyyppistring|object | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäparallel_tool_calls | Tyyppiboolean | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäresponse_format | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäreasoning_effort | Tyyppistring | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäreasoning | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäservice_tier | Tyyppistring | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäinstructions | Tyyppistring | VaatimusValinnainen | Arvot & rajat Yhteensopivuuskenttä | Oletus— |
Kenttäfunctions | Tyyppifunction[] | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäfunction_call | Tyyppistring|object | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttäprompt_cache_options | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Riippuu mallista | Oletus— |
Kenttämodalities | Tyyppistring[] | VaatimusValinnainen | Arvot & rajat text | Oletus— |
Kenttäprovider | Tyyppiobject | VaatimusValinnainen | Arvot & rajat Ehdot: provider.options hylätään tällä Ultran tekstireitillä | Oletus— |
Kenttäcache_control.ttl | Tyyppistring | VaatimusValinnainen | Arvot & rajat Ehdot: 1h hylätään varsinaisissa kehotevälimuistin kohdissa | Oletus— |
Teksti · UTF8-teksti
messages[].content
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, messages |
Parametrimaterial_types | Sopimustext |
Parametrimessages | Sopimusviestitaulukko role/content-rakenteella |
Parametrifile_material | Sopimusvarsinainen UTF-8-asiakirja lisätään sellaisenaan tekstinä; tiedoston ID:tä ei päätellä |
Parametrioptional_controls | Sopimusstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametricontrol_scope | Sopimusmallikohtainen; käyttäjän funktiotyökalut eroavat palvelun isännöimistä työkaluista |
Parametrioutput_modalities | Sopimustext |
Parametrihosted_operations | Sopimusfalse |
Parametrimultimodal_input_binding | Sopimusnull |
Elinkaari: synchronous_or_streamed
Lähetä mallin täsmällinen ID yhdessä messages-kentän kanssa.
Kontekstin pituus ei ole tuloksen yläraja.
Tekstitiedosto voi antaa tekstiä sellaisenaan; kuva-, ääni- ja tiedosto-objektisyötteet tarvitsevat täsmällisen sidonnan.
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
Kohdista kukin veloitus näytettyihin ehtoihin. Käytä yhtä hintaa kutakin vaihtoehtoisten asetusten ryhmää kohden.
| Asetukset | Hinnasto | Kontekstin tokenit, enemmän kuin | Kontekstin tokenit, enintään raja-arvo mukaan lukien | Veloitus |
|---|---|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Kontekstin tokenit, enemmän kuin— | Kontekstin tokenit, enintään raja-arvo mukaan lukienEi ylärajaa | Veloitus Syöte · Syötetokenit $0.00044 / 1K tokenia Tuloste · Tulostokenit $0.00044 / 1K tokenia Syöte · Välimuistin luku $0.00044 / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
| AsetuksetPyynnön pituusluokka 1 | Hinnasto— | Kontekstin tokenit, enemmän kuin0 | Kontekstin tokenit, enintään raja-arvo mukaan lukienEi ylärajaa | Veloitus Syöte · Syötetokenit $0.00044 / 1K tokenia Tuloste · Tulostokenit $0.00044 / 1K tokenia Syöte · Välimuistin luku $0.00044 / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson tai SSE
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä jokainen vastausvaihtoehto sisältöineen, työkalukutsuineen ja päättelyineen. Kokoa SSE:ssä muutokset vastausvaihtoehdon ja työkalun indeksin mukaan ja säilytä lopullinen päättymissyy sekä käyttötiedot.
Säilytä pyyntöjen/vastausten ID:t ja otsakkeet. Yleistä tekstityön haku-URL:ää ei anneta.
| Kenttä | Tyyppi |
|---|---|
Kenttächoices[].index | Tyyppiinteger |
Kenttächoices[].message.content | Tyyppistring|null |
Kenttächoices[].message.tool_calls | Tyyppitool_call[] |
Kenttächoices[].message.reasoning_content | Tyyppistring |
Kenttächoices[].message.reasoning_details | Tyyppiobject|array |
Kenttächoices[].finish_reason | Tyyppistring|null |
Kenttäusage | Tyyppiobject |
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Käytä yllä näytettyjä menetelmäpolkuja.
meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct on Metan pienempi ohjeviritetty tekstimalli monikieliseen keskusteluun, tiivistelmiin ja lähteisiin sidottuihin vastauksiin. Sen koko on 8B parametria, valmistajan ilmoittama konteksti 128k, ja se käyttää grouped-query attention -mekanismia sekä dokumentoituja työkalunkäyttömuotoja. Tuloksena saadaan tekstiä tai koodia.
Tämä kuvaus kattaa mallin ominaisuudet. Ailootissa saatavilla olevat syötteet, tulosteet ja asetukset luetellaan alla valitulle menetelmälle.
Llama 3.1 8B Instruct on Metan kahdeksan miljardin parametrin tekstimalli monikieliseen keskusteluun ja ohjeisiin perustuviin avustajiin. Se vastaanottaa kirjallista keskustelua ja lähdeaineistoa sekä tuottaa tekstiä tai koodia. Se on 8B-koon Instruct-versio, joka eroaa esikoulutetusta perustastaan sekä malliperheen 70B- ja 405B-malleista.
Arkkitehtuuri, konteksti ja kielet
Malli käyttää autoregressiivistä Transformer-arkkitehtuuria ja grouped-query attention -mekanismia. Ohjeviritetyn malliperheen keskusteluvastauksia mukautetaan ohjatulla hienosäädöllä ja ihmispalautteeseen perustuvalla vahvistusoppimisella. Valmistaja dokumentoi tälle tekstijulkaisulle 128k-kontekstin; kyse ei ole myöhemmän Llama 4 -mallin näkö- tai pitkän kontekstin määrityksestä.
Kahdeksan virallisesti tuettua kieltä ovat englanti, saksa, ranska, italia, portugali, hindi, espanja ja thai. Esikoulutusaineisto kattaa laajemman kokoelman, joka eroaa kortissa nimenomaisesti tuetuista kielistä. Ilmoita lopullinen kieli sekä nimet, muuttujatunnisteet ja termit, joiden tulee säilyä muuttumattomina monikielisessä tuloksessa.
Malliperhe on esikoulutettu noin viidellätoista biljoonalla tokenilla, ja aineiston aikaraja on joulukuu 2023. Hienosäätö sisältää ohjeaineistoa ja yli kaksikymmentäviisi miljoonaa synteettistä esimerkkiä. Tämä kuvaa mallin koulutusta, ei pääsyä yksityiseen tietopankkiin tai ajantasaiseen tietoon uuden kysymyksen saapuessa.
Määritellyt tekstitoiminnot
Tukitehtävään suunnattu pyyntö voi sisältää käyttäjän viestin ja olennaiset viitekatkelmat, minkä jälkeen pyydetään vastaus ja sitä tukeva ehto. Tiivis tietue voi erottaa ongelman, jo annetut tiedot ja seuraavan tarvittavan vaiheen. Määrittele kenttien nimet ja puuttuvien arvojen käsittely, kun sovelluksen on käsiteltävä tulosta.
Anna tiivistämistä varten varsinainen katkelma tai viestinvaihto sekä määrittele kohdeyleisö, pituus ja säilytettävät faktat. Pyydä yhteen aiheeseen liittyvät päätökset tai ratkaisemattomat kysymykset sen sijaan, että pyytäisit kohdentamattoman yhteenvedon toisistaan irrallisista aineistoista. Jatkopyynnössä voidaan pyytää lyhyempi vastaus tai yhden ehdon selkeämpi selitys säilyttäen samat lähdefaktat.
Määrittele muokkaamista varten lukija ja sävy sekä merkitys, jonka on säilyttävä muuttumattomana. Käytännöllinen tehtävä voi pyytää selkeämpää viestiä ja sen jälkeen lyhyttä muutosluetteloa tai pelkkää muokattua viestiä, jos sitä käytetään suoraan. Luokittelutehtävän tulee antaa sallitut luokat ja niiden erot sen sijaan, että luokan nimen oletettaisiin määrittelevän säännön.
Koodin ja esimerkkien tuottaminen
Dokumentoitu tulos sisältää myös koodin. Anna ohjelmointikieli, vaaditut syötteet ja odotettu tulos ennen funktion pyytämistä. Anna selitystä varten olemassa oleva funktio ja konkreettinen syöte sekä kysy, mitkä vaiheet määräävät sen palautusarvon. Sisällytä korjauspyyntöön havaittu virhe ja tavoiteltu käyttäytyminen säilyttäen yhteensopivana pysyvä rajapinta.
Hyödyllinen tulos voi erottaa ehdotetun koodin, sen oletukset ja esimerkkisyötteet. Varsinaisen käännöksen, suorituksen tai koodivarastomuutoksen tekee sovellus tai kehittäjä. Kirjallinen lähdekoodi on tarkastettava tuotos eikä suoritettu ulkoinen toimenpide pelkästään siksi, että malli palautti sen.
Malliperhe tukee myös tuotosten käyttämistä synteettisiin esimerkkeihin ja tislaukseen. Määritelty tekstipyyntö voi tuottaa muunnelmia annettujen sääntöjen mukaisesti ja määritellyssä muodossa. Säilytä säännöt ja luokkatunnukset jokaisen esimerkin tarkastamista varten; tuotetut esimerkit eivät itsessään osoita koulutusaineiston oikeellisuutta.
Keskusteluroolit ja työkalujen käyttö
Mallikortti havainnollistaa keskustelumallinetta, jossa on erilliset järjestelmä- ja käyttäjäviestit. Määrittele avustajan rooli ja vastausvaatimukset järjestelmäkontekstissa ja anna sitten kysymys sekä lähdeaineisto tehtävänä. Säilytä olennaiset aiemmat viestit, kun esität jatkokysymyksen tai uutta näyttöä, joka muuttaa tulosta.
Llama 3.1 dokumentoi useita työkalunkäyttömuotoja. Sovellus kuvaa funktion, malli tuottaa ehdotetun kutsun ja argumentit, sovellus suorittaa sen ja palauttaa tuloksen työkaluroolissa. Seuraava vastaus voi käyttää palautettua tietoa. Pidä alkuperäinen toimenpide ja sen tulos yhdistettyinä keskustelussa.
Esimerkiksi haku voi palauttaa katkelmasta puuttuvan ajantasaisen viitearvon tai laskentatyökalu selityksessä tarvittavan numeerisen tuloksen. Työkaluja käyttävä avustaja tarvitsee nämä toiminnot ympäristöstään. Mallin tekstikäyttäytyminen ei itsessään luo yhteyttä ulkoiseen lähteeseen tai suorita sivuvaikutusta.
Käytännön rajat
Valmistajan 128k-kontekstimerkintä tulee pitää yhteydessä täsmälliseen 8B Instruct -julkaisuun ja sovellettavaan kokoonpanoon. 256 tokenin generointiesimerkki on vain käyttövalinta; luetuissa lähteissä ei ilmoiteta erillistä kovaa vastauksen enimmäiskapasiteettia. 8B-koon ei tule periä toisen jäsenen parametrimäärää tai erillisen malliperheen nimettyjä päättelysäätimiä.
Tämä on vain tekstiä käsittelevä malli. Kuva- ja äänisyötteet sekä puheen tuottaminen vaativat erikseen määritellyt komponentit. Määrittele lopullinen tuotos ennen aineiston antamista: tiivis vastaus, poimittu tietue, muokattu katkelma, selitys tai koodiehdotus. Säilytä tuotoksen merkityksen ja muodon tarkastamiseen tarvittavat lähdetiedot.
POST /v1/messagestextjson, sse| Kenttä | Tyyppi | Vaatimus | Arvot & rajat | Oletus |
|---|---|---|---|---|
Kenttämodel | Tyyppistring | VaatimusPakollinen | Arvot & rajat meta-llama/llama-3.1-8b-instruct | Oletus— |
Kenttämessages | Tyyppimessage[] | VaatimusPakollinen | Arvot & rajat | Oletus— |
Kenttämessages[].role | Tyyppistring | VaatimusPakollinen | Arvot & rajat user, assistant | Oletus— |
Kenttämessages[].content | Tyyppistring | VaatimusPakollinen | Arvot & rajat | Oletus— |
Kenttämax_tokens | Tyyppiinteger | VaatimusPakollinen | Arvot & rajat | Oletus— |
Kenttästream | Tyyppiboolean | VaatimusValinnainen | Arvot & rajat | Oletusfalse |
Teksti · UTF-8-teksti
messages[].content-merkkijono
| Parametri | Sopimus |
|---|---|
Parametricontent_type | Sopimusapplication/json |
Parametrirequired | Sopimusmodel, messages, max_tokens |
Parametrioptional_controls | Sopimusstream |
Parametrimaterial_types | Sopimustext |
Parametritext_file_material | SopimusLue varsinainen UTF-8-asiakirja ja sijoita sen teksti ilmoitettuun syöte- tai viestisisällön merkkijonoon. |
Elinkaari: synchronous_or_streamed
Hintatiedot eivät lisää pyyntövalintoja. Tuetut parametrit on lueteltu valitulle menetelmälle.
Kohdista kukin veloitus näytettyihin ehtoihin. Käytä yhtä hintaa kutakin vaihtoehtoisten asetusten ryhmää kohden.
| Asetukset | Hinnasto | Kontekstin tokenit, enemmän kuin | Kontekstin tokenit, enintään raja-arvo mukaan lukien | Veloitus |
|---|---|---|---|---|
| AsetuksetTokenien perushinnat | HinnastoPerushinta | Kontekstin tokenit, enemmän kuin— | Kontekstin tokenit, enintään raja-arvo mukaan lukienEi ylärajaa | Veloitus Syöte · Syötetokenit $0.00044 / 1K tokenia Tuloste · Tulostokenit $0.00044 / 1K tokenia Syöte · Välimuistin luku $0.00044 / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
| AsetuksetPyynnön pituusluokka 1 | Hinnasto— | Kontekstin tokenit, enemmän kuin0 | Kontekstin tokenit, enintään raja-arvo mukaan lukienEi ylärajaa | Veloitus Syöte · Syötetokenit $0.00044 / 1K tokenia Tuloste · Tulostokenit $0.00044 / 1K tokenia Syöte · Välimuistin luku $0.00044 / 1K tokenia Syöte · Välimuistiin kirjoitus — / 1K tokenia Syöte · Välimuistiin kirjoitus, 1 tunti — / 1K tokenia |
Ailoot varaa arvioidun summan ennen pyyntöä. Tuloksen jälkeen lopullinen veloitus toteutetaan mitatun käytön perusteella. Suoratoiston veloituksessa käytetään lopullista käyttötietuetta. Varauksen ja lopullisen veloituksen toiminta →
{\n "model": "meta-llama/llama-3.1-8b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON tai SSE
Säilytä jokainen kokonainen palautettu vastaus, tiedosto ja sisällön osa.
Säilytä kaikki sisältölohkot, päättelyallekirjoitukset ja todelliset työkalukäytön ID:t. Kokoa kaikki SSE-lohkomuutokset; ensimmäinen tekstilohko ei ole koko tulos.
Säilytä pyyntöjen/vastausten ID:t ja otsakkeet. Yleistä tekstityön haku-URL:ää ei anneta.
| Kenttä | Tyyppi |
|---|---|
Kenttäid | Tyyppistring |
Kenttämodel | Tyyppistring |
Kenttäcontent[] | Tyyppitext|thinking|tool_use|other content block |
Kenttästop_reason | Tyyppistring|null |
Kenttäusage | Tyyppiobject |
| Vastaus | Ehto | Seuraava vaihe |
|---|---|---|
Vastaus400 · invalid_request_error | EhtoVirheelliset pakolliset kentät, aineiston esitysmuoto tai parametrin arvo | Seuraava vaiheKorjaa ilmoitetut kentät ennen uutta luontipyyntöä. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Käytä yllä näytettyjä menetelmäpolkuja.
Tekninen esimerkki englanniksi
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.