Llama 3.1 8B Instruct je textový model společnosti Meta s osmi miliardami parametrů pro vícejazyčný dialog a asistenty pracující podle pokynů. Přijímá psanou konverzaci a zdrojový materiál a vytváří text nebo kód. Jde o edici Instruct velikosti 8B, odlišnou od jejího předtrénovaného základu a modelů 70B a 405B stejné rodiny.
Architektura, kontext a jazyky
Model používá autoregresivní architekturu Transformer s pozorností grouped-query. Rodina doladěná na pokyny využívá doladění s učitelem a posilované učení s lidskou zpětnou vazbou ke sladění konverzačních odpovědí. Výrobce pro toto textové vydání dokumentuje kontext 128k; nejde o obrazovou specifikaci nebo specifikaci dlouhého kontextu pozdějšího modelu Llama 4.
Osm oficiálně podporovaných jazyků tvoří angličtina, němčina, francouzština, italština, portugalština, hindština, španělština a thajština. Předtrénovací data zahrnují širší kolekci, která se liší od jazyků výslovně podporovaných kartou. Uveďte výsledný jazyk a názvy, identifikátory proměnných nebo termíny, které mají ve vícejazyčném výsledku zůstat beze změny.
Rodina je předtrénována přibližně na patnácti bilionech tokenů s hranicí dat v prosinci 2023. Doladění zahrnuje instrukční materiál a více než dvacet pět milionů syntetických příkladů. To popisuje trénink modelu, nikoli přístup k soukromé znalostní bázi nebo živým informacím při příchodu nové otázky.
Vymezené textové operace
Požadavek zaměřený na podporu může poskytnout uživatelskou zprávu a příslušné referenční pasáže a poté žádat odpověď i podmínku, která ji podporuje. Stručný záznam může oddělit problém, již dodané informace a další potřebný krok. Pokud má výsledek zpracovávat aplikace, definujte názvy polí a zacházení s chybějícími hodnotami.
Pro shrnutí dodejte skutečnou pasáž nebo výměnu zpráv a určete publikum, délku a fakta k zachování. Požadujte rozhodnutí nebo nevyřešené otázky vztahující se k jednomu tématu namísto nesměrovaného shrnutí nesouvisejícího materiálu. Navazující dotaz může požadovat kratší odpověď nebo jasnější vysvětlení jedné podmínky při zachování stejných zdrojových faktů.
Při editaci určete čtenáře a tón a vymezte význam, který musí zůstat beze změny. Praktická úloha může požadovat jasnější zprávu následovanou stručným seznamem úprav nebo pouze upravenou zprávu, pokud má být použita přímo. Klasifikační úloha by měla poskytnout povolené štítky a rozdíl mezi nimi a nespoléhat na to, že pravidlo definuje samotný název štítku.
Generování kódu a příkladů
Zdokumentovaný výstup zahrnuje také kód. Před požadavkem na funkci dodejte jazyk, požadované vstupy a očekávaný výsledek. U vysvětlení poskytněte existující funkci a konkrétní vstup a zeptejte se, které kroky určují návratovou hodnotu. U opravy přiložte pozorované selhání a zamýšlené chování se zachováním rozhraní, které musí zůstat kompatibilní.
Užitečný výstup může oddělit navržený kód, jeho předpoklady a ukázkové vstupy. Skutečnou kompilaci, spuštění nebo změnu repozitáře provádí aplikace nebo vývojář. Napsaný zdrojový kód je artefakt ke kontrole, nikoli dokončená externí operace jen proto, že jej model vrátil.
Rodina také podporuje použití generovaného výstupu pro syntetické příklady a destilaci. Vymezený textový požadavek může vytvářet varianty podle dodaných pravidel a v určeném formátu. Zachovejte pravidla a štítky, aby bylo možné každý příklad zkontrolovat; generované příklady samy o sobě nedokládají správnost tréninkového datasetu.
Role konverzace a používání nástrojů
Karta modelu ukazuje chatovou šablonu se samostatnými systémovými a uživatelskými zprávami. V systémovém kontextu definujte roli asistenta a požadavky na odpověď a potom dodejte otázku a zdrojový materiál jako úlohu. Příslušné předchozí zprávy zachovejte při navazujícím dotazu nebo dodání nových podkladů, které mění výsledek.
Llama 3.1 dokumentuje několik formátů používání nástrojů. Aplikace popíše funkci, model vygeneruje navržené volání a argumenty, aplikace je provede a vrátí výsledek s rolí tool. Následující odpověď pak může vrácené informace využít. Původní operaci a výsledek zachovejte v konverzaci propojené.
Například vyhledání může vrátit aktuální referenční hodnotu chybějící v pasáži nebo výpočetní nástroj může poskytnout číselný výsledek potřebný pro vysvětlení. Asistent s nástroji potřebuje, aby tyto operace dodávalo prostředí. Textové chování modelu samo o sobě nevytváří připojení k externímu zdroji ani neprovádí vedlejší účinek.
Praktické hranice
Označení kontextu 128k od výrobce zachovejte u přesného vydání 8B Instruct a příslušné konfigurace. Příklad generování 256 tokenů je pouze volbou použití; prostudované zdroje neuvádějí samostatnou pevnou maximální kapacitu odpovědi. Velikost 8B by neměla přebírat počet parametrů jiného člena ani pojmenované ovládání uvažování samostatné rodiny.
Jde o čistě textový model. Vizuální vstup, porozumění zvuku a generování řeči vyžadují samostatně specifikované komponenty. Před dodáním materiálu definujte konečný artefakt: stručnou odpověď, extrahovaný záznam, upravenou pasáž, vysvětlení nebo návrh kódu. Zachovejte zdrojové informace potřebné ke kontrole významu a formátu tohoto artefaktu.
", "aboutText": "Llama 3.1 8B Instruct je textový model společnosti Meta s osmi miliardami parametrů pro vícejazyčný dialog a asistenty pracující podle pokynů. Přijímá psanou konverzaci a zdrojový materiál a vytváří text nebo kód. Jde o edici Instruct velikosti 8B, odlišnou od jejího předtrénovaného základu a modelů 70B a 405B stejné rodiny.\n\nArchitektura, kontext a jazyky\n\nModel používá autoregresivní architekturu Transformer s pozorností grouped-query. Rodina doladěná na pokyny využívá doladění s učitelem a posilované učení s lidskou zpětnou vazbou ke sladění konverzačních odpovědí. Výrobce pro toto textové vydání dokumentuje kontext 128k; nejde o obrazovou specifikaci nebo specifikaci dlouhého kontextu pozdějšího modelu Llama 4.\n\nOsm oficiálně podporovaných jazyků tvoří angličtina, němčina, francouzština, italština, portugalština, hindština, španělština a thajština. Předtrénovací data zahrnují širší kolekci, která se liší od jazyků výslovně podporovaných kartou. Uveďte výsledný jazyk a názvy, identifikátory proměnných nebo termíny, které mají ve vícejazyčném výsledku zůstat beze změny.\n\nRodina je předtrénována přibližně na patnácti bilionech tokenů s hranicí dat v prosinci 2023. Doladění zahrnuje instrukční materiál a více než dvacet pět milionů syntetických příkladů. To popisuje trénink modelu, nikoli přístup k soukromé znalostní bázi nebo živým informacím při příchodu nové otázky.\n\nVymezené textové operace\n\nPožadavek zaměřený na podporu může poskytnout uživatelskou zprávu a příslušné referenční pasáže a poté žádat odpověď i podmínku, která ji podporuje. Stručný záznam může oddělit problém, již dodané informace a další potřebný krok. Pokud má výsledek zpracovávat aplikace, definujte názvy polí a zacházení s chybějícími hodnotami.\n\nPro shrnutí dodejte skutečnou pasáž nebo výměnu zpráv a určete publikum, délku a fakta k zachování. Požadujte rozhodnutí nebo nevyřešené otázky vztahující se k jednomu tématu namísto nesměrovaného shrnutí nesouvisejícího materiálu. Navazující dotaz může požadovat kratší odpověď nebo jasnější vysvětlení jedné podmínky při zachování stejných zdrojových faktů.\n\nPři editaci určete čtenáře a tón a vymezte význam, který musí zůstat beze změny. Praktická úloha může požadovat jasnější zprávu následovanou stručným seznamem úprav nebo pouze upravenou zprávu, pokud má být použita přímo. Klasifikační úloha by měla poskytnout povolené štítky a rozdíl mezi nimi a nespoléhat na to, že pravidlo definuje samotný název štítku.\n\nGenerování kódu a příkladů\n\nZdokumentovaný výstup zahrnuje také kód. Před požadavkem na funkci dodejte jazyk, požadované vstupy a očekávaný výsledek. U vysvětlení poskytněte existující funkci a konkrétní vstup a zeptejte se, které kroky určují návratovou hodnotu. U opravy přiložte pozorované selhání a zamýšlené chování se zachováním rozhraní, které musí zůstat kompatibilní.\n\nUžitečný výstup může oddělit navržený kód, jeho předpoklady a ukázkové vstupy. Skutečnou kompilaci, spuštění nebo změnu repozitáře provádí aplikace nebo vývojář. Napsaný zdrojový kód je artefakt ke kontrole, nikoli dokončená externí operace jen proto, že jej model vrátil.\n\nRodina také podporuje použití generovaného výstupu pro syntetické příklady a destilaci. Vymezený textový požadavek může vytvářet varianty podle dodaných pravidel a v určeném formátu. Zachovejte pravidla a štítky, aby bylo možné každý příklad zkontrolovat; generované příklady samy o sobě nedokládají správnost tréninkového datasetu.\n\nRole konverzace a používání nástrojů\n\nKarta modelu ukazuje chatovou šablonu se samostatnými systémovými a uživatelskými zprávami. V systémovém kontextu definujte roli asistenta a požadavky na odpověď a potom dodejte otázku a zdrojový materiál jako úlohu. Příslušné předchozí zprávy zachovejte při navazujícím dotazu nebo dodání nových podkladů, které mění výsledek.\n\nLlama 3.1 dokumentuje několik formátů používání nástrojů. Aplikace popíše funkci, model vygeneruje navržené volání a argumenty, aplikace je provede a vrátí výsledek s rolí tool. Následující odpověď pak může vrácené informace využít. Původní operaci a výsledek zachovejte v konverzaci propojené.\n\nNapříklad vyhledání může vrátit aktuální referenční hodnotu chybějící v pasáži nebo výpočetní nástroj může poskytnout číselný výsledek potřebný pro vysvětlení. Asistent s nástroji potřebuje, aby tyto operace dodávalo prostředí. Textové chování modelu samo o sobě nevytváří připojení k externímu zdroji ani neprovádí vedlejší účinek.\n\nPraktické hranice\n\nOznačení kontextu 128k od výrobce zachovejte u přesného vydání 8B Instruct a příslušné konfigurace. Příklad generování 256 tokenů je pouze volbou použití; prostudované zdroje neuvádějí samostatnou pevnou maximální kapacitu odpovědi. Velikost 8B by neměla přebírat počet parametrů jiného člena ani pojmenované ovládání uvažování samostatné rodiny.\n\nJde o čistě textový model. Vizuální vstup, porozumění zvuku a generování řeči vyžadují samostatně specifikované komponenty. Před dodáním materiálu definujte konečný artefakt: stručnou odpověď, extrahovaný záznam, upravenou pasáž, vysvětlení nebo návrh kódu. Zachovejte zdrojové informace potřebné ke kontrole významu a formátu tohoto artefaktu.", "editorialOverlay": { "copy_fields": { "practical_html": "Technický příklad v angličtině
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct je menší textový instrukční model společnosti Meta pro vícejazyčný dialog, shrnování a odpovědi podmíněné zdroji. Má 8 miliard parametrů, kontext výrobce 128k, pozornost grouped-query a zdokumentované formáty používání nástrojů a vrací text nebo kód.
Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu.
Llama 3.1 8B Instruct je textový model společnosti Meta s osmi miliardami parametrů pro vícejazyčný dialog a asistenty pracující podle pokynů. Přijímá psanou konverzaci a zdrojový materiál a vytváří text nebo kód. Jde o edici Instruct velikosti 8B, odlišnou od jejího předtrénovaného základu a modelů 70B a 405B stejné rodiny.
Architektura, kontext a jazyky
Model používá autoregresivní architekturu Transformer s pozorností grouped-query. Rodina doladěná na pokyny využívá doladění s učitelem a posilované učení s lidskou zpětnou vazbou ke sladění konverzačních odpovědí. Výrobce pro toto textové vydání dokumentuje kontext 128k; nejde o obrazovou specifikaci nebo specifikaci dlouhého kontextu pozdějšího modelu Llama 4.
Osm oficiálně podporovaných jazyků tvoří angličtina, němčina, francouzština, italština, portugalština, hindština, španělština a thajština. Předtrénovací data zahrnují širší kolekci, která se liší od jazyků výslovně podporovaných kartou. Uveďte výsledný jazyk a názvy, identifikátory proměnných nebo termíny, které mají ve vícejazyčném výsledku zůstat beze změny.
Rodina je předtrénována přibližně na patnácti bilionech tokenů s hranicí dat v prosinci 2023. Doladění zahrnuje instrukční materiál a více než dvacet pět milionů syntetických příkladů. To popisuje trénink modelu, nikoli přístup k soukromé znalostní bázi nebo živým informacím při příchodu nové otázky.
Vymezené textové operace
Požadavek zaměřený na podporu může poskytnout uživatelskou zprávu a příslušné referenční pasáže a poté žádat odpověď i podmínku, která ji podporuje. Stručný záznam může oddělit problém, již dodané informace a další potřebný krok. Pokud má výsledek zpracovávat aplikace, definujte názvy polí a zacházení s chybějícími hodnotami.
Pro shrnutí dodejte skutečnou pasáž nebo výměnu zpráv a určete publikum, délku a fakta k zachování. Požadujte rozhodnutí nebo nevyřešené otázky vztahující se k jednomu tématu namísto nesměrovaného shrnutí nesouvisejícího materiálu. Navazující dotaz může požadovat kratší odpověď nebo jasnější vysvětlení jedné podmínky při zachování stejných zdrojových faktů.
Při editaci určete čtenáře a tón a vymezte význam, který musí zůstat beze změny. Praktická úloha může požadovat jasnější zprávu následovanou stručným seznamem úprav nebo pouze upravenou zprávu, pokud má být použita přímo. Klasifikační úloha by měla poskytnout povolené štítky a rozdíl mezi nimi a nespoléhat na to, že pravidlo definuje samotný název štítku.
Generování kódu a příkladů
Zdokumentovaný výstup zahrnuje také kód. Před požadavkem na funkci dodejte jazyk, požadované vstupy a očekávaný výsledek. U vysvětlení poskytněte existující funkci a konkrétní vstup a zeptejte se, které kroky určují návratovou hodnotu. U opravy přiložte pozorované selhání a zamýšlené chování se zachováním rozhraní, které musí zůstat kompatibilní.
Užitečný výstup může oddělit navržený kód, jeho předpoklady a ukázkové vstupy. Skutečnou kompilaci, spuštění nebo změnu repozitáře provádí aplikace nebo vývojář. Napsaný zdrojový kód je artefakt ke kontrole, nikoli dokončená externí operace jen proto, že jej model vrátil.
Rodina také podporuje použití generovaného výstupu pro syntetické příklady a destilaci. Vymezený textový požadavek může vytvářet varianty podle dodaných pravidel a v určeném formátu. Zachovejte pravidla a štítky, aby bylo možné každý příklad zkontrolovat; generované příklady samy o sobě nedokládají správnost tréninkového datasetu.
Role konverzace a používání nástrojů
Karta modelu ukazuje chatovou šablonu se samostatnými systémovými a uživatelskými zprávami. V systémovém kontextu definujte roli asistenta a požadavky na odpověď a potom dodejte otázku a zdrojový materiál jako úlohu. Příslušné předchozí zprávy zachovejte při navazujícím dotazu nebo dodání nových podkladů, které mění výsledek.
Llama 3.1 dokumentuje několik formátů používání nástrojů. Aplikace popíše funkci, model vygeneruje navržené volání a argumenty, aplikace je provede a vrátí výsledek s rolí tool. Následující odpověď pak může vrácené informace využít. Původní operaci a výsledek zachovejte v konverzaci propojené.
Například vyhledání může vrátit aktuální referenční hodnotu chybějící v pasáži nebo výpočetní nástroj může poskytnout číselný výsledek potřebný pro vysvětlení. Asistent s nástroji potřebuje, aby tyto operace dodávalo prostředí. Textové chování modelu samo o sobě nevytváří připojení k externímu zdroji ani neprovádí vedlejší účinek.
Praktické hranice
Označení kontextu 128k od výrobce zachovejte u přesného vydání 8B Instruct a příslušné konfigurace. Příklad generování 256 tokenů je pouze volbou použití; prostudované zdroje neuvádějí samostatnou pevnou maximální kapacitu odpovědi. Velikost 8B by neměla přebírat počet parametrů jiného člena ani pojmenované ovládání uvažování samostatné rodiny.
Jde o čistě textový model. Vizuální vstup, porozumění zvuku a generování řeči vyžadují samostatně specifikované komponenty. Před dodáním materiálu definujte konečný artefakt: stručnou odpověď, extrahovaný záznam, upravenou pasáž, vysvětlení nebo návrh kódu. Zachovejte zdrojové informace potřebné ke kontrole významu a formátu tohoto artefaktu.
POST /v1/chat/completionstexttext| Pole | Typ | Požadavek | Hodnoty a limity | Výchozí |
|---|---|---|---|---|
Polemodel | Typstring | PožadavekPovinné | Hodnoty a limity meta-llama/llama-3.1-8b-instruct | Výchozí— |
Polemessages | Typmessage[] | PožadavekPovinné | Hodnoty a limity Minimální počet položek: 1 | Výchozí— |
Polemessages[].role | Typstring | PožadavekPovinné | Hodnoty a limity Příklady: system, user, assistant, tool, function Podmínky: Tyto role jsou výslovně zastoupeny typy kompatibility zdrojového kódu; přesná sada rolí zůstává specifická pro daný model. Závisí na modelu | Výchozí— |
Polemessages[].content | Typstring|content_part[]|null | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Polemessages[].tool_calls | Typtool_call[] | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Polemessages[].tool_call_id | Typstring | PožadavekVolitelné | Hodnoty a limity Platí, když: role=tool; použijte skutečně vrácené ID | Výchozí— |
Polemessages[].name | Typstring | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Polemessages[].reasoning_content | Typstring | PožadavekVolitelné | Hodnoty a limity Platí, když: Předávejte zpět skutečně vrácené uvažování tam, kde je tento model používá | Výchozí— |
Polemessages[].reasoning_details | Typobject|array | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polemax_tokens | Typinteger | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— |
Polemax_completion_tokens | Typinteger | PožadavekVolitelné | Hodnoty a limity Minimum: 1 Závisí na modelu | Výchozí— |
Polestream | Typboolean | PožadavekVolitelné | Hodnoty a limity | Výchozífalse |
Polestream_options.include_usage | Typboolean | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poletemperature | Typnumber | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poletop_p | Typnumber | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polestop | Typstring|string[] | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poletools | Typfunction_tool[] | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poletools[].type | Typstring | PožadavekVolitelné | Hodnoty a limity function Závisí na modelu | Výchozí— |
Poletools[].function.name | Typstring | PožadavekPovinné | Hodnoty a limity Platí, když: nástroj typu funkce je dodán | Výchozí— |
Poletools[].function.description | Typstring | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Poletools[].function.parameters | TypJSON_schema | PožadavekVolitelné | Hodnoty a limity | Výchozí— |
Poletool_choice | Typstring|object | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleparallel_tool_calls | Typboolean | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleresponse_format | Typobject | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polereasoning_effort | Typstring | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polereasoning | Typobject | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleservice_tier | Typstring | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleinstructions | Typstring | PožadavekVolitelné | Hodnoty a limity Pole kompatibility | Výchozí— |
Polefunctions | Typfunction[] | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polefunction_call | Typstring|object | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Poleprompt_cache_options | Typobject | PožadavekVolitelné | Hodnoty a limity Závisí na modelu | Výchozí— |
Polemodalities | Typstring[] | PožadavekVolitelné | Hodnoty a limity text | Výchozí— |
Poleprovider | Typobject | PožadavekVolitelné | Hodnoty a limity Podmínky: provider.options je na této textové trase Ultra odmítáno | Výchozí— |
Polecache_control.ttl | Typstring | PožadavekVolitelné | Hodnoty a limity Podmínky: Hodnota 1h je ve skutečných umístěních mezipaměti promptů odmítána | Výchozí— |
Text · text UTF8
messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages |
Parametrmaterial_types | Kontrakttext |
Parametrmessages | Kontraktpole zpráv se strukturou role/content |
Parametrfile_material | Kontraktskutečný dokument UTF-8 vložený jako doslovný text; ID souboru se neodvozuje |
Parametroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrcontrol_scope | Kontraktspecifické pro model; nástroje uživatelských funkcí se liší od hostovaných nástrojů |
Parametroutput_modalities | Kontrakttext |
Parametrhosted_operations | Kontraktfalse |
Parametrmultimodal_input_binding | Kontraktnull |
Životní cyklus: synchronous_or_streamed
Odešlete přesné ID modelu spolu s messages.
Délka kontextu není limitem výstupu.
Textový soubor může dodat doslovný text; obrazové/zvukové vstupy a vstupy v podobě souborových objektů vyžadují přesnou vazbu.
Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody.
Přiřaďte každý poplatek k uvedeným podmínkám. Pro každou sadu alternativních konfigurací použijte jednu sazbu.
| Konfigurace | Tabulka sazeb | Tokeny kontextu, více než | Tokeny kontextu, do uvedené hodnoty včetně | Poplatek |
|---|---|---|---|---|
| KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Tokeny kontextu, více než— | Tokeny kontextu, do uvedené hodnoty včetněBez horní meze | Poplatek Vstup · Vstupní tokeny $0.00044 / 1K tokenů Výstup · Výstupní tokeny $0.00044 / 1K tokenů Vstup · Čtení z mezipaměti $0.00044 / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
| KonfiguracePásmo délky požadavku 1 | Tabulka sazeb— | Tokeny kontextu, více než0 | Tokeny kontextu, do uvedené hodnoty včetněBez horní meze | Poplatek Vstup · Vstupní tokeny $0.00044 / 1K tokenů Výstup · Výstupní tokeny $0.00044 / 1K tokenů Vstup · Čtení z mezipaměti $0.00044 / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. Jak funguje rezervace a vyúčtování →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.1-8b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.1-8b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson nebo SSE
Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu.
Zachovejte každou volbu a její obsah/volání nástrojů/uvažování. V SSE sestavujte přírůstky podle indexu volby/nástroje a zachovejte konečný důvod ukončení i údaje o využití.
Zachovejte ID požadavků/odpovědí a hlavičky. Není dodána obecná URL pro načtení textové úlohy.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpověď | Podmínka | Další krok |
|---|---|---|
Odpověď400 · invalid_request_error | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Použijte cesty metod uvedené výše.
meta-llama/llama-3.1-8b-instructLlama 3.1 8B Instruct je menší textový instrukční model společnosti Meta pro vícejazyčný dialog, shrnování a odpovědi podmíněné zdroji. Má 8 miliard parametrů, kontext výrobce 128k, pozornost grouped-query a zdokumentované formáty používání nástrojů a vrací text nebo kód.
Tento popis zahrnuje schopnosti modelu. Vstupy, výstupy a možnosti dostupné v Ailoot jsou uvedeny níže pro vybranou metodu.
Llama 3.1 8B Instruct je textový model společnosti Meta s osmi miliardami parametrů pro vícejazyčný dialog a asistenty pracující podle pokynů. Přijímá psanou konverzaci a zdrojový materiál a vytváří text nebo kód. Jde o edici Instruct velikosti 8B, odlišnou od jejího předtrénovaného základu a modelů 70B a 405B stejné rodiny.
Architektura, kontext a jazyky
Model používá autoregresivní architekturu Transformer s pozorností grouped-query. Rodina doladěná na pokyny využívá doladění s učitelem a posilované učení s lidskou zpětnou vazbou ke sladění konverzačních odpovědí. Výrobce pro toto textové vydání dokumentuje kontext 128k; nejde o obrazovou specifikaci nebo specifikaci dlouhého kontextu pozdějšího modelu Llama 4.
Osm oficiálně podporovaných jazyků tvoří angličtina, němčina, francouzština, italština, portugalština, hindština, španělština a thajština. Předtrénovací data zahrnují širší kolekci, která se liší od jazyků výslovně podporovaných kartou. Uveďte výsledný jazyk a názvy, identifikátory proměnných nebo termíny, které mají ve vícejazyčném výsledku zůstat beze změny.
Rodina je předtrénována přibližně na patnácti bilionech tokenů s hranicí dat v prosinci 2023. Doladění zahrnuje instrukční materiál a více než dvacet pět milionů syntetických příkladů. To popisuje trénink modelu, nikoli přístup k soukromé znalostní bázi nebo živým informacím při příchodu nové otázky.
Vymezené textové operace
Požadavek zaměřený na podporu může poskytnout uživatelskou zprávu a příslušné referenční pasáže a poté žádat odpověď i podmínku, která ji podporuje. Stručný záznam může oddělit problém, již dodané informace a další potřebný krok. Pokud má výsledek zpracovávat aplikace, definujte názvy polí a zacházení s chybějícími hodnotami.
Pro shrnutí dodejte skutečnou pasáž nebo výměnu zpráv a určete publikum, délku a fakta k zachování. Požadujte rozhodnutí nebo nevyřešené otázky vztahující se k jednomu tématu namísto nesměrovaného shrnutí nesouvisejícího materiálu. Navazující dotaz může požadovat kratší odpověď nebo jasnější vysvětlení jedné podmínky při zachování stejných zdrojových faktů.
Při editaci určete čtenáře a tón a vymezte význam, který musí zůstat beze změny. Praktická úloha může požadovat jasnější zprávu následovanou stručným seznamem úprav nebo pouze upravenou zprávu, pokud má být použita přímo. Klasifikační úloha by měla poskytnout povolené štítky a rozdíl mezi nimi a nespoléhat na to, že pravidlo definuje samotný název štítku.
Generování kódu a příkladů
Zdokumentovaný výstup zahrnuje také kód. Před požadavkem na funkci dodejte jazyk, požadované vstupy a očekávaný výsledek. U vysvětlení poskytněte existující funkci a konkrétní vstup a zeptejte se, které kroky určují návratovou hodnotu. U opravy přiložte pozorované selhání a zamýšlené chování se zachováním rozhraní, které musí zůstat kompatibilní.
Užitečný výstup může oddělit navržený kód, jeho předpoklady a ukázkové vstupy. Skutečnou kompilaci, spuštění nebo změnu repozitáře provádí aplikace nebo vývojář. Napsaný zdrojový kód je artefakt ke kontrole, nikoli dokončená externí operace jen proto, že jej model vrátil.
Rodina také podporuje použití generovaného výstupu pro syntetické příklady a destilaci. Vymezený textový požadavek může vytvářet varianty podle dodaných pravidel a v určeném formátu. Zachovejte pravidla a štítky, aby bylo možné každý příklad zkontrolovat; generované příklady samy o sobě nedokládají správnost tréninkového datasetu.
Role konverzace a používání nástrojů
Karta modelu ukazuje chatovou šablonu se samostatnými systémovými a uživatelskými zprávami. V systémovém kontextu definujte roli asistenta a požadavky na odpověď a potom dodejte otázku a zdrojový materiál jako úlohu. Příslušné předchozí zprávy zachovejte při navazujícím dotazu nebo dodání nových podkladů, které mění výsledek.
Llama 3.1 dokumentuje několik formátů používání nástrojů. Aplikace popíše funkci, model vygeneruje navržené volání a argumenty, aplikace je provede a vrátí výsledek s rolí tool. Následující odpověď pak může vrácené informace využít. Původní operaci a výsledek zachovejte v konverzaci propojené.
Například vyhledání může vrátit aktuální referenční hodnotu chybějící v pasáži nebo výpočetní nástroj může poskytnout číselný výsledek potřebný pro vysvětlení. Asistent s nástroji potřebuje, aby tyto operace dodávalo prostředí. Textové chování modelu samo o sobě nevytváří připojení k externímu zdroji ani neprovádí vedlejší účinek.
Praktické hranice
Označení kontextu 128k od výrobce zachovejte u přesného vydání 8B Instruct a příslušné konfigurace. Příklad generování 256 tokenů je pouze volbou použití; prostudované zdroje neuvádějí samostatnou pevnou maximální kapacitu odpovědi. Velikost 8B by neměla přebírat počet parametrů jiného člena ani pojmenované ovládání uvažování samostatné rodiny.
Jde o čistě textový model. Vizuální vstup, porozumění zvuku a generování řeči vyžadují samostatně specifikované komponenty. Před dodáním materiálu definujte konečný artefakt: stručnou odpověď, extrahovaný záznam, upravenou pasáž, vysvětlení nebo návrh kódu. Zachovejte zdrojové informace potřebné ke kontrole významu a formátu tohoto artefaktu.
POST /v1/messagestextjson, sse| Pole | Typ | Požadavek | Hodnoty a limity | Výchozí |
|---|---|---|---|---|
Polemodel | Typstring | PožadavekPovinné | Hodnoty a limity meta-llama/llama-3.1-8b-instruct | Výchozí— |
Polemessages | Typmessage[] | PožadavekPovinné | Hodnoty a limity | Výchozí— |
Polemessages[].role | Typstring | PožadavekPovinné | Hodnoty a limity user, assistant | Výchozí— |
Polemessages[].content | Typstring | PožadavekPovinné | Hodnoty a limity | Výchozí— |
Polemax_tokens | Typinteger | PožadavekPovinné | Hodnoty a limity | Výchozí— |
Polestream | Typboolean | PožadavekVolitelné | Hodnoty a limity | Výchozífalse |
Text · text UTF-8
řetězec messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages, max_tokens |
Parametroptional_controls | Kontraktstream |
Parametrmaterial_types | Kontrakttext |
Parametrtext_file_material | KontraktPřečtěte skutečný dokument UTF-8 a vložte jeho text do uvedeného pole input nebo do řetězce obsahu zprávy. |
Životní cyklus: synchronous_or_streamed
Údaje o tarifech nepřidávají možnosti požadavku. Podporované parametry jsou uvedeny u vybrané metody.
Přiřaďte každý poplatek k uvedeným podmínkám. Pro každou sadu alternativních konfigurací použijte jednu sazbu.
| Konfigurace | Tabulka sazeb | Tokeny kontextu, více než | Tokeny kontextu, do uvedené hodnoty včetně | Poplatek |
|---|---|---|---|---|
| KonfiguraceZákladní sazby za tokeny | Tabulka sazebZákladní sazba | Tokeny kontextu, více než— | Tokeny kontextu, do uvedené hodnoty včetněBez horní meze | Poplatek Vstup · Vstupní tokeny $0.00044 / 1K tokenů Výstup · Výstupní tokeny $0.00044 / 1K tokenů Vstup · Čtení z mezipaměti $0.00044 / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
| KonfiguracePásmo délky požadavku 1 | Tabulka sazeb— | Tokeny kontextu, více než0 | Tokeny kontextu, do uvedené hodnoty včetněBez horní meze | Poplatek Vstup · Vstupní tokeny $0.00044 / 1K tokenů Výstup · Výstupní tokeny $0.00044 / 1K tokenů Vstup · Čtení z mezipaměti $0.00044 / 1K tokenů Vstup · Zápis do mezipaměti — / 1K tokenů Vstup · Zápis do mezipaměti, 1 hodina — / 1K tokenů |
Ailoot před požadavkem rezervuje odhadovanou částku. Po výsledku vyúčtuje konečný poplatek podle naměřeného využití. Při streamování se účtování řídí konečným záznamem využití. Jak funguje rezervace a vyúčtování →
{\n "model": "meta-llama/llama-3.1-8b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.1-8b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON nebo SSE
Uchovejte každou úplnou vrácenou odpověď, soubor i část obsahu.
Zachovejte všechny bloky obsahu, podpisy uvažování a skutečná ID použití nástrojů. Sestavte všechny přírůstky bloků SSE; první textový blok není úplný výstup.
Zachovejte ID požadavků/odpovědí a hlavičky. Není dodána obecná URL pro načtení textové úlohy.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpověď | Podmínka | Další krok |
|---|---|---|
Odpověď400 · invalid_request_error | PodmínkaNeplatná povinná pole, reprezentace podkladů nebo hodnota parametru | Další krokPřed novým požadavkem na vytvoření opravte uvedená pole. |
Ailoot Ultra meta-llama/llama-3.1-8b-instruct
Použijte cesty metod uvedené výše.
Technický příklad v angličtině
Translate a delivery notice into German\n\nTranslate this customer notice into German: 'Order BN-42 will leave our warehouse on Thursday. Delivery normally takes three business days. We will send tracking details after dispatch.' Preserve BN-42, distinguish dispatch from delivery and use a polite professional tone. Return only the translation; do not turn the normal transit time into a guaranteed arrival date.One German customer notice preserving the identifier, event sequence and qualified transit time.The translation distinguishes warehouse dispatch from delivery and retains the word's sense of a normal estimate.