Meta Llama 3.2 3B Instruct to model tekstowy dostrojony do instrukcji, zaprojektowany do wielojęzycznych rozmów z asystentem, pracy opartej na wyszukanych materiałach i podsumowywania. Tabela modeli producenta wskazuje klasę 3B z 3,21B parametrów. Przyjmuje tekst i generuje tekst lub kod. Jego rozwój łączy przycinanie modelu i destylację wiedzy z dostrajaniem do instrukcji, tworząc mały profil modelu do skoncentrowanych zadań pisarskich i asystenckich.
Podaj modelowi materiał źródłowy, pytanie i oczekiwaną formę odpowiedzi. Prośba o pomoc w pisaniu może określać odbiorców, ton i szczegóły, które muszą pozostać. Podsumowanie może wskazywać sekcje do uwzględnienia oraz pożądaną długość lub strukturę. Przy krótkiej odpowiedzi z bazy wiedzy dostarcz odpowiedni fragment i poproś o wyjaśnienie oparte na tym źródle.
Producent wymienia wyszukiwanie wiedzy, podsumowywanie, mobilnych asystentów pisania, przeformułowywanie zapytań i przeformułowywanie promptów wśród zamierzonych zastosowań modeli tekstowych dostrojonych do instrukcji. Aplikacja wyszukująca może dostarczać znalezione fragmenty i prosić model o ułożenie odpowiedzi. Zachowaj identyfikatory fragmentów przy wyniku, aby czytelnik lub inny komponent mógł sprawdzić materiał dowodowy.
Przy przeformułowywaniu zapytania zachowaj pierwotne pytanie i poproś o zwięzłe sformułowanie wyszukiwania, które zachowuje jego intencję. Przy podsumowaniu dokumentu poproś o główne twierdzenia i wpływające na nie zastrzeżenia. Sprawdź rzeczywiste wyjście pod kątem pominiętych warunków, zmienionych liczb lub wymyślonych informacji, szczególnie gdy krótka odpowiedź kompresuje większe źródło.
Angielski, niemiecki, francuski, włoski, portugalski, hindi, hiszpański i tajski to osiem oficjalnie obsługiwanych języków. Określ pożądany język wyjścia i zachowaj pisownię nazw lub specjalistycznej terminologii, które muszą pozostać niezmienione. Zadanie wielojęzyczne powinno zawierać wystarczający kontekst źródłowy do oceny znaczenia zwróconych sformułowań, zamiast polegać wyłącznie na płynności.
Standardowy tekstowy punkt kontrolny Llama 3.2 ma okno kontekstu 128K tokenów. Przeznacz ten budżet na odpowiedni materiał źródłowy, historię rozmowy i wygenerowany wynik. Zachowaj wcześniejsze decyzje potrzebne do kontynuacji i zostaw miejsce na odpowiedź. Granica danych treningu wstępnego przypada na grudzień 2023 r., więc późniejsze informacje wymagają materiału dostarczonego z zadaniem lub przez otaczającą aplikację wyszukującą.
Jest to punkt kontrolny Instruct, przygotowany do dialogu w stylu asystenta. Karta modelu opisuje nadzorowane dostrajanie i dostosowanie do ludzkich preferencji, z dodatkową destylacją podczas rozwoju małych modeli. Przykłady użycia dostarczają wiadomości systemowe i użytkownika w formacie czatu. Instrukcja systemowa może określać rolę i oczekiwania wyjściowe, podczas gdy wiadomość użytkownika dostarcza bieżące zadanie i źródła.
Przy bezpośrednim korzystaniu z punktu kontrolnego zachowaj format rozmowy odpowiedni dla wybranego wydania. Jasno określ wynik i sprawdź wygenerowaną odpowiedź, w tym jej związek z dostarczonym materiałem dowodowym. Przy ustrukturyzowanym rezultacie tekstowym określ wymagane pola lub nagłówki i zweryfikuj rzeczywiste wyjście, zanim aplikacja je wykorzysta; pisemne żądanie formatu nie gwarantuje poprawności każdej wartości.
Producent odróżnia standardowy model tekstowy od osobno opublikowanych skwantowanych profili tekstowych Llama 3.2. Jego tabela modeli podaje kontekst 8K dla tych profili skwantowanych, odrębny od standardowego okna 128K. Dobieraj model i budżet roboczy razem, zamiast zakładać, że każde wdrożenie oznaczone 3B zachowuje ten sam limit kontekstu.
Model 3B Instruct jest też odrębny od większych modeli wizyjnych Llama 3.2. Dla tego profilu tekstowego przygotuj tekstowy materiał źródłowy lub tekst uzyskany przez otaczającą aplikację. Używaj modelu do skoncentrowanej odpowiedzi, redakcji, podsumowania lub krótkiego wyjaśnienia kodu. Zachowaj wybrany punkt kontrolny, prompt i źródło przy wyniku, a następnie sformułuj kolejną instrukcję konkretnie wobec brakującego szczegółu lub zaobserwowanego błędu.
", "aboutText": "Meta Llama 3.2 3B Instruct to model tekstowy dostrojony do instrukcji, zaprojektowany do wielojęzycznych rozmów z asystentem, pracy opartej na wyszukanych materiałach i podsumowywania. Tabela modeli producenta wskazuje klasę 3B z 3,21B parametrów. Przyjmuje tekst i generuje tekst lub kod. Jego rozwój łączy przycinanie modelu i destylację wiedzy z dostrajaniem do instrukcji, tworząc mały profil modelu do skoncentrowanych zadań pisarskich i asystenckich.\n\n### Określ ograniczony rezultat tekstowy\n\nPodaj modelowi materiał źródłowy, pytanie i oczekiwaną formę odpowiedzi. Prośba o pomoc w pisaniu może określać odbiorców, ton i szczegóły, które muszą pozostać. Podsumowanie może wskazywać sekcje do uwzględnienia oraz pożądaną długość lub strukturę. Przy krótkiej odpowiedzi z bazy wiedzy dostarcz odpowiedni fragment i poproś o wyjaśnienie oparte na tym źródle.\n\nProducent wymienia wyszukiwanie wiedzy, podsumowywanie, mobilnych asystentów pisania, przeformułowywanie zapytań i przeformułowywanie promptów wśród zamierzonych zastosowań modeli tekstowych dostrojonych do instrukcji. Aplikacja wyszukująca może dostarczać znalezione fragmenty i prosić model o ułożenie odpowiedzi. Zachowaj identyfikatory fragmentów przy wyniku, aby czytelnik lub inny komponent mógł sprawdzić materiał dowodowy.\n\nPrzy przeformułowywaniu zapytania zachowaj pierwotne pytanie i poproś o zwięzłe sformułowanie wyszukiwania, które zachowuje jego intencję. Przy podsumowaniu dokumentu poproś o główne twierdzenia i wpływające na nie zastrzeżenia. Sprawdź rzeczywiste wyjście pod kątem pominiętych warunków, zmienionych liczb lub wymyślonych informacji, szczególnie gdy krótka odpowiedź kompresuje większe źródło.\n\n### Języki i kontekst\n\nAngielski, niemiecki, francuski, włoski, portugalski, hindi, hiszpański i tajski to osiem oficjalnie obsługiwanych języków. Określ pożądany język wyjścia i zachowaj pisownię nazw lub specjalistycznej terminologii, które muszą pozostać niezmienione. Zadanie wielojęzyczne powinno zawierać wystarczający kontekst źródłowy do oceny znaczenia zwróconych sformułowań, zamiast polegać wyłącznie na płynności.\n\nStandardowy tekstowy punkt kontrolny Llama 3.2 ma okno kontekstu 128K tokenów. Przeznacz ten budżet na odpowiedni materiał źródłowy, historię rozmowy i wygenerowany wynik. Zachowaj wcześniejsze decyzje potrzebne do kontynuacji i zostaw miejsce na odpowiedź. Granica danych treningu wstępnego przypada na grudzień 2023 r., więc późniejsze informacje wymagają materiału dostarczonego z zadaniem lub przez otaczającą aplikację wyszukującą.\n\n### Dostrajanie do instrukcji i format rozmowy\n\nJest to punkt kontrolny Instruct, przygotowany do dialogu w stylu asystenta. Karta modelu opisuje nadzorowane dostrajanie i dostosowanie do ludzkich preferencji, z dodatkową destylacją podczas rozwoju małych modeli. Przykłady użycia dostarczają wiadomości systemowe i użytkownika w formacie czatu. Instrukcja systemowa może określać rolę i oczekiwania wyjściowe, podczas gdy wiadomość użytkownika dostarcza bieżące zadanie i źródła.\n\nPrzy bezpośrednim korzystaniu z punktu kontrolnego zachowaj format rozmowy odpowiedni dla wybranego wydania. Jasno określ wynik i sprawdź wygenerowaną odpowiedź, w tym jej związek z dostarczonym materiałem dowodowym. Przy ustrukturyzowanym rezultacie tekstowym określ wymagane pola lub nagłówki i zweryfikuj rzeczywiste wyjście, zanim aplikacja je wykorzysta; pisemne żądanie formatu nie gwarantuje poprawności każdej wartości.\n\n### Profile standardowe, skwantowane i wizyjne\n\nProducent odróżnia standardowy model tekstowy od osobno opublikowanych skwantowanych profili tekstowych Llama 3.2. Jego tabela modeli podaje kontekst 8K dla tych profili skwantowanych, odrębny od standardowego okna 128K. Dobieraj model i budżet roboczy razem, zamiast zakładać, że każde wdrożenie oznaczone 3B zachowuje ten sam limit kontekstu.\n\nModel 3B Instruct jest też odrębny od większych modeli wizyjnych Llama 3.2. Dla tego profilu tekstowego przygotuj tekstowy materiał źródłowy lub tekst uzyskany przez otaczającą aplikację. Używaj modelu do skoncentrowanej odpowiedzi, redakcji, podsumowania lub krótkiego wyjaśnienia kodu. Zachowaj wybrany punkt kontrolny, prompt i źródło przy wyniku, a następnie sformułuj kolejną instrukcję konkretnie wobec brakującego szczegółu lub zaobserwowanego błędu.", "editorialOverlay": { "copy_fields": { "practical_html": "Przykład techniczny po angielsku
Rewrite a knowledge-base query\n\nRewrite this support question into one concise search query: 'I changed my work email yesterday and now the old address still gets export notifications, even though I log in with the new one.' Preserve the distinction between login identity and notification destination. Return the query and two key concepts it must retain; do not answer the question.One search query plus two retained concepts covering changed login email and stale export-notification address.The rewrite keeps the notification problem and does not collapse it into a login failure.meta-llama/llama-3.2-3b-instructMeta Llama 3.2 3B Instruct to kompaktowy model tekstowy do wielojęzycznego czatu, podsumowań opartych na wyszukanych materiałach i pomocy w pisaniu. Jego standardowy punkt kontrolny ma kontekst 128K; osobno opublikowane warianty skwantowane mają inne okno robocze.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
Meta Llama 3.2 3B Instruct to model tekstowy dostrojony do instrukcji, zaprojektowany do wielojęzycznych rozmów z asystentem, pracy opartej na wyszukanych materiałach i podsumowywania. Tabela modeli producenta wskazuje klasę 3B z 3,21B parametrów. Przyjmuje tekst i generuje tekst lub kod. Jego rozwój łączy przycinanie modelu i destylację wiedzy z dostrajaniem do instrukcji, tworząc mały profil modelu do skoncentrowanych zadań pisarskich i asystenckich.
Podaj modelowi materiał źródłowy, pytanie i oczekiwaną formę odpowiedzi. Prośba o pomoc w pisaniu może określać odbiorców, ton i szczegóły, które muszą pozostać. Podsumowanie może wskazywać sekcje do uwzględnienia oraz pożądaną długość lub strukturę. Przy krótkiej odpowiedzi z bazy wiedzy dostarcz odpowiedni fragment i poproś o wyjaśnienie oparte na tym źródle.
Producent wymienia wyszukiwanie wiedzy, podsumowywanie, mobilnych asystentów pisania, przeformułowywanie zapytań i przeformułowywanie promptów wśród zamierzonych zastosowań modeli tekstowych dostrojonych do instrukcji. Aplikacja wyszukująca może dostarczać znalezione fragmenty i prosić model o ułożenie odpowiedzi. Zachowaj identyfikatory fragmentów przy wyniku, aby czytelnik lub inny komponent mógł sprawdzić materiał dowodowy.
Przy przeformułowywaniu zapytania zachowaj pierwotne pytanie i poproś o zwięzłe sformułowanie wyszukiwania, które zachowuje jego intencję. Przy podsumowaniu dokumentu poproś o główne twierdzenia i wpływające na nie zastrzeżenia. Sprawdź rzeczywiste wyjście pod kątem pominiętych warunków, zmienionych liczb lub wymyślonych informacji, szczególnie gdy krótka odpowiedź kompresuje większe źródło.
Angielski, niemiecki, francuski, włoski, portugalski, hindi, hiszpański i tajski to osiem oficjalnie obsługiwanych języków. Określ pożądany język wyjścia i zachowaj pisownię nazw lub specjalistycznej terminologii, które muszą pozostać niezmienione. Zadanie wielojęzyczne powinno zawierać wystarczający kontekst źródłowy do oceny znaczenia zwróconych sformułowań, zamiast polegać wyłącznie na płynności.
Standardowy tekstowy punkt kontrolny Llama 3.2 ma okno kontekstu 128K tokenów. Przeznacz ten budżet na odpowiedni materiał źródłowy, historię rozmowy i wygenerowany wynik. Zachowaj wcześniejsze decyzje potrzebne do kontynuacji i zostaw miejsce na odpowiedź. Granica danych treningu wstępnego przypada na grudzień 2023 r., więc późniejsze informacje wymagają materiału dostarczonego z zadaniem lub przez otaczającą aplikację wyszukującą.
Jest to punkt kontrolny Instruct, przygotowany do dialogu w stylu asystenta. Karta modelu opisuje nadzorowane dostrajanie i dostosowanie do ludzkich preferencji, z dodatkową destylacją podczas rozwoju małych modeli. Przykłady użycia dostarczają wiadomości systemowe i użytkownika w formacie czatu. Instrukcja systemowa może określać rolę i oczekiwania wyjściowe, podczas gdy wiadomość użytkownika dostarcza bieżące zadanie i źródła.
Przy bezpośrednim korzystaniu z punktu kontrolnego zachowaj format rozmowy odpowiedni dla wybranego wydania. Jasno określ wynik i sprawdź wygenerowaną odpowiedź, w tym jej związek z dostarczonym materiałem dowodowym. Przy ustrukturyzowanym rezultacie tekstowym określ wymagane pola lub nagłówki i zweryfikuj rzeczywiste wyjście, zanim aplikacja je wykorzysta; pisemne żądanie formatu nie gwarantuje poprawności każdej wartości.
Producent odróżnia standardowy model tekstowy od osobno opublikowanych skwantowanych profili tekstowych Llama 3.2. Jego tabela modeli podaje kontekst 8K dla tych profili skwantowanych, odrębny od standardowego okna 128K. Dobieraj model i budżet roboczy razem, zamiast zakładać, że każde wdrożenie oznaczone 3B zachowuje ten sam limit kontekstu.
Model 3B Instruct jest też odrębny od większych modeli wizyjnych Llama 3.2. Dla tego profilu tekstowego przygotuj tekstowy materiał źródłowy lub tekst uzyskany przez otaczającą aplikację. Używaj modelu do skoncentrowanej odpowiedzi, redakcji, podsumowania lub krótkiego wyjaśnienia kodu. Zachowaj wybrany punkt kontrolny, prompt i źródło przy wyniku, a następnie sformułuj kolejną instrukcję konkretnie wobec brakującego szczegółu lub zaobserwowanego błędu.
POST /v1/chat/completionstexttext| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity meta-llama/llama-3.2-3b-instruct | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity Minimalna liczba elementów: 1 | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity Przykłady: system, user, assistant, tool, function Warunki: Te role są jawnie reprezentowane przez typy zgodności w kodzie źródłowym; dokładny zestaw ról pozostaje właściwy dla danego modelu. Zależy od modelu | Domyślnie— |
Polemessages[].content | Typstring|content_part[]|null | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_calls | Typtool_call[] | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_call_id | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: role=tool; użyj rzeczywiście zwróconego ID | Domyślnie— |
Polemessages[].name | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].reasoning_content | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: Przekazuj z powrotem rzeczywiście zwróconą treść rozumowania, gdy ten model jej używa | Domyślnie— |
Polemessages[].reasoning_details | Typobject|array | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polemax_completion_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Polestream_options.include_usage | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletemperature | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletop_p | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polestop | Typstring|string[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools | Typfunction_tool[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools[].type | Typstring | WymaganieOpcjonalne | Wartości i limity function Zależy od modelu | Domyślnie— |
Poletools[].function.name | Typstring | WymaganieWymagane | Wartości i limity Obowiązuje, gdy: udostępnione narzędzie funkcji | Domyślnie— |
Poletools[].function.description | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletools[].function.parameters | TypJSON_schema | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletool_choice | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleparallel_tool_calls | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleresponse_format | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning_effort | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleservice_tier | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleinstructions | Typstring | WymaganieOpcjonalne | Wartości i limity Pole zgodności | Domyślnie— |
Polefunctions | Typfunction[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polefunction_call | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleprompt_cache_options | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemodalities | Typstring[] | WymaganieOpcjonalne | Wartości i limity text | Domyślnie— |
Poleprovider | Typobject | WymaganieOpcjonalne | Wartości i limity Warunki: provider.options jest odrzucane na tej tekstowej trasie Ultra | Domyślnie— |
Polecache_control.ttl | Typstring | WymaganieOpcjonalne | Wartości i limity Warunki: 1h jest odrzucane w rzeczywistych miejscach pamięci podręcznej promptów | Domyślnie— |
Tekst · tekst UTF8
messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages |
Parametrmaterial_types | Kontrakttext |
Parametrmessages | Kontrakttablica wiadomości o strukturze role/content |
Parametrfile_material | Kontraktrzeczywisty dokument UTF-8 wstawiony jako dosłowny tekst; bez wywnioskowanego ID pliku |
Parametroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrcontrol_scope | Kontraktwłaściwe dla modelu; narzędzia funkcji użytkownika różnią się od narzędzi hostowanych |
Parametroutput_modalities | Kontrakttext |
Parametrhosted_operations | Kontraktfalse |
Parametrmultimodal_input_binding | Kontraktnull |
Cykl życia: synchronous_or_streamed
Wyślij dokładne ID modelu wraz z messages.
Długość kontekstu nie jest limitem wyjścia.
Plik tekstowy może dostarczyć dosłowny tekst; wejścia obrazowe/dźwiękowe/obiekty plików wymagają dokładnego powiązania.
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
Dopasuj każdą opłatę do pokazanych warunków. Użyj jednej stawki dla każdego zestawu alternatywnych konfiguracji.
| Konfiguracja | Tabela stawek | Tokeny kontekstu, więcej niż | Tokeny kontekstu, do podanej wartości włącznie | Opłata |
|---|---|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Tokeny kontekstu, więcej niż— | Tokeny kontekstu, do podanej wartości włącznieBez górnej granicy | Opłata Wejście · Tokeny wejściowe $0.0001 / 1K tokenów Wyjście · Tokeny wyjściowe $0.00066 / 1K tokenów Wejście · Odczyt cache — / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
| KonfiguracjaPrzedział długości żądania 1 | Tabela stawek— | Tokeny kontekstu, więcej niż0 | Tokeny kontekstu, do podanej wartości włącznieBez górnej granicy | Opłata Wejście · Tokeny wejściowe $0.0001 / 1K tokenów Wyjście · Tokeny wyjściowe $0.00066 / 1K tokenów Wejście · Odczyt cache — / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "meta-llama/llama-3.2-3b-instruct", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='meta-llama/llama-3.2-3b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='meta-llama/llama-3.2-3b-instruct',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj każdy wariant i jego treść/wywołania narzędzi/rozumowanie. W SSE składaj przyrosty według indeksu wariantu/narzędzia, zachowując końcowy powód zakończenia i dane użycia.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra meta-llama/llama-3.2-3b-instruct
Użyj ścieżek metod podanych powyżej.
meta-llama/llama-3.2-3b-instructMeta Llama 3.2 3B Instruct to kompaktowy model tekstowy do wielojęzycznego czatu, podsumowań opartych na wyszukanych materiałach i pomocy w pisaniu. Jego standardowy punkt kontrolny ma kontekst 128K; osobno opublikowane warianty skwantowane mają inne okno robocze.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
Meta Llama 3.2 3B Instruct to model tekstowy dostrojony do instrukcji, zaprojektowany do wielojęzycznych rozmów z asystentem, pracy opartej na wyszukanych materiałach i podsumowywania. Tabela modeli producenta wskazuje klasę 3B z 3,21B parametrów. Przyjmuje tekst i generuje tekst lub kod. Jego rozwój łączy przycinanie modelu i destylację wiedzy z dostrajaniem do instrukcji, tworząc mały profil modelu do skoncentrowanych zadań pisarskich i asystenckich.
Podaj modelowi materiał źródłowy, pytanie i oczekiwaną formę odpowiedzi. Prośba o pomoc w pisaniu może określać odbiorców, ton i szczegóły, które muszą pozostać. Podsumowanie może wskazywać sekcje do uwzględnienia oraz pożądaną długość lub strukturę. Przy krótkiej odpowiedzi z bazy wiedzy dostarcz odpowiedni fragment i poproś o wyjaśnienie oparte na tym źródle.
Producent wymienia wyszukiwanie wiedzy, podsumowywanie, mobilnych asystentów pisania, przeformułowywanie zapytań i przeformułowywanie promptów wśród zamierzonych zastosowań modeli tekstowych dostrojonych do instrukcji. Aplikacja wyszukująca może dostarczać znalezione fragmenty i prosić model o ułożenie odpowiedzi. Zachowaj identyfikatory fragmentów przy wyniku, aby czytelnik lub inny komponent mógł sprawdzić materiał dowodowy.
Przy przeformułowywaniu zapytania zachowaj pierwotne pytanie i poproś o zwięzłe sformułowanie wyszukiwania, które zachowuje jego intencję. Przy podsumowaniu dokumentu poproś o główne twierdzenia i wpływające na nie zastrzeżenia. Sprawdź rzeczywiste wyjście pod kątem pominiętych warunków, zmienionych liczb lub wymyślonych informacji, szczególnie gdy krótka odpowiedź kompresuje większe źródło.
Angielski, niemiecki, francuski, włoski, portugalski, hindi, hiszpański i tajski to osiem oficjalnie obsługiwanych języków. Określ pożądany język wyjścia i zachowaj pisownię nazw lub specjalistycznej terminologii, które muszą pozostać niezmienione. Zadanie wielojęzyczne powinno zawierać wystarczający kontekst źródłowy do oceny znaczenia zwróconych sformułowań, zamiast polegać wyłącznie na płynności.
Standardowy tekstowy punkt kontrolny Llama 3.2 ma okno kontekstu 128K tokenów. Przeznacz ten budżet na odpowiedni materiał źródłowy, historię rozmowy i wygenerowany wynik. Zachowaj wcześniejsze decyzje potrzebne do kontynuacji i zostaw miejsce na odpowiedź. Granica danych treningu wstępnego przypada na grudzień 2023 r., więc późniejsze informacje wymagają materiału dostarczonego z zadaniem lub przez otaczającą aplikację wyszukującą.
Jest to punkt kontrolny Instruct, przygotowany do dialogu w stylu asystenta. Karta modelu opisuje nadzorowane dostrajanie i dostosowanie do ludzkich preferencji, z dodatkową destylacją podczas rozwoju małych modeli. Przykłady użycia dostarczają wiadomości systemowe i użytkownika w formacie czatu. Instrukcja systemowa może określać rolę i oczekiwania wyjściowe, podczas gdy wiadomość użytkownika dostarcza bieżące zadanie i źródła.
Przy bezpośrednim korzystaniu z punktu kontrolnego zachowaj format rozmowy odpowiedni dla wybranego wydania. Jasno określ wynik i sprawdź wygenerowaną odpowiedź, w tym jej związek z dostarczonym materiałem dowodowym. Przy ustrukturyzowanym rezultacie tekstowym określ wymagane pola lub nagłówki i zweryfikuj rzeczywiste wyjście, zanim aplikacja je wykorzysta; pisemne żądanie formatu nie gwarantuje poprawności każdej wartości.
Producent odróżnia standardowy model tekstowy od osobno opublikowanych skwantowanych profili tekstowych Llama 3.2. Jego tabela modeli podaje kontekst 8K dla tych profili skwantowanych, odrębny od standardowego okna 128K. Dobieraj model i budżet roboczy razem, zamiast zakładać, że każde wdrożenie oznaczone 3B zachowuje ten sam limit kontekstu.
Model 3B Instruct jest też odrębny od większych modeli wizyjnych Llama 3.2. Dla tego profilu tekstowego przygotuj tekstowy materiał źródłowy lub tekst uzyskany przez otaczającą aplikację. Używaj modelu do skoncentrowanej odpowiedzi, redakcji, podsumowania lub krótkiego wyjaśnienia kodu. Zachowaj wybrany punkt kontrolny, prompt i źródło przy wyniku, a następnie sformułuj kolejną instrukcję konkretnie wobec brakującego szczegółu lub zaobserwowanego błędu.
POST /v1/messagestextjson, sse| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity meta-llama/llama-3.2-3b-instruct | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity user, assistant | Domyślnie— |
Polemessages[].content | Typstring | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Tekst · tekst UTF-8
ciąg messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages, max_tokens |
Parametroptional_controls | Kontraktstream |
Parametrmaterial_types | Kontrakttext |
Parametrtext_file_material | KontraktOdczytaj rzeczywisty dokument UTF-8 i umieść jego tekst we wskazanym polu input lub w ciągu treści wiadomości. |
Cykl życia: synchronous_or_streamed
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
Dopasuj każdą opłatę do pokazanych warunków. Użyj jednej stawki dla każdego zestawu alternatywnych konfiguracji.
| Konfiguracja | Tabela stawek | Tokeny kontekstu, więcej niż | Tokeny kontekstu, do podanej wartości włącznie | Opłata |
|---|---|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Tokeny kontekstu, więcej niż— | Tokeny kontekstu, do podanej wartości włącznieBez górnej granicy | Opłata Wejście · Tokeny wejściowe $0.0001 / 1K tokenów Wyjście · Tokeny wyjściowe $0.00066 / 1K tokenów Wejście · Odczyt cache — / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
| KonfiguracjaPrzedział długości żądania 1 | Tabela stawek— | Tokeny kontekstu, więcej niż0 | Tokeny kontekstu, do podanej wartości włącznieBez górnej granicy | Opłata Wejście · Tokeny wejściowe $0.0001 / 1K tokenów Wyjście · Tokeny wyjściowe $0.00066 / 1K tokenów Wejście · Odczyt cache — / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
{\n "model": "meta-llama/llama-3.2-3b-instruct",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-3b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'meta-llama/llama-3.2-3b-instruct', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj wszystkie bloki treści, sygnatury myślenia i rzeczywiste ID użycia narzędzi. Złóż wszystkie przyrosty bloków SSE; pierwszy blok tekstowy nie jest pełnym wyjściem.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra meta-llama/llama-3.2-3b-instruct
Użyj ścieżek metod podanych powyżej.
Przykład techniczny po angielsku
Rewrite a knowledge-base query\n\nRewrite this support question into one concise search query: 'I changed my work email yesterday and now the old address still gets export notifications, even though I log in with the new one.' Preserve the distinction between login identity and notification destination. Return the query and two key concepts it must retain; do not answer the question.One search query plus two retained concepts covering changed login email and stale export-notification address.The rewrite keeps the notification problem and does not collapse it into a login failure.