Nemotron 3.5 Lightning to hybrydowy model językowy firmy NVIDIA o architekturze mixture-of-experts, przeznaczony do tekstowych zadań wymagających rozumowania lub bezpośredniej odpowiedzi. Profil producenta podaje 30 miliardów parametrów łącznie i 3 miliardy parametrów aktywnych, łącząc komponenty Mamba i transformera z przewidywaniem wielu tokenów. Wskazana wersja BF16 to materiał modelu producenta o pełnej precyzji, odrębny od jego zoptymalizowanych wersji o niskiej precyzji.
Producent opisuje trening wstępny na ponad dwudziestu bilionach tokenów, po którym następują dalszy trening przewidywania wielu tokenów, nadzorowane dostrajanie i uczenie ze wzmocnieniem w wielu środowiskach. Zadania instrukcyjne i zadania uczenia ze wzmocnieniem obejmują kod, matematykę, nauki przyrodnicze, wywoływanie narzędzi, ustrukturyzowane wyniki i interakcje wieloturowe. Przewidywanie wielu tokenów to cecha architektury i treningu Lightning, a nie dodatkowy typ wyjścia, taki jak generowanie obrazów lub dźwięku.
Model przyjmuje tekst i zwraca tekst. Języki obsługiwane według producenta obejmują angielski, hiszpański, francuski, niemiecki, włoski i japoński. Określ język wyjściowy i zachowaj nazwy techniczne lub identyfikatory kodu, które nie powinny się zmieniać.
Szablon rozmowy producenta pozwala włączyć lub wyłączyć myślenie. Zadanie wymagające rozumowania rozwija pośrednią analizę przed końcową odpowiedzią, a zadanie bezpośrednie może żądać odpowiedzi bez takiego zapisu. Producent zaleca temperaturę 1,0 i top-p 0,95 dla swojego profilu referencyjnego. Niezależnie określ wymagany końcowy materiał: rozwiązanie, ukierunkowaną zmianę kodu, porównanie źródeł lub zdefiniowany rekord danych.
Praktyczne polecenie brzmi: „Wykorzystaj te fragmenty źródłowe, aby porównać wymagania i wskazać warunek, od którego zależy każdy wniosek”. Przy programowaniu dostarcz odpowiednią implementację, zaobserwowany błąd i oczekiwane zachowanie oraz poproś o poprawkę powiązaną z dowodami. Oddziel proponowany kod od rzeczywistego wyniku weryfikacji.
Dalszy trening NVIDIA obejmuje wieloetapowe użycie narzędzi i ustrukturyzowane wyniki. Gdy aplikacja wykorzystuje model jako agenta, dostarcz funkcje z precyzyjnymi celami i schematami argumentów. Aplikacja wykonuje wybrane operacje i zwraca obserwacje na potrzeby następnego kroku. Wybrana funkcja lub wygenerowany rekord argumentów samodzielnie nie wykonuje operacji.
Dla ustrukturyzowanego wyniku zdefiniuj znaczenie pól i zasady zapisu brakujących wartości. Sprawdź wartości względem danych wejściowych, nawet gdy format jest odpowiedni dla systemu odbierającego wynik. Kontynuowane zadanie powinno zachowywać obserwacje potwierdzające postęp oraz końcowe kryterium oznaczające jego ukończenie.
W udokumentowanym profilu model obsługuje kontekst do miliona tokenów. Producent pokazuje również mniejszą konfigurację 256 tys. tokenów dla środowiska wykonania z ograniczoną pamięcią, więc maksymalny profil i wybrana konfiguracja to różne rzeczy. Materiały źródłowe, historia, wyniki narzędzi, rozumowanie i końcowa odpowiedź współdzielą dostępny kontekst. Sformułowanie dotyczące kontekstu wyjściowego w karcie nie ustanawia dodatkowego, niezależnego budżetu miliona tokenów na odpowiedź.
Referencyjna wersja BF16, wersje producenta o niskiej precyzji i wcześniejszy Nemotron 3 Nano mają odrębne właściwości. Przy twierdzeniach zależnych od źródła korzystaj z autorytatywnego tekstu, a przy wykonanej pracy z rzeczywistych obserwacji aplikacji. Użytecznym wynikiem jest rozwiązanie tekstowe, propozycja kodu lub ustrukturyzowana analiza, które można sprawdzić i których założenia oraz dowody pozostają jasne.
", "aboutText": "Nemotron 3.5 Lightning to hybrydowy model językowy firmy NVIDIA o architekturze mixture-of-experts, przeznaczony do tekstowych zadań wymagających rozumowania lub bezpośredniej odpowiedzi. Profil producenta podaje 30 miliardów parametrów łącznie i 3 miliardy parametrów aktywnych, łącząc komponenty Mamba i transformera z przewidywaniem wielu tokenów. Wskazana wersja BF16 to materiał modelu producenta o pełnej precyzji, odrębny od jego zoptymalizowanych wersji o niskiej precyzji.\n\n### Trening i konstrukcja wersji\n\nProducent opisuje trening wstępny na ponad dwudziestu bilionach tokenów, po którym następują dalszy trening przewidywania wielu tokenów, nadzorowane dostrajanie i uczenie ze wzmocnieniem w wielu środowiskach. Zadania instrukcyjne i zadania uczenia ze wzmocnieniem obejmują kod, matematykę, nauki przyrodnicze, wywoływanie narzędzi, ustrukturyzowane wyniki i interakcje wieloturowe. Przewidywanie wielu tokenów to cecha architektury i treningu Lightning, a nie dodatkowy typ wyjścia, taki jak generowanie obrazów lub dźwięku.\n\nModel przyjmuje tekst i zwraca tekst. Języki obsługiwane według producenta obejmują angielski, hiszpański, francuski, niemiecki, włoski i japoński. Określ język wyjściowy i zachowaj nazwy techniczne lub identyfikatory kodu, które nie powinny się zmieniać.\n\n### Rozumowanie lub bezpośrednia odpowiedź\n\nSzablon rozmowy producenta pozwala włączyć lub wyłączyć myślenie. Zadanie wymagające rozumowania rozwija pośrednią analizę przed końcową odpowiedzią, a zadanie bezpośrednie może żądać odpowiedzi bez takiego zapisu. Producent zaleca temperaturę 1,0 i top-p 0,95 dla swojego profilu referencyjnego. Niezależnie określ wymagany końcowy materiał: rozwiązanie, ukierunkowaną zmianę kodu, porównanie źródeł lub zdefiniowany rekord danych.\n\nPraktyczne polecenie brzmi: „Wykorzystaj te fragmenty źródłowe, aby porównać wymagania i wskazać warunek, od którego zależy każdy wniosek”. Przy programowaniu dostarcz odpowiednią implementację, zaobserwowany błąd i oczekiwane zachowanie oraz poproś o poprawkę powiązaną z dowodami. Oddziel proponowany kod od rzeczywistego wyniku weryfikacji.\n\n### Narzędzia i praca z określoną strukturą\n\nDalszy trening NVIDIA obejmuje wieloetapowe użycie narzędzi i ustrukturyzowane wyniki. Gdy aplikacja wykorzystuje model jako agenta, dostarcz funkcje z precyzyjnymi celami i schematami argumentów. Aplikacja wykonuje wybrane operacje i zwraca obserwacje na potrzeby następnego kroku. Wybrana funkcja lub wygenerowany rekord argumentów samodzielnie nie wykonuje operacji.\n\nDla ustrukturyzowanego wyniku zdefiniuj znaczenie pól i zasady zapisu brakujących wartości. Sprawdź wartości względem danych wejściowych, nawet gdy format jest odpowiedni dla systemu odbierającego wynik. Kontynuowane zadanie powinno zachowywać obserwacje potwierdzające postęp oraz końcowe kryterium oznaczające jego ukończenie.\n\n### Kontekst i konfiguracja producenta\n\nW udokumentowanym profilu model obsługuje kontekst do miliona tokenów. Producent pokazuje również mniejszą konfigurację 256 tys. tokenów dla środowiska wykonania z ograniczoną pamięcią, więc maksymalny profil i wybrana konfiguracja to różne rzeczy. Materiały źródłowe, historia, wyniki narzędzi, rozumowanie i końcowa odpowiedź współdzielą dostępny kontekst. Sformułowanie dotyczące kontekstu wyjściowego w karcie nie ustanawia dodatkowego, niezależnego budżetu miliona tokenów na odpowiedź.\n\nReferencyjna wersja BF16, wersje producenta o niskiej precyzji i wcześniejszy Nemotron 3 Nano mają odrębne właściwości. Przy twierdzeniach zależnych od źródła korzystaj z autorytatywnego tekstu, a przy wykonanej pracy z rzeczywistych obserwacji aplikacji. Użytecznym wynikiem jest rozwiązanie tekstowe, propozycja kodu lub ustrukturyzowana analiza, które można sprawdzić i których założenia oraz dowody pozostają jasne.", "editorialOverlay": { "copy_fields": { "practical_html": "Przykład techniczny po angielsku
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning to hybrydowy model tekstowy firmy NVIDIA o architekturze mixture-of-experts, przeznaczony do rozumowania, programowania i zadań kierowanych narzędziami. Udokumentowany profil producenta 30B/A3B dodaje przewidywanie wielu tokenów, konfigurowalne myślenie i kontekst do miliona tokenów, z odrębną referencyjną wersją BF16.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
Nemotron 3.5 Lightning to hybrydowy model językowy firmy NVIDIA o architekturze mixture-of-experts, przeznaczony do tekstowych zadań wymagających rozumowania lub bezpośredniej odpowiedzi. Profil producenta podaje 30 miliardów parametrów łącznie i 3 miliardy parametrów aktywnych, łącząc komponenty Mamba i transformera z przewidywaniem wielu tokenów. Wskazana wersja BF16 to materiał modelu producenta o pełnej precyzji, odrębny od jego zoptymalizowanych wersji o niskiej precyzji.
Producent opisuje trening wstępny na ponad dwudziestu bilionach tokenów, po którym następują dalszy trening przewidywania wielu tokenów, nadzorowane dostrajanie i uczenie ze wzmocnieniem w wielu środowiskach. Zadania instrukcyjne i zadania uczenia ze wzmocnieniem obejmują kod, matematykę, nauki przyrodnicze, wywoływanie narzędzi, ustrukturyzowane wyniki i interakcje wieloturowe. Przewidywanie wielu tokenów to cecha architektury i treningu Lightning, a nie dodatkowy typ wyjścia, taki jak generowanie obrazów lub dźwięku.
Model przyjmuje tekst i zwraca tekst. Języki obsługiwane według producenta obejmują angielski, hiszpański, francuski, niemiecki, włoski i japoński. Określ język wyjściowy i zachowaj nazwy techniczne lub identyfikatory kodu, które nie powinny się zmieniać.
Szablon rozmowy producenta pozwala włączyć lub wyłączyć myślenie. Zadanie wymagające rozumowania rozwija pośrednią analizę przed końcową odpowiedzią, a zadanie bezpośrednie może żądać odpowiedzi bez takiego zapisu. Producent zaleca temperaturę 1,0 i top-p 0,95 dla swojego profilu referencyjnego. Niezależnie określ wymagany końcowy materiał: rozwiązanie, ukierunkowaną zmianę kodu, porównanie źródeł lub zdefiniowany rekord danych.
Praktyczne polecenie brzmi: „Wykorzystaj te fragmenty źródłowe, aby porównać wymagania i wskazać warunek, od którego zależy każdy wniosek”. Przy programowaniu dostarcz odpowiednią implementację, zaobserwowany błąd i oczekiwane zachowanie oraz poproś o poprawkę powiązaną z dowodami. Oddziel proponowany kod od rzeczywistego wyniku weryfikacji.
Dalszy trening NVIDIA obejmuje wieloetapowe użycie narzędzi i ustrukturyzowane wyniki. Gdy aplikacja wykorzystuje model jako agenta, dostarcz funkcje z precyzyjnymi celami i schematami argumentów. Aplikacja wykonuje wybrane operacje i zwraca obserwacje na potrzeby następnego kroku. Wybrana funkcja lub wygenerowany rekord argumentów samodzielnie nie wykonuje operacji.
Dla ustrukturyzowanego wyniku zdefiniuj znaczenie pól i zasady zapisu brakujących wartości. Sprawdź wartości względem danych wejściowych, nawet gdy format jest odpowiedni dla systemu odbierającego wynik. Kontynuowane zadanie powinno zachowywać obserwacje potwierdzające postęp oraz końcowe kryterium oznaczające jego ukończenie.
W udokumentowanym profilu model obsługuje kontekst do miliona tokenów. Producent pokazuje również mniejszą konfigurację 256 tys. tokenów dla środowiska wykonania z ograniczoną pamięcią, więc maksymalny profil i wybrana konfiguracja to różne rzeczy. Materiały źródłowe, historia, wyniki narzędzi, rozumowanie i końcowa odpowiedź współdzielą dostępny kontekst. Sformułowanie dotyczące kontekstu wyjściowego w karcie nie ustanawia dodatkowego, niezależnego budżetu miliona tokenów na odpowiedź.
Referencyjna wersja BF16, wersje producenta o niskiej precyzji i wcześniejszy Nemotron 3 Nano mają odrębne właściwości. Przy twierdzeniach zależnych od źródła korzystaj z autorytatywnego tekstu, a przy wykonanej pracy z rzeczywistych obserwacji aplikacji. Użytecznym wynikiem jest rozwiązanie tekstowe, propozycja kodu lub ustrukturyzowana analiza, które można sprawdzić i których założenia oraz dowody pozostają jasne.
POST /v1/chat/completionstexttext| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity nvidia/nemotron-3.5-lightning | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity Minimalna liczba elementów: 1 | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity Przykłady: system, user, assistant, tool, function Warunki: Te role są jawnie reprezentowane przez typy zgodności w kodzie źródłowym; dokładny zestaw ról pozostaje właściwy dla danego modelu. Zależy od modelu | Domyślnie— |
Polemessages[].content | Typstring|content_part[]|null | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_calls | Typtool_call[] | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].tool_call_id | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: role=tool; użyj rzeczywiście zwróconego ID | Domyślnie— |
Polemessages[].name | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Polemessages[].reasoning_content | Typstring | WymaganieOpcjonalne | Wartości i limity Obowiązuje, gdy: Przekazuj z powrotem rzeczywiście zwróconą treść rozumowania, gdy ten model jej używa | Domyślnie— |
Polemessages[].reasoning_details | Typobject|array | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polemax_completion_tokens | Typinteger | WymaganieOpcjonalne | Wartości i limity Minimum: 1 Zależy od modelu | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Polestream_options.include_usage | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletemperature | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletop_p | Typnumber | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polestop | Typstring|string[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools | Typfunction_tool[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poletools[].type | Typstring | WymaganieOpcjonalne | Wartości i limity function Zależy od modelu | Domyślnie— |
Poletools[].function.name | Typstring | WymaganieWymagane | Wartości i limity Obowiązuje, gdy: udostępnione narzędzie funkcji | Domyślnie— |
Poletools[].function.description | Typstring | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletools[].function.parameters | TypJSON_schema | WymaganieOpcjonalne | Wartości i limity | Domyślnie— |
Poletool_choice | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleparallel_tool_calls | Typboolean | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleresponse_format | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning_effort | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polereasoning | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleservice_tier | Typstring | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleinstructions | Typstring | WymaganieOpcjonalne | Wartości i limity Pole zgodności | Domyślnie— |
Polefunctions | Typfunction[] | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polefunction_call | Typstring|object | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Poleprompt_cache_options | Typobject | WymaganieOpcjonalne | Wartości i limity Zależy od modelu | Domyślnie— |
Polemodalities | Typstring[] | WymaganieOpcjonalne | Wartości i limity text | Domyślnie— |
Poleprovider | Typobject | WymaganieOpcjonalne | Wartości i limity Warunki: provider.options jest odrzucane na tej tekstowej trasie Ultra | Domyślnie— |
Polecache_control.ttl | Typstring | WymaganieOpcjonalne | Wartości i limity Warunki: 1h jest odrzucane w rzeczywistych miejscach pamięci podręcznej promptów | Domyślnie— |
Tekst · tekst UTF8
messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages |
Parametrmaterial_types | Kontrakttext |
Parametrmessages | Kontrakttablica wiadomości o strukturze role/content |
Parametrfile_material | Kontraktrzeczywisty dokument UTF-8 wstawiony jako dosłowny tekst; bez wywnioskowanego ID pliku |
Parametroptional_controls | Kontraktstream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
Parametrcontrol_scope | Kontraktwłaściwe dla modelu; narzędzia funkcji użytkownika różnią się od narzędzi hostowanych |
Parametroutput_modalities | Kontrakttext |
Parametrhosted_operations | Kontraktfalse |
Parametrmultimodal_input_binding | Kontraktnull |
Cykl życia: synchronous_or_streamed
Wyślij dokładne ID modelu wraz z messages.
Długość kontekstu nie jest limitem wyjścia.
Plik tekstowy może dostarczyć dosłowny tekst; wejścia obrazowe/dźwiękowe/obiekty plików wymagają dokładnego powiązania.
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
Dopasuj każdą opłatę do pokazanych warunków. Użyj jednej stawki dla każdego zestawu alternatywnych konfiguracji.
| Konfiguracja | Tabela stawek | Tokeny kontekstu, więcej niż | Tokeny kontekstu, do podanej wartości włącznie | Opłata |
|---|---|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Tokeny kontekstu, więcej niż— | Tokeny kontekstu, do podanej wartości włącznieBez górnej granicy | Opłata Wejście · Tokeny wejściowe $0.00014 / 1K tokenów Wyjście · Tokeny wyjściowe $0.0004 / 1K tokenów Wejście · Odczyt cache $0.00008 / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
| KonfiguracjaPrzedział długości żądania 1 | Tabela stawek— | Tokeny kontekstu, więcej niż0 | Tokeny kontekstu, do podanej wartości włącznieBez górnej granicy | Opłata Wejście · Tokeny wejściowe $0.00014 / 1K tokenów Wyjście · Tokeny wyjściowe $0.0004 / 1K tokenów Wejście · Odczyt cache $0.00008 / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3.5-lightning", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj każdy wariant i jego treść/wywołania narzędzi/rozumowanie. W SSE składaj przyrosty według indeksu wariantu/narzędzia, zachowując końcowy powód zakończenia i dane użycia.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Polechoices[].index | Typinteger |
Polechoices[].message.content | Typstring|null |
Polechoices[].message.tool_calls | Typtool_call[] |
Polechoices[].message.reasoning_content | Typstring |
Polechoices[].message.reasoning_details | Typobject|array |
Polechoices[].finish_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Użyj ścieżek metod podanych powyżej.
nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning to hybrydowy model tekstowy firmy NVIDIA o architekturze mixture-of-experts, przeznaczony do rozumowania, programowania i zadań kierowanych narzędziami. Udokumentowany profil producenta 30B/A3B dodaje przewidywanie wielu tokenów, konfigurowalne myślenie i kontekst do miliona tokenów, z odrębną referencyjną wersją BF16.
Ten opis przedstawia możliwości modelu. Dane wejściowe, wyniki i opcje dostępne w Ailoot podano poniżej dla wybranej metody.
Nemotron 3.5 Lightning to hybrydowy model językowy firmy NVIDIA o architekturze mixture-of-experts, przeznaczony do tekstowych zadań wymagających rozumowania lub bezpośredniej odpowiedzi. Profil producenta podaje 30 miliardów parametrów łącznie i 3 miliardy parametrów aktywnych, łącząc komponenty Mamba i transformera z przewidywaniem wielu tokenów. Wskazana wersja BF16 to materiał modelu producenta o pełnej precyzji, odrębny od jego zoptymalizowanych wersji o niskiej precyzji.
Producent opisuje trening wstępny na ponad dwudziestu bilionach tokenów, po którym następują dalszy trening przewidywania wielu tokenów, nadzorowane dostrajanie i uczenie ze wzmocnieniem w wielu środowiskach. Zadania instrukcyjne i zadania uczenia ze wzmocnieniem obejmują kod, matematykę, nauki przyrodnicze, wywoływanie narzędzi, ustrukturyzowane wyniki i interakcje wieloturowe. Przewidywanie wielu tokenów to cecha architektury i treningu Lightning, a nie dodatkowy typ wyjścia, taki jak generowanie obrazów lub dźwięku.
Model przyjmuje tekst i zwraca tekst. Języki obsługiwane według producenta obejmują angielski, hiszpański, francuski, niemiecki, włoski i japoński. Określ język wyjściowy i zachowaj nazwy techniczne lub identyfikatory kodu, które nie powinny się zmieniać.
Szablon rozmowy producenta pozwala włączyć lub wyłączyć myślenie. Zadanie wymagające rozumowania rozwija pośrednią analizę przed końcową odpowiedzią, a zadanie bezpośrednie może żądać odpowiedzi bez takiego zapisu. Producent zaleca temperaturę 1,0 i top-p 0,95 dla swojego profilu referencyjnego. Niezależnie określ wymagany końcowy materiał: rozwiązanie, ukierunkowaną zmianę kodu, porównanie źródeł lub zdefiniowany rekord danych.
Praktyczne polecenie brzmi: „Wykorzystaj te fragmenty źródłowe, aby porównać wymagania i wskazać warunek, od którego zależy każdy wniosek”. Przy programowaniu dostarcz odpowiednią implementację, zaobserwowany błąd i oczekiwane zachowanie oraz poproś o poprawkę powiązaną z dowodami. Oddziel proponowany kod od rzeczywistego wyniku weryfikacji.
Dalszy trening NVIDIA obejmuje wieloetapowe użycie narzędzi i ustrukturyzowane wyniki. Gdy aplikacja wykorzystuje model jako agenta, dostarcz funkcje z precyzyjnymi celami i schematami argumentów. Aplikacja wykonuje wybrane operacje i zwraca obserwacje na potrzeby następnego kroku. Wybrana funkcja lub wygenerowany rekord argumentów samodzielnie nie wykonuje operacji.
Dla ustrukturyzowanego wyniku zdefiniuj znaczenie pól i zasady zapisu brakujących wartości. Sprawdź wartości względem danych wejściowych, nawet gdy format jest odpowiedni dla systemu odbierającego wynik. Kontynuowane zadanie powinno zachowywać obserwacje potwierdzające postęp oraz końcowe kryterium oznaczające jego ukończenie.
W udokumentowanym profilu model obsługuje kontekst do miliona tokenów. Producent pokazuje również mniejszą konfigurację 256 tys. tokenów dla środowiska wykonania z ograniczoną pamięcią, więc maksymalny profil i wybrana konfiguracja to różne rzeczy. Materiały źródłowe, historia, wyniki narzędzi, rozumowanie i końcowa odpowiedź współdzielą dostępny kontekst. Sformułowanie dotyczące kontekstu wyjściowego w karcie nie ustanawia dodatkowego, niezależnego budżetu miliona tokenów na odpowiedź.
Referencyjna wersja BF16, wersje producenta o niskiej precyzji i wcześniejszy Nemotron 3 Nano mają odrębne właściwości. Przy twierdzeniach zależnych od źródła korzystaj z autorytatywnego tekstu, a przy wykonanej pracy z rzeczywistych obserwacji aplikacji. Użytecznym wynikiem jest rozwiązanie tekstowe, propozycja kodu lub ustrukturyzowana analiza, które można sprawdzić i których założenia oraz dowody pozostają jasne.
POST /v1/messagestextjson, sse| Pole | Typ | Wymaganie | Wartości i limity | Domyślnie |
|---|---|---|---|---|
Polemodel | Typstring | WymaganieWymagane | Wartości i limity nvidia/nemotron-3.5-lightning | Domyślnie— |
Polemessages | Typmessage[] | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemessages[].role | Typstring | WymaganieWymagane | Wartości i limity user, assistant | Domyślnie— |
Polemessages[].content | Typstring | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polemax_tokens | Typinteger | WymaganieWymagane | Wartości i limity | Domyślnie— |
Polestream | Typboolean | WymaganieOpcjonalne | Wartości i limity | Domyślniefalse |
Tekst · tekst UTF-8
ciąg messages[].content
| Parametr | Kontrakt |
|---|---|
Parametrcontent_type | Kontraktapplication/json |
Parametrrequired | Kontraktmodel, messages, max_tokens |
Parametroptional_controls | Kontraktstream |
Parametrmaterial_types | Kontrakttext |
Parametrtext_file_material | KontraktOdczytaj rzeczywisty dokument UTF-8 i umieść jego tekst we wskazanym polu input lub w ciągu treści wiadomości. |
Cykl życia: synchronous_or_streamed
Informacje taryfowe nie dodają opcji żądania. Obsługiwane parametry podano przy wybranej metodzie.
Dopasuj każdą opłatę do pokazanych warunków. Użyj jednej stawki dla każdego zestawu alternatywnych konfiguracji.
| Konfiguracja | Tabela stawek | Tokeny kontekstu, więcej niż | Tokeny kontekstu, do podanej wartości włącznie | Opłata |
|---|---|---|---|---|
| KonfiguracjaPodstawowe stawki za tokeny | Tabela stawekStawka podstawowa | Tokeny kontekstu, więcej niż— | Tokeny kontekstu, do podanej wartości włącznieBez górnej granicy | Opłata Wejście · Tokeny wejściowe $0.00014 / 1K tokenów Wyjście · Tokeny wyjściowe $0.0004 / 1K tokenów Wejście · Odczyt cache $0.00008 / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
| KonfiguracjaPrzedział długości żądania 1 | Tabela stawek— | Tokeny kontekstu, więcej niż0 | Tokeny kontekstu, do podanej wartości włącznieBez górnej granicy | Opłata Wejście · Tokeny wejściowe $0.00014 / 1K tokenów Wyjście · Tokeny wyjściowe $0.0004 / 1K tokenów Wejście · Odczyt cache $0.00008 / 1K tokenów Wejście · Zapis do cache — / 1K tokenów Wejście · Zapis do cache, 1 godz. — / 1K tokenów |
Ailoot rezerwuje szacowaną kwotę przed żądaniem. Po otrzymaniu wyniku rozlicza ostateczną opłatę według zmierzonego użycia. Rozliczenie strumieniowania korzysta z końcowego rekordu użycia. Jak działają rezerwacja i rozliczenie →
{\n "model": "nvidia/nemotron-3.5-lightning",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON lub SSE
Zachowaj każdą kompletną zwróconą odpowiedź, plik i część treści.
Zachowaj wszystkie bloki treści, sygnatury myślenia i rzeczywiste ID użycia narzędzi. Złóż wszystkie przyrosty bloków SSE; pierwszy blok tekstowy nie jest pełnym wyjściem.
Zachowaj ID i nagłówki żądań/odpowiedzi. Nie udostępniono ogólnego URL pobierania zadania tekstowego.
| Pole | Typ |
|---|---|
Poleid | Typstring |
Polemodel | Typstring |
Polecontent[] | Typtext|thinking|tool_use|other content block |
Polestop_reason | Typstring|null |
Poleusage | Typobject |
| Odpowiedź | Warunek | Następny krok |
|---|---|---|
Odpowiedź400 · invalid_request_error | WarunekNieprawidłowe wymagane pola, sposób reprezentacji materiału lub wartość parametru | Następny krokPopraw wskazane pola przed nowym żądaniem utworzenia. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
Użyj ścieżek metod podanych powyżej.
Przykład techniczny po angielsku
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.