Nemotron 3.5 Lightning은 추론과 직접 응답 텍스트 작업을 위한 NVIDIA의 하이브리드 전문가 혼합 언어 모델입니다. 제조사 프로파일에는 총 매개변수 300억 개와 활성 매개변수 30억 개가 명시되어 있으며, Mamba 및 transformer 구성 요소와 다중 토큰 예측을 결합합니다. 여기서 참조하는 BF16 릴리스는 제조사의 전체 정밀도 모델 자료이며, 최적화된 저정밀도 에디션과는 별개입니다.
제조사는 20조 개가 넘는 토큰으로 사전 학습한 뒤 다중 토큰 예측을 위한 추가 학습, 지도 미세 조정, 다중 환경 강화 학습을 수행했다고 설명합니다. 지시 및 강화 학습 작업에는 코드, 수학, 과학, 도구 호출, 구조화된 출력과 여러 턴의 상호 작용이 포함됩니다. 다중 토큰 예측은 Lightning의 아키텍처 및 학습 기능이며, 이미지나 오디오 생성처럼 별도로 추가되는 출력 유형은 아닙니다.
모델은 텍스트를 입력받고 텍스트를 반환합니다. 제조사가 지원하는 언어에는 영어, 스페인어, 프랑스어, 독일어, 이탈리아어와 일본어가 포함됩니다. 출력 언어를 지정하고 바뀌어서는 안 되는 기술 명칭이나 코드 식별자는 보존하세요.
제조사의 채팅 템플릿에서는 사고 모드를 활성화하거나 비활성화할 수 있습니다. 추론 작업은 최종 응답 전에 중간 분석을 전개하며, 직접 응답 작업에서는 그러한 과정 없이 답변하도록 요청할 수 있습니다. 제조사는 참조 프로파일에 temperature 1.0과 top-p 0.95를 권장합니다. 해법, 해당 부분에 집중한 코드 변경, 출처 비교 또는 정의된 데이터 기록처럼 필요한 최종 산출물은 별도로 명시하세요.
실용적인 작업 지시의 예는 다음과 같습니다. “이 원문 대목들을 사용해 요구 사항을 비교하고, 각 결론이 어떤 조건에 의존하는지 밝히세요.” 코딩에서는 관련 구현, 관찰된 실패와 예상 동작을 제공하고, 근거와 연결된 패치를 요청하세요. 제안된 코드와 실제 검증 결과를 구분해 유지하세요.
NVIDIA의 사후 학습에는 여러 단계의 도구 사용과 구조화된 출력이 포함됩니다. 애플리케이션이 모델을 에이전트로 사용할 때는 정확한 목적과 인수 스키마를 가진 함수를 제공하세요. 애플리케이션은 선택된 작업을 실행하고 다음 단계를 위한 관찰 결과를 반환합니다. 함수를 선택하거나 인수 기록을 생성하는 것만으로 해당 작업이 실제로 수행되지는 않습니다.
구조화된 결과를 얻으려면 필드의 의미와 누락값 처리 규칙을 정의하세요. 형식이 후속 시스템에 적합하더라도 값은 입력과 대조해 확인하세요. 계속 진행되는 작업에서는 진척을 입증하는 관찰 결과와 완료를 판단하는 최종 기준을 유지해야 합니다.
문서화된 프로파일에서 모델은 최대 100만 토큰의 컨텍스트를 지원합니다. 제조사는 메모리가 제한된 실행 환경을 위한 더 작은 256K 구성도 보여 주므로, 최대 프로파일과 선택한 구성은 서로 다릅니다. 원자료, 대화 이력, 도구 반환값, 추론과 최종 응답은 사용 가능한 컨텍스트를 공유합니다. 카드에서 출력 컨텍스트를 언급한다고 해서 독립적인 100만 토큰의 추가 답변 예산이 생기는 것은 아닙니다.
BF16 참조 릴리스, 제조사의 저정밀도 릴리스와 이전 Nemotron 3 Nano는 서로 다른 에디션 속성을 가집니다. 출처가 중요한 주장은 권위 있는 원문을 사용하고, 실행한 작업은 실제 애플리케이션의 관찰 결과를 사용하세요. 유용한 결과는 가정과 이를 뒷받침하는 근거가 명확하게 유지된, 검토 가능한 텍스트 해법, 코드 제안 또는 구조화된 분석입니다.
", "aboutText": "Nemotron 3.5 Lightning은 추론과 직접 응답 텍스트 작업을 위한 NVIDIA의 하이브리드 전문가 혼합 언어 모델입니다. 제조사 프로파일에는 총 매개변수 300억 개와 활성 매개변수 30억 개가 명시되어 있으며, Mamba 및 transformer 구성 요소와 다중 토큰 예측을 결합합니다. 여기서 참조하는 BF16 릴리스는 제조사의 전체 정밀도 모델 자료이며, 최적화된 저정밀도 에디션과는 별개입니다.\n\n### 학습과 에디션 설계\n\n제조사는 20조 개가 넘는 토큰으로 사전 학습한 뒤 다중 토큰 예측을 위한 추가 학습, 지도 미세 조정, 다중 환경 강화 학습을 수행했다고 설명합니다. 지시 및 강화 학습 작업에는 코드, 수학, 과학, 도구 호출, 구조화된 출력과 여러 턴의 상호 작용이 포함됩니다. 다중 토큰 예측은 Lightning의 아키텍처 및 학습 기능이며, 이미지나 오디오 생성처럼 별도로 추가되는 출력 유형은 아닙니다.\n\n모델은 텍스트를 입력받고 텍스트를 반환합니다. 제조사가 지원하는 언어에는 영어, 스페인어, 프랑스어, 독일어, 이탈리아어와 일본어가 포함됩니다. 출력 언어를 지정하고 바뀌어서는 안 되는 기술 명칭이나 코드 식별자는 보존하세요.\n\n### 추론 또는 직접 응답\n\n제조사의 채팅 템플릿에서는 사고 모드를 활성화하거나 비활성화할 수 있습니다. 추론 작업은 최종 응답 전에 중간 분석을 전개하며, 직접 응답 작업에서는 그러한 과정 없이 답변하도록 요청할 수 있습니다. 제조사는 참조 프로파일에 temperature 1.0과 top-p 0.95를 권장합니다. 해법, 해당 부분에 집중한 코드 변경, 출처 비교 또는 정의된 데이터 기록처럼 필요한 최종 산출물은 별도로 명시하세요.\n\n실용적인 작업 지시의 예는 다음과 같습니다. “이 원문 대목들을 사용해 요구 사항을 비교하고, 각 결론이 어떤 조건에 의존하는지 밝히세요.” 코딩에서는 관련 구현, 관찰된 실패와 예상 동작을 제공하고, 근거와 연결된 패치를 요청하세요. 제안된 코드와 실제 검증 결과를 구분해 유지하세요.\n\n### 도구와 구조화된 작업\n\nNVIDIA의 사후 학습에는 여러 단계의 도구 사용과 구조화된 출력이 포함됩니다. 애플리케이션이 모델을 에이전트로 사용할 때는 정확한 목적과 인수 스키마를 가진 함수를 제공하세요. 애플리케이션은 선택된 작업을 실행하고 다음 단계를 위한 관찰 결과를 반환합니다. 함수를 선택하거나 인수 기록을 생성하는 것만으로 해당 작업이 실제로 수행되지는 않습니다.\n\n구조화된 결과를 얻으려면 필드의 의미와 누락값 처리 규칙을 정의하세요. 형식이 후속 시스템에 적합하더라도 값은 입력과 대조해 확인하세요. 계속 진행되는 작업에서는 진척을 입증하는 관찰 결과와 완료를 판단하는 최종 기준을 유지해야 합니다.\n\n### 컨텍스트와 제조사 구성\n\n문서화된 프로파일에서 모델은 최대 100만 토큰의 컨텍스트를 지원합니다. 제조사는 메모리가 제한된 실행 환경을 위한 더 작은 256K 구성도 보여 주므로, 최대 프로파일과 선택한 구성은 서로 다릅니다. 원자료, 대화 이력, 도구 반환값, 추론과 최종 응답은 사용 가능한 컨텍스트를 공유합니다. 카드에서 출력 컨텍스트를 언급한다고 해서 독립적인 100만 토큰의 추가 답변 예산이 생기는 것은 아닙니다.\n\nBF16 참조 릴리스, 제조사의 저정밀도 릴리스와 이전 Nemotron 3 Nano는 서로 다른 에디션 속성을 가집니다. 출처가 중요한 주장은 권위 있는 원문을 사용하고, 실행한 작업은 실제 애플리케이션의 관찰 결과를 사용하세요. 유용한 결과는 가정과 이를 뒷받침하는 근거가 명확하게 유지된, 검토 가능한 텍스트 해법, 코드 제안 또는 구조화된 분석입니다.", "editorialOverlay": { "copy_fields": { "practical_html": "영어 기술 예제
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning은 추론, 코딩과 도구를 활용하는 작업을 위한 NVIDIA의 하이브리드 전문가 혼합 텍스트 모델입니다. 문서화된 30B/A3B 제조사 프로파일은 다중 토큰 예측, 설정 가능한 사고 모드, 최대 100만 토큰의 컨텍스트를 제공하며, 별도의 BF16 참조 릴리스가 있습니다.
이 설명은 모델의 기능을 다룹니다. Ailoot에서 사용할 수 있는 입력, 출력 및 옵션은 아래에 선택한 메서드별로 표시됩니다.
Nemotron 3.5 Lightning은 추론과 직접 응답 텍스트 작업을 위한 NVIDIA의 하이브리드 전문가 혼합 언어 모델입니다. 제조사 프로파일에는 총 매개변수 300억 개와 활성 매개변수 30억 개가 명시되어 있으며, Mamba 및 transformer 구성 요소와 다중 토큰 예측을 결합합니다. 여기서 참조하는 BF16 릴리스는 제조사의 전체 정밀도 모델 자료이며, 최적화된 저정밀도 에디션과는 별개입니다.
제조사는 20조 개가 넘는 토큰으로 사전 학습한 뒤 다중 토큰 예측을 위한 추가 학습, 지도 미세 조정, 다중 환경 강화 학습을 수행했다고 설명합니다. 지시 및 강화 학습 작업에는 코드, 수학, 과학, 도구 호출, 구조화된 출력과 여러 턴의 상호 작용이 포함됩니다. 다중 토큰 예측은 Lightning의 아키텍처 및 학습 기능이며, 이미지나 오디오 생성처럼 별도로 추가되는 출력 유형은 아닙니다.
모델은 텍스트를 입력받고 텍스트를 반환합니다. 제조사가 지원하는 언어에는 영어, 스페인어, 프랑스어, 독일어, 이탈리아어와 일본어가 포함됩니다. 출력 언어를 지정하고 바뀌어서는 안 되는 기술 명칭이나 코드 식별자는 보존하세요.
제조사의 채팅 템플릿에서는 사고 모드를 활성화하거나 비활성화할 수 있습니다. 추론 작업은 최종 응답 전에 중간 분석을 전개하며, 직접 응답 작업에서는 그러한 과정 없이 답변하도록 요청할 수 있습니다. 제조사는 참조 프로파일에 temperature 1.0과 top-p 0.95를 권장합니다. 해법, 해당 부분에 집중한 코드 변경, 출처 비교 또는 정의된 데이터 기록처럼 필요한 최종 산출물은 별도로 명시하세요.
실용적인 작업 지시의 예는 다음과 같습니다. “이 원문 대목들을 사용해 요구 사항을 비교하고, 각 결론이 어떤 조건에 의존하는지 밝히세요.” 코딩에서는 관련 구현, 관찰된 실패와 예상 동작을 제공하고, 근거와 연결된 패치를 요청하세요. 제안된 코드와 실제 검증 결과를 구분해 유지하세요.
NVIDIA의 사후 학습에는 여러 단계의 도구 사용과 구조화된 출력이 포함됩니다. 애플리케이션이 모델을 에이전트로 사용할 때는 정확한 목적과 인수 스키마를 가진 함수를 제공하세요. 애플리케이션은 선택된 작업을 실행하고 다음 단계를 위한 관찰 결과를 반환합니다. 함수를 선택하거나 인수 기록을 생성하는 것만으로 해당 작업이 실제로 수행되지는 않습니다.
구조화된 결과를 얻으려면 필드의 의미와 누락값 처리 규칙을 정의하세요. 형식이 후속 시스템에 적합하더라도 값은 입력과 대조해 확인하세요. 계속 진행되는 작업에서는 진척을 입증하는 관찰 결과와 완료를 판단하는 최종 기준을 유지해야 합니다.
문서화된 프로파일에서 모델은 최대 100만 토큰의 컨텍스트를 지원합니다. 제조사는 메모리가 제한된 실행 환경을 위한 더 작은 256K 구성도 보여 주므로, 최대 프로파일과 선택한 구성은 서로 다릅니다. 원자료, 대화 이력, 도구 반환값, 추론과 최종 응답은 사용 가능한 컨텍스트를 공유합니다. 카드에서 출력 컨텍스트를 언급한다고 해서 독립적인 100만 토큰의 추가 답변 예산이 생기는 것은 아닙니다.
BF16 참조 릴리스, 제조사의 저정밀도 릴리스와 이전 Nemotron 3 Nano는 서로 다른 에디션 속성을 가집니다. 출처가 중요한 주장은 권위 있는 원문을 사용하고, 실행한 작업은 실제 애플리케이션의 관찰 결과를 사용하세요. 유용한 결과는 가정과 이를 뒷받침하는 근거가 명확하게 유지된, 검토 가능한 텍스트 해법, 코드 제안 또는 구조화된 분석입니다.
POST /v1/chat/completionstexttext| 필드 | 유형 | 요건 | 값과 한도 | 기본값 |
|---|---|---|---|---|
필드model | 유형string | 요건필수 | 값과 한도 nvidia/nemotron-3.5-lightning | 기본값— |
필드messages | 유형message[] | 요건필수 | 값과 한도 최소 항목 수: 1 | 기본값— |
필드messages[].role | 유형string | 요건필수 | 값과 한도 예시: system, user, assistant, tool, function 조건: 이 역할들은 소스 코드의 호환 타입에 명시적으로 표현됩니다. 정확한 모델 역할 집합은 모델별로 다릅니다. 모델에 따라 다름 | 기본값— |
필드messages[].content | 유형string|content_part[]|null | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].tool_calls | 유형tool_call[] | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].tool_call_id | 유형string | 요건선택 사항 | 값과 한도 적용 조건: role=tool. 실제 반환된 ID를 사용하세요 | 기본값— |
필드messages[].name | 유형string | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].reasoning_content | 유형string | 요건선택 사항 | 값과 한도 적용 조건: 이 모델이 추론을 사용하는 경우 실제 반환된 추론을 그대로 다음 요청에 다시 전달하세요 | 기본값— |
필드messages[].reasoning_details | 유형object|array | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드max_tokens | 유형integer | 요건선택 사항 | 값과 한도 최솟값: 1 모델에 따라 다름 | 기본값— |
필드max_completion_tokens | 유형integer | 요건선택 사항 | 값과 한도 최솟값: 1 모델에 따라 다름 | 기본값— |
필드stream | 유형boolean | 요건선택 사항 | 값과 한도 | 기본값false |
필드stream_options.include_usage | 유형boolean | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드temperature | 유형number | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드top_p | 유형number | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드stop | 유형string|string[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드tools | 유형function_tool[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드tools[].type | 유형string | 요건선택 사항 | 값과 한도 function 모델에 따라 다름 | 기본값— |
필드tools[].function.name | 유형string | 요건필수 | 값과 한도 적용 조건: 함수 도구 지정됨 | 기본값— |
필드tools[].function.description | 유형string | 요건선택 사항 | 값과 한도 | 기본값— |
필드tools[].function.parameters | 유형JSON_schema | 요건선택 사항 | 값과 한도 | 기본값— |
필드tool_choice | 유형string|object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드parallel_tool_calls | 유형boolean | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드response_format | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드reasoning_effort | 유형string | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드reasoning | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드service_tier | 유형string | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드instructions | 유형string | 요건선택 사항 | 값과 한도 호환성 필드 | 기본값— |
필드functions | 유형function[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드function_call | 유형string|object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드prompt_cache_options | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드modalities | 유형string[] | 요건선택 사항 | 값과 한도 text | 기본값— |
필드provider | 유형object | 요건선택 사항 | 값과 한도 조건: 이 Ultra 텍스트 경로에서는 provider.options가 거부됩니다 | 기본값— |
필드cache_control.ttl | 유형string | 요건선택 사항 | 값과 한도 조건: 실제 프롬프트 캐시 지정 위치에서는 1h가 거부됩니다 | 기본값— |
텍스트 · UTF8 텍스트
messages[].content
| 매개변수 | 명세 |
|---|---|
매개변수content_type | 명세application/json |
매개변수required | 명세model, messages |
매개변수material_types | 명세text |
매개변수messages | 명세role/content 형식의 메시지 배열 |
매개변수file_material | 명세실제 UTF-8 문서를 텍스트로 그대로 삽입합니다. 파일 ID는 추정하지 않습니다 |
매개변수optional_controls | 명세stream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
매개변수control_scope | 명세모델별로 다름. 사용자 함수 도구와 호스팅 도구는 서로 다릅니다 |
매개변수output_modalities | 명세text |
매개변수hosted_operations | 명세false |
매개변수multimodal_input_binding | 명세null |
수명 주기: synchronous_or_streamed
정확한 모델 ID를 messages와 함께 보내세요.
컨텍스트 길이는 출력 상한이 아닙니다.
텍스트 파일은 텍스트를 그대로 제공할 수 있습니다. 이미지/오디오/파일 객체 입력에는 정확한 바인딩이 필요합니다.
요금 정보는 요청 옵션을 추가하지 않습니다. 지원되는 매개변수는 선택한 메서드에 표시됩니다.
각 요금을 표시된 조건과 대조하세요. 서로 대체되는 설정 묶음마다 하나의 요금만 적용하세요.
| 설정 | 요금표 | 컨텍스트 토큰 수 초과 기준 | 컨텍스트 토큰 수 이하 기준 | 요금 |
|---|---|---|---|---|
| 설정토큰의 기본 단가 | 요금표기본 요금 | 컨텍스트 토큰 수 초과 기준— | 컨텍스트 토큰 수 이하 기준상한 없음 | 요금 입력 · 입력 토큰 $0.00014 / 1K 토큰 출력 · 출력 토큰 $0.0004 / 1K 토큰 입력 · 캐시 읽기 $0.00008 / 1K 토큰 입력 · 캐시 쓰기 — / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
| 설정요청 길이 구간 1 | 요금표— | 컨텍스트 토큰 수 초과 기준0 | 컨텍스트 토큰 수 이하 기준상한 없음 | 요금 입력 · 입력 토큰 $0.00014 / 1K 토큰 출력 · 출력 토큰 $0.0004 / 1K 토큰 입력 · 캐시 읽기 $0.00008 / 1K 토큰 입력 · 캐시 쓰기 — / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
Ailoot는 요청 전에 예상 금액을 미리 확보합니다. 결과를 받은 뒤 측정된 사용량을 기준으로 최종 요금을 정산합니다. 스트리밍 정산에는 최종 사용량 기록을 사용합니다. 금액 확보와 정산 방식 →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "nvidia/nemotron-3.5-lightning", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='nvidia/nemotron-3.5-lightning',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson 또는 SSE
반환된 완전한 응답, 파일, 콘텐츠 부분을 모두 보관하세요.
각 선택지와 그 콘텐츠·도구 호출·추론을 모두 보존하세요. SSE에서는 선택지/도구 인덱스별로 증분을 조합하고 최종 종료 사유와 사용량을 유지하세요.
요청/응답 ID와 헤더를 보존하세요. 텍스트 작업을 조회하는 범용 URL은 제공되지 않습니다.
| 필드 | 유형 |
|---|---|
필드choices[].index | 유형integer |
필드choices[].message.content | 유형string|null |
필드choices[].message.tool_calls | 유형tool_call[] |
필드choices[].message.reasoning_content | 유형string |
필드choices[].message.reasoning_details | 유형object|array |
필드choices[].finish_reason | 유형string|null |
필드usage | 유형object |
| 응답 | 조건 | 다음 단계 |
|---|---|---|
응답400 · invalid_request_error | 조건필수 필드, 자료 표현 방식 또는 파라미터 값이 올바르지 않음 | 다음 단계새 생성 요청 전에 표시된 필드를 수정하세요. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
위에 표시된 메서드 경로를 사용하세요.
nvidia/nemotron-3.5-lightningNemotron 3.5 Lightning은 추론, 코딩과 도구를 활용하는 작업을 위한 NVIDIA의 하이브리드 전문가 혼합 텍스트 모델입니다. 문서화된 30B/A3B 제조사 프로파일은 다중 토큰 예측, 설정 가능한 사고 모드, 최대 100만 토큰의 컨텍스트를 제공하며, 별도의 BF16 참조 릴리스가 있습니다.
이 설명은 모델의 기능을 다룹니다. Ailoot에서 사용할 수 있는 입력, 출력 및 옵션은 아래에 선택한 메서드별로 표시됩니다.
Nemotron 3.5 Lightning은 추론과 직접 응답 텍스트 작업을 위한 NVIDIA의 하이브리드 전문가 혼합 언어 모델입니다. 제조사 프로파일에는 총 매개변수 300억 개와 활성 매개변수 30억 개가 명시되어 있으며, Mamba 및 transformer 구성 요소와 다중 토큰 예측을 결합합니다. 여기서 참조하는 BF16 릴리스는 제조사의 전체 정밀도 모델 자료이며, 최적화된 저정밀도 에디션과는 별개입니다.
제조사는 20조 개가 넘는 토큰으로 사전 학습한 뒤 다중 토큰 예측을 위한 추가 학습, 지도 미세 조정, 다중 환경 강화 학습을 수행했다고 설명합니다. 지시 및 강화 학습 작업에는 코드, 수학, 과학, 도구 호출, 구조화된 출력과 여러 턴의 상호 작용이 포함됩니다. 다중 토큰 예측은 Lightning의 아키텍처 및 학습 기능이며, 이미지나 오디오 생성처럼 별도로 추가되는 출력 유형은 아닙니다.
모델은 텍스트를 입력받고 텍스트를 반환합니다. 제조사가 지원하는 언어에는 영어, 스페인어, 프랑스어, 독일어, 이탈리아어와 일본어가 포함됩니다. 출력 언어를 지정하고 바뀌어서는 안 되는 기술 명칭이나 코드 식별자는 보존하세요.
제조사의 채팅 템플릿에서는 사고 모드를 활성화하거나 비활성화할 수 있습니다. 추론 작업은 최종 응답 전에 중간 분석을 전개하며, 직접 응답 작업에서는 그러한 과정 없이 답변하도록 요청할 수 있습니다. 제조사는 참조 프로파일에 temperature 1.0과 top-p 0.95를 권장합니다. 해법, 해당 부분에 집중한 코드 변경, 출처 비교 또는 정의된 데이터 기록처럼 필요한 최종 산출물은 별도로 명시하세요.
실용적인 작업 지시의 예는 다음과 같습니다. “이 원문 대목들을 사용해 요구 사항을 비교하고, 각 결론이 어떤 조건에 의존하는지 밝히세요.” 코딩에서는 관련 구현, 관찰된 실패와 예상 동작을 제공하고, 근거와 연결된 패치를 요청하세요. 제안된 코드와 실제 검증 결과를 구분해 유지하세요.
NVIDIA의 사후 학습에는 여러 단계의 도구 사용과 구조화된 출력이 포함됩니다. 애플리케이션이 모델을 에이전트로 사용할 때는 정확한 목적과 인수 스키마를 가진 함수를 제공하세요. 애플리케이션은 선택된 작업을 실행하고 다음 단계를 위한 관찰 결과를 반환합니다. 함수를 선택하거나 인수 기록을 생성하는 것만으로 해당 작업이 실제로 수행되지는 않습니다.
구조화된 결과를 얻으려면 필드의 의미와 누락값 처리 규칙을 정의하세요. 형식이 후속 시스템에 적합하더라도 값은 입력과 대조해 확인하세요. 계속 진행되는 작업에서는 진척을 입증하는 관찰 결과와 완료를 판단하는 최종 기준을 유지해야 합니다.
문서화된 프로파일에서 모델은 최대 100만 토큰의 컨텍스트를 지원합니다. 제조사는 메모리가 제한된 실행 환경을 위한 더 작은 256K 구성도 보여 주므로, 최대 프로파일과 선택한 구성은 서로 다릅니다. 원자료, 대화 이력, 도구 반환값, 추론과 최종 응답은 사용 가능한 컨텍스트를 공유합니다. 카드에서 출력 컨텍스트를 언급한다고 해서 독립적인 100만 토큰의 추가 답변 예산이 생기는 것은 아닙니다.
BF16 참조 릴리스, 제조사의 저정밀도 릴리스와 이전 Nemotron 3 Nano는 서로 다른 에디션 속성을 가집니다. 출처가 중요한 주장은 권위 있는 원문을 사용하고, 실행한 작업은 실제 애플리케이션의 관찰 결과를 사용하세요. 유용한 결과는 가정과 이를 뒷받침하는 근거가 명확하게 유지된, 검토 가능한 텍스트 해법, 코드 제안 또는 구조화된 분석입니다.
POST /v1/messagestextjson, sse| 필드 | 유형 | 요건 | 값과 한도 | 기본값 |
|---|---|---|---|---|
필드model | 유형string | 요건필수 | 값과 한도 nvidia/nemotron-3.5-lightning | 기본값— |
필드messages | 유형message[] | 요건필수 | 값과 한도 | 기본값— |
필드messages[].role | 유형string | 요건필수 | 값과 한도 user, assistant | 기본값— |
필드messages[].content | 유형string | 요건필수 | 값과 한도 | 기본값— |
필드max_tokens | 유형integer | 요건필수 | 값과 한도 | 기본값— |
필드stream | 유형boolean | 요건선택 사항 | 값과 한도 | 기본값false |
텍스트 · UTF-8 텍스트
messages[].content 문자열
| 매개변수 | 명세 |
|---|---|
매개변수content_type | 명세application/json |
매개변수required | 명세model, messages, max_tokens |
매개변수optional_controls | 명세stream |
매개변수material_types | 명세text |
매개변수text_file_material | 명세실제 UTF-8 문서를 읽고 그 텍스트를 지정된 입력 또는 메시지 콘텐츠 문자열에 넣으세요. |
수명 주기: synchronous_or_streamed
요금 정보는 요청 옵션을 추가하지 않습니다. 지원되는 매개변수는 선택한 메서드에 표시됩니다.
각 요금을 표시된 조건과 대조하세요. 서로 대체되는 설정 묶음마다 하나의 요금만 적용하세요.
| 설정 | 요금표 | 컨텍스트 토큰 수 초과 기준 | 컨텍스트 토큰 수 이하 기준 | 요금 |
|---|---|---|---|---|
| 설정토큰의 기본 단가 | 요금표기본 요금 | 컨텍스트 토큰 수 초과 기준— | 컨텍스트 토큰 수 이하 기준상한 없음 | 요금 입력 · 입력 토큰 $0.00014 / 1K 토큰 출력 · 출력 토큰 $0.0004 / 1K 토큰 입력 · 캐시 읽기 $0.00008 / 1K 토큰 입력 · 캐시 쓰기 — / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
| 설정요청 길이 구간 1 | 요금표— | 컨텍스트 토큰 수 초과 기준0 | 컨텍스트 토큰 수 이하 기준상한 없음 | 요금 입력 · 입력 토큰 $0.00014 / 1K 토큰 출력 · 출력 토큰 $0.0004 / 1K 토큰 입력 · 캐시 읽기 $0.00008 / 1K 토큰 입력 · 캐시 쓰기 — / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
Ailoot는 요청 전에 예상 금액을 미리 확보합니다. 결과를 받은 뒤 측정된 사용량을 기준으로 최종 요금을 정산합니다. 스트리밍 정산에는 최종 사용량 기록을 사용합니다. 금액 확보와 정산 방식 →
{\n "model": "nvidia/nemotron-3.5-lightning",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'nvidia/nemotron-3.5-lightning', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON 또는 SSE
반환된 완전한 응답, 파일, 콘텐츠 부분을 모두 보관하세요.
모든 콘텐츠 블록, 사고 서명, 실제 도구 사용 ID를 보존하세요. 모든 SSE 블록 증분을 조합하세요. 첫 텍스트 블록이 전체 출력은 아닙니다.
요청/응답 ID와 헤더를 보존하세요. 텍스트 작업을 조회하는 범용 URL은 제공되지 않습니다.
| 필드 | 유형 |
|---|---|
필드id | 유형string |
필드model | 유형string |
필드content[] | 유형text|thinking|tool_use|other content block |
필드stop_reason | 유형string|null |
필드usage | 유형object |
| 응답 | 조건 | 다음 단계 |
|---|---|---|
응답400 · invalid_request_error | 조건필수 필드, 자료 표현 방식 또는 파라미터 값이 올바르지 않음 | 다음 단계새 생성 요청 전에 표시된 필드를 수정하세요. |
Ailoot Ultra nvidia/nemotron-3.5-lightning
위에 표시된 메서드 경로를 사용하세요.
영어 기술 예제
Calculate usable production time\n\nA machine produces 360 parts per hour while running. A shift has 90 minutes available, including 15 minutes of setup during which no parts are produced. Assume a constant rate and no other losses. Calculate the production quantity, show the unit conversion and state how many minutes are actually productive.A productive-time calculation, a rate conversion and a final quantity with units.Check that setup is subtracted before multiplying and that hours and minutes are not mixed in one rate calculation.