NVIDIA: Nemotron 3 Super (free)

NVIDIA Nemotron 3 Super는 IT 티켓 자동화를 포함한 협업 에이전트와 대량 워크플로를 위해 설계된 범용 추론 및 채팅 모델입니다. 총 매개변수는 120B이고 12B를 활성화합니다. 하이브리드 아키텍처는 Mamba-2, 어텐션과 Latent Mixture-of-Experts 레이어를 결합합니다. Multi-Token Prediction 레이어는 미래 토큰을 예측하는 메커니즘을 추가하고 NVIDIA의 기본 추측 디코딩 방법을 지원합니다.

모델은 텍스트를 입력받고 텍스트를 반환합니다. 적절하게 도구와 연결된 애플리케이션에서는 설명, 답변 초안, 코드와 도구 호출 요청도 출력에 포함됩니다. 용도에는 에이전트, 챗봇, 검색 증강 생성, 복잡한 지시 따르기와 긴 컨텍스트 추론이 포함됩니다. 유용한 프롬프트는 원하는 산출물과 그 산출물에 적용되는 조건을 정의합니다. 예를 들면 다음과 같습니다. “제공된 정책에 따라 이 인시던트를 분류하고, 근거를 바탕으로 우선순위를 설명하며, 답변 초안을 작성하고, 해결책을 권고하기 전에 필요한 누락 사실을 나열하세요.”

IT 티켓 처리에서는 티켓 본문, 관련 이력, 환경 세부 정보와 적용되는 라우팅 또는 에스컬레이션 규칙을 제공하세요. 관찰된 증상, 가능성 있는 원인, 제안하는 점검과 사용자에게 보낼 답변을 별도 필드로 요청하세요. 이렇게 구분하면 가설을 확인된 진단으로 기록하는 일을 막을 수 있습니다. 진단 도구를 실행했다면 다음 단계를 요청하기 전에 실제 결과를 대화에 전달하세요. 완성된 티켓 요약에는 무엇을 관찰하고 해결했는지, 어떤 질문이 아직 남아 있는지 명시해야 합니다.

RAG 및 지식 베이스 작업에서는 검색된 대목에 라벨을 붙이고, 모델이 그 자료만으로 답변해야 하는지 명시하세요. 답변과 함께 이를 뒷받침하는 출처 참조 및 자료 사이의 충돌도 요청하세요. 실용적인 예는 다음과 같습니다. “이 런북 섹션들을 비교하고, 제공된 환경에 적용되는 단계를 찾은 뒤, 중요한 단계마다 점검을 포함한 순서 있는 절차를 반환하세요.” 출처의 버전과 조건을 보존하세요. 서로 호환되지 않는 환경의 지침을 섞으면 명확한 절차라도 잘못될 수 있습니다.

협업 에이전트 작업에서는 각 단계에 명확한 목표를 부여하고 유용한 중간 결과를 보존하세요. Super는 도구 관찰 결과를 바탕으로 추론하고 여러 단계의 대화를 유지하도록 설계되었습니다. 주변 애플리케이션이 도구를 실행하고 작업 상태를 유지합니다. 새로운 관찰 결과가 무엇을 바꾸는지 설명하고, 여전히 유효한 이전 발견은 유지하며, 제안된 조치와 기록된 결과를 구분하도록 요청하세요. 코딩에서는 관련 파일과 예상 동작을 제공한 다음, 수정된 코드, 변경 설명과 검증에 필요한 사례를 요청하세요.

NVIDIA 문서에는 기본적으로 사고가 활성화되며, 채팅 템플릿에서 사고를 비활성화하는 직접 답변 모드가 있다고 명시되어 있습니다. Super에는 전체 사고보다 추론 토큰을 적게 사용하는 낮은 추론 강도 옵션도 있으며, 명시적인 예산 조정에 앞서 시작점으로 사용하도록 제안됩니다. 이는 Super의 설정이며, Ultra의 별도 중간 강도 추론 옵션을 그대로 적용해서는 안 됩니다. 최종 응답 형식을 선택하고 추론 뒤에 응답을 위한 공간을 남기세요. 특히 도구 결과나 복잡한 출처 비교에 설명이 필요할 때 중요합니다.

모델은 최대 1M 토큰의 컨텍스트를 지원하지만, 긴 컨텍스트에는 더 많은 메모리가 필요하기 때문에 제조사의 Hugging Face 구성은 기본값을 256K로 설정합니다. 긴 입력은 적용되는 구성의 범위 안에서 처리하고, 문서 경계와 출처 라벨을 유지하며, 응답 공간을 확보하세요. 모든 내용을 방향 없이 요약하도록 하기보다 자료를 가로질러 추적해야 할 관계를 요청하세요. 모델 수준의 최대값이 모든 서빙 구성이 같은 창을 사용한다는 약속은 아닙니다.

제조사는 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 스페인어와 중국어를 명시합니다. 최종 언어를 지정하되 정확히 유지해야 할 코드 식별자와 원문 용어를 보존하세요. 다국어 지원 작업에서는 독자에게 맞게 표현을 바꾸면서도 기술적 의미와 에스컬레이션 기준을 유지하도록 요청하세요. 유창함을 해석의 정확성을 입증하는 근거로 삼지 말고, 익숙하지 않은 용어나 모호한 입력을 검토하세요.

유용한 최종 산출물은 간결하면서 확인할 수 있어야 합니다. 답변 또는 수정된 산출물, 이를 뒷받침하는 관찰 결과, 가정과 남은 작업을 포함하세요. 생성된 절차는 점검 항목을 실제 환경과 대조해 살펴보세요. 코드는 제안된 변경을 관찰된 동작과 비교하세요. 출처에 근거한 답변은 인용된 대목이 해당 진술을 뒷받침하는지 확인하세요. Super의 추론 및 에이전트 학습은 이러한 작업을 정리하는 데 도움을 주며, 실제 결과는 이를 살펴보는 데 사용한 자료와 실행 기록으로 확인됩니다.