Qwen3 Omni 30B A3B Captioner

개요: 소리에 대한 상세한 묘사

Qwen3-Omni-30B-A3B-Captioner는 Qwen3-Omni-30B-A3B-Instruct를 미세 조정한 특화 오디오 묘사 모델입니다. 오디오 클립에서 들리는 내용을 자세한 텍스트 설명으로 바꿉니다. Qwen은 말소리, 환경음, 음악, 영화 효과음, 여러 소리 발생원이 섞인 음향 등 다양한 자료를 위해 이 모델을 설계했습니다. 따라서 오디오 에셋의 검색 가능한 설명을 준비하거나 짧은 미디어 구간의 소리 레이어를 검토할 때 유용합니다.

음성 및 비음성 이해

제작사는 여러 화자, 다국어 표현, 목소리의 감정, 전달 방식에서 드러나는 의도에 대한 분석을 설명합니다. 예제는 전사를 넘어 목소리가 어떻게 들리는지, 말하는 언어가 무엇인지, 주변 음향 장면이 어떤지를 묘사합니다. 비음성 오디오의 경우 모델은 환경의 분위기, 실제 세계의 소리, 음악적 레이어, 영화나 미디어의 역동적인 세부 요소를 설명합니다.

분위기, 화자의 의도, 문화적 맥락에 대한 묘사는 들리는 자료에 대한 해석입니다. 직접 확인할 수 있는 말과 소리 이벤트와 구분하여 다루세요. 캡션은 검토자가 어조의 변화나 배경 레이어를 알아차리도록 도울 수 있지만, 개인의 내면 감정을 측정하거나 모호한 소리의 물리적 발생원을 입증하는 것은 아닙니다.

Captioner 에디션과 입력 규약

이 체크포인트는 단일 차례 방식입니다. 추론마다 정확히 하나의 오디오 입력을 받고, 텍스트 프롬프트를 받지 않으며, 텍스트만 반환합니다. 오디오 이해를 위한 thinker 구성 요소를 포함하며, 공개된 설정은 오디오 출력을 명시적으로 비활성화합니다. 이름이 같은 제품군에 속한다는 이유로 다른 Qwen3-Omni 에디션의 대화, 이미지, 동영상, 음성 생성 기능을 Captioner에 적용해서는 안 됩니다.

텍스트 프롬프트가 없다는 점은 실제 사용에서 중요합니다. 묘사할 오디오 구간을 준비하고 그 구간 자체를 전체 작업으로 제출하세요. 맞춤형 요약, 번역, 화자 답변, 출력 스키마를 요구하는 지시를 덧붙이지 마세요. 작업 흐름에 이러한 변환이 필요하다면 캡션 생성 체크포인트의 제어 기능으로 가정할 것이 아니라, 반환된 설명을 처리하는 별도 단계에서 수행해야 합니다.

유용한 오디오 준비

Qwen은 세밀한 묘사를 위해 클립을 30초 이하로 제한할 것을 권장합니다. 이는 품질을 위한 권고이며, 지나치게 긴 오디오는 세부 내용의 인식 수준을 떨어뜨릴 수 있습니다. 보편적인 강제 거부 임계값으로 제시된 것은 아닙니다. 긴 녹음이나 녹화에서는 검토할 이벤트나 장면을 중심으로 의미 있는 짧은 구간을 선택하세요. 반환된 캡션을 나중에 원본 녹음이나 녹화로 추적할 수 있도록 원본 식별자와 시작 시간을 모델 요청 외부에 보관하세요.

질문과 관련된 소리 레이어를 유지하세요. 음성 중심 발췌본이라도 배경이 의도한 묘사에 영향을 준다면 배경을 포함해야 하며, 음악이나 효과음 에셋은 임의의 경계에서 자르기보다 중요한 전환을 유지해야 합니다. 클립을 개별 처리하면 해당 구간의 세부 내용을 유지하는 데 도움이 되지만, 요청 사이의 자동 연속성이나 전체 녹음에 대한 이해가 입증되는 것은 아닙니다.

텍스트 결과의 활용

제작사의 쿡북에는 발화 내용과 전달 방식에 이어 주변 장면을 묘사하는 캡션이 나옵니다. 다른 예제는 음악, 효과음, 강도의 변화, 음성 이벤트의 순서를 설명합니다. 오디오 카탈로그는 반환된 텍스트를 에셋 이름 및 시간 범위와 함께 저장할 수 있습니다. 미디어 검토자는 이를 음향 기록 초안으로 활용할 수 있습니다. 편집자는 캡션을 클립과 비교해 의도한 레이어를 설명에 담았는지 확인할 수 있습니다. 이는 애플리케이션 활용 예제이며, 모델이 특정 사용자 에셋을 미리 들었다는 증거는 아닙니다.

출력은 묘사형 캡션이며, 축어적 전사, 화자 구분 표, 타임스탬프가 있는 자막 파일, 생성된 사운드트랙을 약속하는 것이 아닙니다. 정확한 발화 문구나 시간 정보가 필요할 때는 캡션을 오디오와 대조하고, 필요한 산출물에 적합한 전용 작업 흐름을 사용하세요. 풍부하게 작성된 묘사에는 추론한 장면이나 장르 정보가 포함될 수 있으므로, 소리 자체만으로 발생원을 명확히 식별할 수 없다면 불확실성을 유지하세요.

생성 예제와 제한

제작사의 독립 실행 예제는 모델 컨텍스트 32,768토큰과 생성 예산 16,384토큰을 설정하고, temperature 0.6, top_p 0.95, top_k 20을 사용합니다. 쿡북은 동일한 샘플링 값에 생성 예산 8,192토큰을 사용합니다. 이는 예제 설정이며, 별도로 선언된 최대 캡션 길이가 아닙니다. 기반 텍스트 설정에는 위치 수 65,536이 명시되어 있지만, 이를 오디오 길이에 대한 보장으로 바꿔 해석해서는 안 됩니다.

Omni 제품군과 공유하는 범용 유틸리티 코드나 설정 필드는 오디오 하나, 텍스트 입력 없음, 텍스트만 출력이라는 Captioner의 명시적 규약보다 우선하지 않습니다. 유용한 결과는 짧은 음향 장면에 대한 상세한 설명입니다. 이를 권위 있는 기록으로 사용하기 전에 인용된 발화, 화자 수, 추론된 소리 발생원을 확인하세요.