개요: 여러 입력 모달리티를 위한 하나의 모델
Qwen2.5-Omni-7B는 텍스트, 이미지, 오디오, 동영상을 위한 Qwen의 종단 간 멀티모달 모델입니다. 이 입력들을 함께 이해하고 스트리밍 워크플로에서 자연스러운 음성과 텍스트를 생성할 수 있습니다. 작업이 보이는 내용과 들리는 내용 모두에 의존하거나 사용자가 입력 대신 음성으로 지시할 때 사용하세요. 이는 정확한 7B 체크포인트이며, 상용 Omni-Turbo와 이후 Omni 릴리스는 별도의 계약을 갖습니다.
주요 기능과 아키텍처
Thinker-Talker 설계는 이해와 음성 생성을 결합합니다. Thinker는 멀티모달 작업을 처리하고 텍스트 내용을 생성하며, Talker는 음성 응답을 형성하는 데 참여합니다. 제작사의 시간 정렬 멀티모달 위치 체계인 TMRoPE는 동영상의 타임스탬프와 오디오를 동기화합니다. 아키텍처는 청크 단위 입력과 반응성 있는 음성 또는 동영상 상호작용을 위해 설계되었습니다. 이 설계 목표가 모든 인터페이스의 고정 응답 시간을 보장하지는 않습니다.
제작사가 다루는 작업에는 음성 인식, 음성 번역, 오디오 이해, 이미지 추론, 동영상 이해, 음성 생성이 포함됩니다. 따라서 음성 지시는 항상 별도로 입력한 전사문을 요구하지 않고 멀티모달 질문에 직접 참여할 수 있습니다. 목표 작업을 명확히 하세요. 오디오 클립 이해, 음성 질문에 답하기, 음성 답변 생성은 모델이 각각의 입력이나 출력 형식을 모두 지원하더라도 서로 다른 활용입니다.
멀티모달 대화 준비하기
관련 미디어를 제공하고 답변이 이를 어떻게 연결해야 하는지 명시하세요. 해설이 있는 시연에서는 모델이 보이는 단계와 화자의 설명을 구분하고 일치하는 지점을 식별하게 하세요. 사진과 오디오 질문의 조합에서는 이미지의 역할을 명시하고 보이는 내용에 근거한 간결한 답변을 요청하세요. 오디오만 있는 발췌에서는 음성 인식, 소리 설명, 내용에 대한 질문 답변 중 목표를 명시하세요. 이는 문서화된 작업 범위를 적용한 예시입니다.
제작사의 예시는 텍스트 전용, 오디오 전용, 동영상 전용, 혼합 미디어 대화를 보여 줍니다. 동영상의 원래 순서와 시간을 보존하세요. 별개 자산에 레이블을 붙여 서로 무관한 증거를 하나의 이벤트로 취급하지 않고 참조할 수 있게 하세요. 결과는 텍스트만일 수도 있고 음성이 함께 있을 수도 있습니다. 요청을 준비하기 전에 유용한 산출물을 선택하세요.
음성 출력 준비
Qwen의 체크포인트 레시피는 음성 출력이 필요할 때 문서화된 오디오 기능 시스템 프롬프트를 요구합니다. 프롬프트는 Qwen과 그 청각, 시각, 텍스트, 음성 기능을 식별합니다. 무관한 프롬프트로 바꾸면 기대한 오디오 동작이 나오지 않을 수 있습니다. 이는 제작사의 체크포인트 워크플로 지침이며 모든 애플리케이션이 시스템 프롬프트나 오디오 생성 제어를 노출한다는 주장은 아닙니다.
이 정확한 체크포인트는 따뜻한 여성 음성 Chelsie와 활기찬 남성 음성 Ethan의 두 가지 음성을 제공합니다. 화자를 선택하지 않으면 문서화된 기본값은 Chelsie입니다. 생성 예제는 24,000 Hz 샘플링 레이트로 음성을 기록합니다. 이 두 음성을 별도로 명명된 상용 모델의 네 가지 음성 설명으로 대체하면 안 됩니다.
동영상의 오디오 사용하기
동영상의 사운드트랙은 음성 지시나 보이는 동작에서 발생한 소리처럼 의미에 관련될 수 있습니다. Qwen은 미디어 준비, 처리, 생성 단계에 걸쳐 use_audio_in_video를 노출합니다. 이 설정은 세 단계 모두와 여러 턴의 대화에서 일관되어야 합니다. 일관되지 않은 설정은 예상치 못한 결과를 만들 수 있습니다. 따라서 파일이 같더라도 동영상만의 시각적 해석과 시청각 해석은 다릅니다.
텍스트 전용 출력과 배치 처리
제작사는 return_audio=False 설정으로 텍스트 전용 출력을 지원합니다. 로딩 후 Talker를 비활성화할 수도 있으며, 이때 GPU 메모리를 약 2 GB 줄이지만 해당 인스턴스에서 오디오 출력은 사용할 수 없게 됩니다. 문서화된 혼합 샘플 배치 예시는 return_audio=False를 요구하며 텍스트, 이미지, 오디오, 동영상 요청을 결합합니다. 이 배치 예시를 배치 음성 생성에 대한 주장으로 확대하면 안 됩니다.
컨텍스트와 실질적인 한계
체크포인트의 텍스트 백본 구성은 최대 위치 수를 32,768로 설정합니다. 텍스트, 표현된 미디어, 생성 응답은 시퀀스 공간을 소비합니다. 이 값만으로 보편적인 오디오나 동영상 길이가 정의되지는 않습니다. 제작사의 자원 예시는 긴 동영상에 훨씬 많은 메모리가 필요함을 보여 주므로, 관련 없는 큰 녹화물보다 짧고 관련 있는 클립이 더 실용적인 경우가 많습니다. 예시는 별도의 엄격한 최대 답변 길이나 보편적으로 보장되는 미디어 길이를 공개하지 않습니다.
음성 인용과 결론을 원본과 대조하고, 질문에 충분한 시각적 세부 정보를 유지하며, 검토자가 음성 설명을 점검해야 할 때는 텍스트 결과를 보관하세요. 문서화된 모델의 가치는 결합된 이해와 텍스트/음성 응답이며, 정확한 음성 제어, 미디어 처리, 출력 전달은 선택한 인터페이스의 기능으로 남습니다.
", "aboutText": "개요: 여러 입력 모달리티를 위한 하나의 모델\n\nQwen2.5-Omni-7B는 텍스트, 이미지, 오디오, 동영상을 위한 Qwen의 종단 간 멀티모달 모델입니다. 이 입력들을 함께 이해하고 스트리밍 워크플로에서 자연스러운 음성과 텍스트를 생성할 수 있습니다. 작업이 보이는 내용과 들리는 내용 모두에 의존하거나 사용자가 입력 대신 음성으로 지시할 때 사용하세요. 이는 정확한 7B 체크포인트이며, 상용 Omni-Turbo와 이후 Omni 릴리스는 별도의 계약을 갖습니다.\n\n주요 기능과 아키텍처\n\nThinker-Talker 설계는 이해와 음성 생성을 결합합니다. Thinker는 멀티모달 작업을 처리하고 텍스트 내용을 생성하며, Talker는 음성 응답을 형성하는 데 참여합니다. 제작사의 시간 정렬 멀티모달 위치 체계인 TMRoPE는 동영상의 타임스탬프와 오디오를 동기화합니다. 아키텍처는 청크 단위 입력과 반응성 있는 음성 또는 동영상 상호작용을 위해 설계되었습니다. 이 설계 목표가 모든 인터페이스의 고정 응답 시간을 보장하지는 않습니다.\n\n제작사가 다루는 작업에는 음성 인식, 음성 번역, 오디오 이해, 이미지 추론, 동영상 이해, 음성 생성이 포함됩니다. 따라서 음성 지시는 항상 별도로 입력한 전사문을 요구하지 않고 멀티모달 질문에 직접 참여할 수 있습니다. 목표 작업을 명확히 하세요. 오디오 클립 이해, 음성 질문에 답하기, 음성 답변 생성은 모델이 각각의 입력이나 출력 형식을 모두 지원하더라도 서로 다른 활용입니다.\n\n멀티모달 대화 준비하기\n\n관련 미디어를 제공하고 답변이 이를 어떻게 연결해야 하는지 명시하세요. 해설이 있는 시연에서는 모델이 보이는 단계와 화자의 설명을 구분하고 일치하는 지점을 식별하게 하세요. 사진과 오디오 질문의 조합에서는 이미지의 역할을 명시하고 보이는 내용에 근거한 간결한 답변을 요청하세요. 오디오만 있는 발췌에서는 음성 인식, 소리 설명, 내용에 대한 질문 답변 중 목표를 명시하세요. 이는 문서화된 작업 범위를 적용한 예시입니다.\n\n제작사의 예시는 텍스트 전용, 오디오 전용, 동영상 전용, 혼합 미디어 대화를 보여 줍니다. 동영상의 원래 순서와 시간을 보존하세요. 별개 자산에 레이블을 붙여 서로 무관한 증거를 하나의 이벤트로 취급하지 않고 참조할 수 있게 하세요. 결과는 텍스트만일 수도 있고 음성이 함께 있을 수도 있습니다. 요청을 준비하기 전에 유용한 산출물을 선택하세요.\n\n음성 출력 준비\n\nQwen의 체크포인트 레시피는 음성 출력이 필요할 때 문서화된 오디오 기능 시스템 프롬프트를 요구합니다. 프롬프트는 Qwen과 그 청각, 시각, 텍스트, 음성 기능을 식별합니다. 무관한 프롬프트로 바꾸면 기대한 오디오 동작이 나오지 않을 수 있습니다. 이는 제작사의 체크포인트 워크플로 지침이며 모든 애플리케이션이 시스템 프롬프트나 오디오 생성 제어를 노출한다는 주장은 아닙니다.\n\n이 정확한 체크포인트는 따뜻한 여성 음성 Chelsie와 활기찬 남성 음성 Ethan의 두 가지 음성을 제공합니다. 화자를 선택하지 않으면 문서화된 기본값은 Chelsie입니다. 생성 예제는 24,000 Hz 샘플링 레이트로 음성을 기록합니다. 이 두 음성을 별도로 명명된 상용 모델의 네 가지 음성 설명으로 대체하면 안 됩니다.\n\n동영상의 오디오 사용하기\n\n동영상의 사운드트랙은 음성 지시나 보이는 동작에서 발생한 소리처럼 의미에 관련될 수 있습니다. Qwen은 미디어 준비, 처리, 생성 단계에 걸쳐 use_audio_in_video를 노출합니다. 이 설정은 세 단계 모두와 여러 턴의 대화에서 일관되어야 합니다. 일관되지 않은 설정은 예상치 못한 결과를 만들 수 있습니다. 따라서 파일이 같더라도 동영상만의 시각적 해석과 시청각 해석은 다릅니다.\n\n텍스트 전용 출력과 배치 처리\n\n제작사는 return_audio=False 설정으로 텍스트 전용 출력을 지원합니다. 로딩 후 Talker를 비활성화할 수도 있으며, 이때 GPU 메모리를 약 2 GB 줄이지만 해당 인스턴스에서 오디오 출력은 사용할 수 없게 됩니다. 문서화된 혼합 샘플 배치 예시는 return_audio=False를 요구하며 텍스트, 이미지, 오디오, 동영상 요청을 결합합니다. 이 배치 예시를 배치 음성 생성에 대한 주장으로 확대하면 안 됩니다.\n\n컨텍스트와 실질적인 한계\n\n체크포인트의 텍스트 백본 구성은 최대 위치 수를 32,768로 설정합니다. 텍스트, 표현된 미디어, 생성 응답은 시퀀스 공간을 소비합니다. 이 값만으로 보편적인 오디오나 동영상 길이가 정의되지는 않습니다. 제작사의 자원 예시는 긴 동영상에 훨씬 많은 메모리가 필요함을 보여 주므로, 관련 없는 큰 녹화물보다 짧고 관련 있는 클립이 더 실용적인 경우가 많습니다. 예시는 별도의 엄격한 최대 답변 길이나 보편적으로 보장되는 미디어 길이를 공개하지 않습니다.\n\n음성 인용과 결론을 원본과 대조하고, 질문에 충분한 시각적 세부 정보를 유지하며, 검토자가 음성 설명을 점검해야 할 때는 텍스트 결과를 보관하세요. 문서화된 모델의 가치는 결합된 이해와 텍스트/음성 응답이며, 정확한 음성 제어, 미디어 처리, 출력 전달은 선택한 인터페이스의 기능으로 남습니다.", "editorialOverlay": { "copy_fields": { "practical_html": "영어 기술 예제
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.qwen2.5-omni-7bQwen2.5-Omni-7B는 텍스트, 이미지, 오디오, 동영상 이해를 텍스트 및 자연스러운 음성 출력과 결합합니다. Thinker-Talker 아키텍처가 오디오와 동영상의 시간을 정렬하고 스트리밍 상호작용을 지원하며, 이 정확한 공개 체크포인트에는 두 가지 음성이 문서화되어 있습니다.
이 설명은 모델의 기능을 다룹니다. Ailoot에서 사용할 수 있는 입력, 출력 및 옵션은 아래에 선택한 메서드별로 표시됩니다.
개요: 여러 입력 모달리티를 위한 하나의 모델
Qwen2.5-Omni-7B는 텍스트, 이미지, 오디오, 동영상을 위한 Qwen의 종단 간 멀티모달 모델입니다. 이 입력들을 함께 이해하고 스트리밍 워크플로에서 자연스러운 음성과 텍스트를 생성할 수 있습니다. 작업이 보이는 내용과 들리는 내용 모두에 의존하거나 사용자가 입력 대신 음성으로 지시할 때 사용하세요. 이는 정확한 7B 체크포인트이며, 상용 Omni-Turbo와 이후 Omni 릴리스는 별도의 계약을 갖습니다.
주요 기능과 아키텍처
Thinker-Talker 설계는 이해와 음성 생성을 결합합니다. Thinker는 멀티모달 작업을 처리하고 텍스트 내용을 생성하며, Talker는 음성 응답을 형성하는 데 참여합니다. 제작사의 시간 정렬 멀티모달 위치 체계인 TMRoPE는 동영상의 타임스탬프와 오디오를 동기화합니다. 아키텍처는 청크 단위 입력과 반응성 있는 음성 또는 동영상 상호작용을 위해 설계되었습니다. 이 설계 목표가 모든 인터페이스의 고정 응답 시간을 보장하지는 않습니다.
제작사가 다루는 작업에는 음성 인식, 음성 번역, 오디오 이해, 이미지 추론, 동영상 이해, 음성 생성이 포함됩니다. 따라서 음성 지시는 항상 별도로 입력한 전사문을 요구하지 않고 멀티모달 질문에 직접 참여할 수 있습니다. 목표 작업을 명확히 하세요. 오디오 클립 이해, 음성 질문에 답하기, 음성 답변 생성은 모델이 각각의 입력이나 출력 형식을 모두 지원하더라도 서로 다른 활용입니다.
멀티모달 대화 준비하기
관련 미디어를 제공하고 답변이 이를 어떻게 연결해야 하는지 명시하세요. 해설이 있는 시연에서는 모델이 보이는 단계와 화자의 설명을 구분하고 일치하는 지점을 식별하게 하세요. 사진과 오디오 질문의 조합에서는 이미지의 역할을 명시하고 보이는 내용에 근거한 간결한 답변을 요청하세요. 오디오만 있는 발췌에서는 음성 인식, 소리 설명, 내용에 대한 질문 답변 중 목표를 명시하세요. 이는 문서화된 작업 범위를 적용한 예시입니다.
제작사의 예시는 텍스트 전용, 오디오 전용, 동영상 전용, 혼합 미디어 대화를 보여 줍니다. 동영상의 원래 순서와 시간을 보존하세요. 별개 자산에 레이블을 붙여 서로 무관한 증거를 하나의 이벤트로 취급하지 않고 참조할 수 있게 하세요. 결과는 텍스트만일 수도 있고 음성이 함께 있을 수도 있습니다. 요청을 준비하기 전에 유용한 산출물을 선택하세요.
음성 출력 준비
Qwen의 체크포인트 레시피는 음성 출력이 필요할 때 문서화된 오디오 기능 시스템 프롬프트를 요구합니다. 프롬프트는 Qwen과 그 청각, 시각, 텍스트, 음성 기능을 식별합니다. 무관한 프롬프트로 바꾸면 기대한 오디오 동작이 나오지 않을 수 있습니다. 이는 제작사의 체크포인트 워크플로 지침이며 모든 애플리케이션이 시스템 프롬프트나 오디오 생성 제어를 노출한다는 주장은 아닙니다.
이 정확한 체크포인트는 따뜻한 여성 음성 Chelsie와 활기찬 남성 음성 Ethan의 두 가지 음성을 제공합니다. 화자를 선택하지 않으면 문서화된 기본값은 Chelsie입니다. 생성 예제는 24,000 Hz 샘플링 레이트로 음성을 기록합니다. 이 두 음성을 별도로 명명된 상용 모델의 네 가지 음성 설명으로 대체하면 안 됩니다.
동영상의 오디오 사용하기
동영상의 사운드트랙은 음성 지시나 보이는 동작에서 발생한 소리처럼 의미에 관련될 수 있습니다. Qwen은 미디어 준비, 처리, 생성 단계에 걸쳐 use_audio_in_video를 노출합니다. 이 설정은 세 단계 모두와 여러 턴의 대화에서 일관되어야 합니다. 일관되지 않은 설정은 예상치 못한 결과를 만들 수 있습니다. 따라서 파일이 같더라도 동영상만의 시각적 해석과 시청각 해석은 다릅니다.
텍스트 전용 출력과 배치 처리
제작사는 return_audio=False 설정으로 텍스트 전용 출력을 지원합니다. 로딩 후 Talker를 비활성화할 수도 있으며, 이때 GPU 메모리를 약 2 GB 줄이지만 해당 인스턴스에서 오디오 출력은 사용할 수 없게 됩니다. 문서화된 혼합 샘플 배치 예시는 return_audio=False를 요구하며 텍스트, 이미지, 오디오, 동영상 요청을 결합합니다. 이 배치 예시를 배치 음성 생성에 대한 주장으로 확대하면 안 됩니다.
컨텍스트와 실질적인 한계
체크포인트의 텍스트 백본 구성은 최대 위치 수를 32,768로 설정합니다. 텍스트, 표현된 미디어, 생성 응답은 시퀀스 공간을 소비합니다. 이 값만으로 보편적인 오디오나 동영상 길이가 정의되지는 않습니다. 제작사의 자원 예시는 긴 동영상에 훨씬 많은 메모리가 필요함을 보여 주므로, 관련 없는 큰 녹화물보다 짧고 관련 있는 클립이 더 실용적인 경우가 많습니다. 예시는 별도의 엄격한 최대 답변 길이나 보편적으로 보장되는 미디어 길이를 공개하지 않습니다.
음성 인용과 결론을 원본과 대조하고, 질문에 충분한 시각적 세부 정보를 유지하며, 검토자가 음성 설명을 점검해야 할 때는 텍스트 결과를 보관하세요. 문서화된 모델의 가치는 결합된 이해와 텍스트/음성 응답이며, 정확한 음성 제어, 미디어 처리, 출력 전달은 선택한 인터페이스의 기능으로 남습니다.
POST /v1/chat/completionstexttext| 필드 | 유형 | 요건 | 값과 한도 | 기본값 |
|---|---|---|---|---|
필드model | 유형string | 요건필수 | 값과 한도 qwen2.5-omni-7b | 기본값— |
필드messages | 유형message[] | 요건필수 | 값과 한도 최소 항목 수: 1 | 기본값— |
필드messages[].role | 유형string | 요건필수 | 값과 한도 예시: system, user, assistant, tool, function 조건: 이 역할들은 소스 코드의 호환 타입에 명시적으로 표현됩니다. 정확한 모델 역할 집합은 모델별로 다릅니다. 모델에 따라 다름 | 기본값— |
필드messages[].content | 유형string|content_part[]|null | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].tool_calls | 유형tool_call[] | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].tool_call_id | 유형string | 요건선택 사항 | 값과 한도 적용 조건: role=tool. 실제 반환된 ID를 사용하세요 | 기본값— |
필드messages[].name | 유형string | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].reasoning_content | 유형string | 요건선택 사항 | 값과 한도 적용 조건: 이 모델이 추론을 사용하는 경우 실제 반환된 추론을 그대로 다음 요청에 다시 전달하세요 | 기본값— |
필드messages[].reasoning_details | 유형object|array | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드max_tokens | 유형integer | 요건선택 사항 | 값과 한도 최솟값: 1 모델에 따라 다름 | 기본값— |
필드max_completion_tokens | 유형integer | 요건선택 사항 | 값과 한도 최솟값: 1 모델에 따라 다름 | 기본값— |
필드stream | 유형boolean | 요건선택 사항 | 값과 한도 | 기본값false |
필드stream_options.include_usage | 유형boolean | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드temperature | 유형number | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드top_p | 유형number | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드stop | 유형string|string[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드tools | 유형function_tool[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드tools[].type | 유형string | 요건선택 사항 | 값과 한도 function 모델에 따라 다름 | 기본값— |
필드tools[].function.name | 유형string | 요건필수 | 값과 한도 적용 조건: 함수 도구 지정됨 | 기본값— |
필드tools[].function.description | 유형string | 요건선택 사항 | 값과 한도 | 기본값— |
필드tools[].function.parameters | 유형JSON_schema | 요건선택 사항 | 값과 한도 | 기본값— |
필드tool_choice | 유형string|object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드parallel_tool_calls | 유형boolean | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드response_format | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드reasoning_effort | 유형string | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드reasoning | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드service_tier | 유형string | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드instructions | 유형string | 요건선택 사항 | 값과 한도 호환성 필드 | 기본값— |
필드functions | 유형function[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드function_call | 유형string|object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드prompt_cache_options | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드modalities | 유형string[] | 요건선택 사항 | 값과 한도 text | 기본값— |
필드provider | 유형object | 요건선택 사항 | 값과 한도 조건: 이 Ultra 텍스트 경로에서는 provider.options가 거부됩니다 | 기본값— |
필드cache_control.ttl | 유형string | 요건선택 사항 | 값과 한도 조건: 실제 프롬프트 캐시 지정 위치에서는 1h가 거부됩니다 | 기본값— |
텍스트 · UTF8 텍스트
messages[].content
| 매개변수 | 명세 |
|---|---|
매개변수content_type | 명세application/json |
매개변수required | 명세model, messages |
매개변수material_types | 명세text |
매개변수messages | 명세role/content 형식의 메시지 배열 |
매개변수file_material | 명세실제 UTF-8 문서를 텍스트로 그대로 삽입합니다. 파일 ID는 추정하지 않습니다 |
매개변수optional_controls | 명세stream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
매개변수control_scope | 명세모델별로 다름. 사용자 함수 도구와 호스팅 도구는 서로 다릅니다 |
매개변수output_modalities | 명세text |
매개변수hosted_operations | 명세false |
매개변수multimodal_input_binding | 명세null |
수명 주기: synchronous_or_streamed
정확한 모델 ID를 messages와 함께 보내세요.
컨텍스트 길이는 출력 상한이 아닙니다.
텍스트 파일은 텍스트를 그대로 제공할 수 있습니다. 이미지/오디오/파일 객체 입력에는 정확한 바인딩이 필요합니다.
요금 정보는 요청 옵션을 추가하지 않습니다. 지원되는 매개변수는 선택한 메서드에 표시됩니다.
| 설정 | 요금표 | 요금 |
|---|---|---|
| 설정토큰의 기본 단가 | 요금표기본 요금 | 요금 입력 · 입력 토큰 $0.0046 / 1K 토큰 출력 · 출력 토큰 $0.0138 / 1K 토큰 입력 · 캐시 읽기 $0 / 1K 토큰 입력 · 캐시 쓰기 $0 / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
Ailoot는 요청 전에 예상 금액을 미리 확보합니다. 결과를 받은 뒤 측정된 사용량을 기준으로 최종 요금을 정산합니다. 스트리밍 정산에는 최종 사용량 기록을 사용합니다. 금액 확보와 정산 방식 →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen2.5-omni-7b", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen2.5-omni-7b',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson 또는 SSE
반환된 완전한 응답, 파일, 콘텐츠 부분을 모두 보관하세요.
각 선택지와 그 콘텐츠·도구 호출·추론을 모두 보존하세요. SSE에서는 선택지/도구 인덱스별로 증분을 조합하고 최종 종료 사유와 사용량을 유지하세요.
요청/응답 ID와 헤더를 보존하세요. 텍스트 작업을 조회하는 범용 URL은 제공되지 않습니다.
| 필드 | 유형 |
|---|---|
필드choices[].index | 유형integer |
필드choices[].message.content | 유형string|null |
필드choices[].message.tool_calls | 유형tool_call[] |
필드choices[].message.reasoning_content | 유형string |
필드choices[].message.reasoning_details | 유형object|array |
필드choices[].finish_reason | 유형string|null |
필드usage | 유형object |
| 응답 | 조건 | 다음 단계 |
|---|---|---|
응답400 · invalid_request_error | 조건필수 필드, 자료 표현 방식 또는 파라미터 값이 올바르지 않음 | 다음 단계새 생성 요청 전에 표시된 필드를 수정하세요. |
Ailoot Ultra qwen2.5-omni-7b
위에 표시된 메서드 경로를 사용하세요.
qwen2.5-omni-7bQwen2.5-Omni-7B는 텍스트, 이미지, 오디오, 동영상 이해를 텍스트 및 자연스러운 음성 출력과 결합합니다. Thinker-Talker 아키텍처가 오디오와 동영상의 시간을 정렬하고 스트리밍 상호작용을 지원하며, 이 정확한 공개 체크포인트에는 두 가지 음성이 문서화되어 있습니다.
이 설명은 모델의 기능을 다룹니다. Ailoot에서 사용할 수 있는 입력, 출력 및 옵션은 아래에 선택한 메서드별로 표시됩니다.
개요: 여러 입력 모달리티를 위한 하나의 모델
Qwen2.5-Omni-7B는 텍스트, 이미지, 오디오, 동영상을 위한 Qwen의 종단 간 멀티모달 모델입니다. 이 입력들을 함께 이해하고 스트리밍 워크플로에서 자연스러운 음성과 텍스트를 생성할 수 있습니다. 작업이 보이는 내용과 들리는 내용 모두에 의존하거나 사용자가 입력 대신 음성으로 지시할 때 사용하세요. 이는 정확한 7B 체크포인트이며, 상용 Omni-Turbo와 이후 Omni 릴리스는 별도의 계약을 갖습니다.
주요 기능과 아키텍처
Thinker-Talker 설계는 이해와 음성 생성을 결합합니다. Thinker는 멀티모달 작업을 처리하고 텍스트 내용을 생성하며, Talker는 음성 응답을 형성하는 데 참여합니다. 제작사의 시간 정렬 멀티모달 위치 체계인 TMRoPE는 동영상의 타임스탬프와 오디오를 동기화합니다. 아키텍처는 청크 단위 입력과 반응성 있는 음성 또는 동영상 상호작용을 위해 설계되었습니다. 이 설계 목표가 모든 인터페이스의 고정 응답 시간을 보장하지는 않습니다.
제작사가 다루는 작업에는 음성 인식, 음성 번역, 오디오 이해, 이미지 추론, 동영상 이해, 음성 생성이 포함됩니다. 따라서 음성 지시는 항상 별도로 입력한 전사문을 요구하지 않고 멀티모달 질문에 직접 참여할 수 있습니다. 목표 작업을 명확히 하세요. 오디오 클립 이해, 음성 질문에 답하기, 음성 답변 생성은 모델이 각각의 입력이나 출력 형식을 모두 지원하더라도 서로 다른 활용입니다.
멀티모달 대화 준비하기
관련 미디어를 제공하고 답변이 이를 어떻게 연결해야 하는지 명시하세요. 해설이 있는 시연에서는 모델이 보이는 단계와 화자의 설명을 구분하고 일치하는 지점을 식별하게 하세요. 사진과 오디오 질문의 조합에서는 이미지의 역할을 명시하고 보이는 내용에 근거한 간결한 답변을 요청하세요. 오디오만 있는 발췌에서는 음성 인식, 소리 설명, 내용에 대한 질문 답변 중 목표를 명시하세요. 이는 문서화된 작업 범위를 적용한 예시입니다.
제작사의 예시는 텍스트 전용, 오디오 전용, 동영상 전용, 혼합 미디어 대화를 보여 줍니다. 동영상의 원래 순서와 시간을 보존하세요. 별개 자산에 레이블을 붙여 서로 무관한 증거를 하나의 이벤트로 취급하지 않고 참조할 수 있게 하세요. 결과는 텍스트만일 수도 있고 음성이 함께 있을 수도 있습니다. 요청을 준비하기 전에 유용한 산출물을 선택하세요.
음성 출력 준비
Qwen의 체크포인트 레시피는 음성 출력이 필요할 때 문서화된 오디오 기능 시스템 프롬프트를 요구합니다. 프롬프트는 Qwen과 그 청각, 시각, 텍스트, 음성 기능을 식별합니다. 무관한 프롬프트로 바꾸면 기대한 오디오 동작이 나오지 않을 수 있습니다. 이는 제작사의 체크포인트 워크플로 지침이며 모든 애플리케이션이 시스템 프롬프트나 오디오 생성 제어를 노출한다는 주장은 아닙니다.
이 정확한 체크포인트는 따뜻한 여성 음성 Chelsie와 활기찬 남성 음성 Ethan의 두 가지 음성을 제공합니다. 화자를 선택하지 않으면 문서화된 기본값은 Chelsie입니다. 생성 예제는 24,000 Hz 샘플링 레이트로 음성을 기록합니다. 이 두 음성을 별도로 명명된 상용 모델의 네 가지 음성 설명으로 대체하면 안 됩니다.
동영상의 오디오 사용하기
동영상의 사운드트랙은 음성 지시나 보이는 동작에서 발생한 소리처럼 의미에 관련될 수 있습니다. Qwen은 미디어 준비, 처리, 생성 단계에 걸쳐 use_audio_in_video를 노출합니다. 이 설정은 세 단계 모두와 여러 턴의 대화에서 일관되어야 합니다. 일관되지 않은 설정은 예상치 못한 결과를 만들 수 있습니다. 따라서 파일이 같더라도 동영상만의 시각적 해석과 시청각 해석은 다릅니다.
텍스트 전용 출력과 배치 처리
제작사는 return_audio=False 설정으로 텍스트 전용 출력을 지원합니다. 로딩 후 Talker를 비활성화할 수도 있으며, 이때 GPU 메모리를 약 2 GB 줄이지만 해당 인스턴스에서 오디오 출력은 사용할 수 없게 됩니다. 문서화된 혼합 샘플 배치 예시는 return_audio=False를 요구하며 텍스트, 이미지, 오디오, 동영상 요청을 결합합니다. 이 배치 예시를 배치 음성 생성에 대한 주장으로 확대하면 안 됩니다.
컨텍스트와 실질적인 한계
체크포인트의 텍스트 백본 구성은 최대 위치 수를 32,768로 설정합니다. 텍스트, 표현된 미디어, 생성 응답은 시퀀스 공간을 소비합니다. 이 값만으로 보편적인 오디오나 동영상 길이가 정의되지는 않습니다. 제작사의 자원 예시는 긴 동영상에 훨씬 많은 메모리가 필요함을 보여 주므로, 관련 없는 큰 녹화물보다 짧고 관련 있는 클립이 더 실용적인 경우가 많습니다. 예시는 별도의 엄격한 최대 답변 길이나 보편적으로 보장되는 미디어 길이를 공개하지 않습니다.
음성 인용과 결론을 원본과 대조하고, 질문에 충분한 시각적 세부 정보를 유지하며, 검토자가 음성 설명을 점검해야 할 때는 텍스트 결과를 보관하세요. 문서화된 모델의 가치는 결합된 이해와 텍스트/음성 응답이며, 정확한 음성 제어, 미디어 처리, 출력 전달은 선택한 인터페이스의 기능으로 남습니다.
POST /v1/messagestextjson, sse| 필드 | 유형 | 요건 | 값과 한도 | 기본값 |
|---|---|---|---|---|
필드model | 유형string | 요건필수 | 값과 한도 qwen2.5-omni-7b | 기본값— |
필드messages | 유형message[] | 요건필수 | 값과 한도 | 기본값— |
필드messages[].role | 유형string | 요건필수 | 값과 한도 user, assistant | 기본값— |
필드messages[].content | 유형string | 요건필수 | 값과 한도 | 기본값— |
필드max_tokens | 유형integer | 요건필수 | 값과 한도 | 기본값— |
필드stream | 유형boolean | 요건선택 사항 | 값과 한도 | 기본값false |
텍스트 · UTF-8 텍스트
messages[].content 문자열
| 매개변수 | 명세 |
|---|---|
매개변수content_type | 명세application/json |
매개변수required | 명세model, messages, max_tokens |
매개변수optional_controls | 명세stream |
매개변수material_types | 명세text |
매개변수text_file_material | 명세실제 UTF-8 문서를 읽고 그 텍스트를 지정된 입력 또는 메시지 콘텐츠 문자열에 넣으세요. |
수명 주기: synchronous_or_streamed
요금 정보는 요청 옵션을 추가하지 않습니다. 지원되는 매개변수는 선택한 메서드에 표시됩니다.
| 설정 | 요금표 | 요금 |
|---|---|---|
| 설정토큰의 기본 단가 | 요금표기본 요금 | 요금 입력 · 입력 토큰 $0.0046 / 1K 토큰 출력 · 출력 토큰 $0.0138 / 1K 토큰 입력 · 캐시 읽기 $0 / 1K 토큰 입력 · 캐시 쓰기 $0 / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
Ailoot는 요청 전에 예상 금액을 미리 확보합니다. 결과를 받은 뒤 측정된 사용량을 기준으로 최종 요금을 정산합니다. 스트리밍 정산에는 최종 사용량 기록을 사용합니다. 금액 확보와 정산 방식 →
{\n "model": "qwen2.5-omni-7b",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen2.5-omni-7b', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON 또는 SSE
반환된 완전한 응답, 파일, 콘텐츠 부분을 모두 보관하세요.
모든 콘텐츠 블록, 사고 서명, 실제 도구 사용 ID를 보존하세요. 모든 SSE 블록 증분을 조합하세요. 첫 텍스트 블록이 전체 출력은 아닙니다.
요청/응답 ID와 헤더를 보존하세요. 텍스트 작업을 조회하는 범용 URL은 제공되지 않습니다.
| 필드 | 유형 |
|---|---|
필드id | 유형string |
필드model | 유형string |
필드content[] | 유형text|thinking|tool_use|other content block |
필드stop_reason | 유형string|null |
필드usage | 유형object |
| 응답 | 조건 | 다음 단계 |
|---|---|---|
응답400 · invalid_request_error | 조건필수 필드, 자료 표현 방식 또는 파라미터 값이 올바르지 않음 | 다음 단계새 생성 요청 전에 표시된 필드를 수정하세요. |
Ailoot Ultra qwen2.5-omni-7b
위에 표시된 메서드 경로를 사용하세요.
영어 기술 예제
Compare demonstration notes with narration\n\nCompare two text records of demonstration M2. Visual notes: 'Operator closes the lid, then presses Start.' Narration transcript: 'Press Start before closing the lid.' Identify the sequence disagreement and write one clarification question for the instructor. Use only these supplied records; do not claim to have watched or heard a clip.A source-linked sequence comparison and one targeted clarification question.The answer must preserve the opposing event order and avoid inventing a resolution.