Qwen3-235B-A22B-FP8은 Qwen3-235B-A22B의 공식 FP8 에디션입니다. 소개된 텍스트 기능은 100개가 넘는 언어와 방언에서 수학·논리적 추론, 코드 생성, 창작 글쓰기, 역할 기반 대화, 여러 턴의 지시 따르기를 포함합니다. Thinking과 직접 응답 모드를 결합합니다. 같은 명세를 기준으로 두 구현을 비교한 뒤 그 비교를 구체적인 변경안으로 바꾸는 등 여러 제약을 묶는 작업에 사용하세요.
기반 아키텍처는 전문가 혼합 방식입니다. 총 매개변수 2,350억 개, 처리 중 활성 매개변수 220억 개, 레이어 94개, 전문가 128개 중 토큰마다 8개를 선택합니다. 그룹 쿼리 어텐션은 쿼리 헤드 64개와 키/값 헤드 4개를 사용합니다. FP8 접미사는 별도로 공개된 체크포인트를 뜻하며, 추가 응답 모달리티나 다른 매개변수 수를 뜻하지 않습니다. 모델은 텍스트를 입력받아 텍스트를 생성합니다. 코드 검토 도우미에게 명세, 관련 소스 파일, 기대 동작을 제공하고, 결정 표, 선택한 수정, 의도한 결과를 보여 주는 예시를 요청하세요.
제작사의 시작 흐름은 원본 자료와 지시를 대화 형식으로 만듭니다. 문서 비교에서는 버전에 라벨을 붙이고, 각 원본의 권위를 밝히며, 바꾸지 말아야 할 요구 사항을 정하세요. 수학 질문에는 완전한 문제 진술과 원하는 최종 답변 형식을 포함하세요. 구현 작업에는 언어, 실제 입력 형태, 실패 사례, 유지할 인터페이스를 지정하세요. 긴 답변도 원래 요청을 해결하도록 최종 결과물을 명확히 하세요. 공개된 통합은 Qwen3를 인식하는 실행 환경을 전제로 하며, 카드는 Transformers 4.51.0 미만 버전이 필요한 아키텍처를 인식하지 못한다고 주의합니다.
이 에디션에는 별도의 FP8 설명이 있습니다. 체크포인트는 블록 크기 128의 세밀한 FP8 양자화를 사용하며 공개된 설정에 양자화 방식이 기록됩니다. 제작사는 추론 옵션으로 Transformers, SGLang, vLLM을 제시하면서 분산 Transformers 추론에서 세밀한 FP8 문제를 주의합니다. 여러 장치를 사용할 때는 CUDA_LAUNCH_BLOCKING=1이 필요할 수 있습니다. 이는 에디션별 호환성 세부 사항이며, 실행 환경마다 속도, 메모리 사용량, 출력 품질이 같다고 가정할 이유가 아닙니다. 결과를 비교하거나 기록할 때는 전체 FP8 이름을 유지하고 원하는 환경에서 실제 체크포인트를 평가하세요.
제공된 채팅 템플릿은 Thinking을 기본으로 하며 강제 전환으로 끌 수 있습니다. Thinking이 활성화되어 있으면 /think와 /no_think가 개별 턴을 제어하고 가장 최근 지시가 우선합니다. 텍스트 지시를 통한 모드 전환은 강제 비활성화를 무효화하지 않습니다. 최종 답변을 생성된 추론 섹션과 구분하고, 이후 대화 기록에는 최종 답변을 유지하세요. 상세한 모순 분석은 thinking을 요청할 수 있고, 이미 받아들인 결론의 형식을 바꾸는 후속 요청은 직접 응답을 요청할 수 있습니다. Thinking이 활성화된 상태에서는 텍스트 지시로 지정한 non-thinking 요청도 추론 블록을 유지하며, 그 내용은 비어 있을 수 있습니다. 강제 비활성화는 해당 블록을 제거합니다.
카드는 도구 호출 템플릿과 파싱을 위해 Qwen-Agent를 권장합니다. 엔지니어링 도우미에서는 애플리케이션이 테스트 실행기나 읽기 전용 소스 조회를 제공하고, 승인된 호출을 실행한 뒤 다음 답변을 위한 증거를 반환할 수 있습니다. 도구의 입력, 권한, 결과 필드를 지정하세요. 도우미가 제안한 변경을 반환된 결과와 연결하고, 요청한 테스트와 애플리케이션이 실제로 완료한 테스트를 구분하도록 요구하세요. 도구 관련 모델 기능은 이 주변 실행 흐름에 따라 달라집니다. Qwen3 가이드는 객체로 표현한 인수와 대화에 반환한 결과를 사용하는 병렬 및 여러 단계 도구 호출도 설명합니다.
네이티브 컨텍스트는 32,768토큰이며 YaRN 확장으로 131,072토큰이 문서화되어 있습니다. 입력과 생성된 출력은 시퀀스 예산을 공유합니다. 더 큰 창에는 해당 설정이 필요하고 정적 YaRN은 짧은 입력에 영향을 줄 수 있습니다. 긴 원본 자료를 파일이나 섹션별로 정리하고 최종 비교나 코드를 위한 여유를 남기세요. 빠른 시작과 권장 사항에 제시된 출력 길이는 생성 지침이며, 서비스 전체에 적용되는 독립적인 최대 출력의 증거가 아닙니다. Qwen3 문서는 학습 길이 설명에서 thinking 모드의 도우미 메시지 길이 38,912토큰과 non-thinking 모드의 16,384토큰을 다루고, 더 긴 생성의 품질을 평가하도록 권장합니다. 이는 전체 컨텍스트 창과 별개이며 특정 엔드포인트의 고정 상한이 아닙니다. 카드는 기본 위치 할당 40,960토큰을 일반적인 프롬프트용 8,192와 출력용 32,768의 합으로도 설명합니다. 이는 제작사의 설정 지침이며, 네이티브 학습 컨텍스트나 엔드포인트 제한과는 별개입니다.
권장 thinking 샘플링은 temperature 0.6, top-p 0.95, top-k 20, min-p 0이며, 직접 모드는 0.7, 0.8, 20, 0을 사용합니다. Thinking 모드의 그리디 디코딩은 반복을 일으킬 수 있고, 더 강한 presence penalty는 언어 혼용을 만들 수 있습니다. 결과 표 다음에 바뀐 함수와 관련 사례를 제시하는 식으로 검토 가능한 최종 구조를 요청하세요. 수정안을 적용하기 전에 수치 결론을 확인하고 대상 환경에서 코드를 실행하며 도구 결과를 검토하세요. 이 평가에는 FP8 체크포인트의 정체성과 실행 환경에 대한 주의 사항이 계속 연결되어 있어야 합니다.
", "aboutText": "Qwen3-235B-A22B-FP8은 Qwen3-235B-A22B의 공식 FP8 에디션입니다. 소개된 텍스트 기능은 100개가 넘는 언어와 방언에서 수학·논리적 추론, 코드 생성, 창작 글쓰기, 역할 기반 대화, 여러 턴의 지시 따르기를 포함합니다. Thinking과 직접 응답 모드를 결합합니다. 같은 명세를 기준으로 두 구현을 비교한 뒤 그 비교를 구체적인 변경안으로 바꾸는 등 여러 제약을 묶는 작업에 사용하세요.\n\n기반 아키텍처는 전문가 혼합 방식입니다. 총 매개변수 2,350억 개, 처리 중 활성 매개변수 220억 개, 레이어 94개, 전문가 128개 중 토큰마다 8개를 선택합니다. 그룹 쿼리 어텐션은 쿼리 헤드 64개와 키/값 헤드 4개를 사용합니다. FP8 접미사는 별도로 공개된 체크포인트를 뜻하며, 추가 응답 모달리티나 다른 매개변수 수를 뜻하지 않습니다. 모델은 텍스트를 입력받아 텍스트를 생성합니다. 코드 검토 도우미에게 명세, 관련 소스 파일, 기대 동작을 제공하고, 결정 표, 선택한 수정, 의도한 결과를 보여 주는 예시를 요청하세요.\n\n제작사의 시작 흐름은 원본 자료와 지시를 대화 형식으로 만듭니다. 문서 비교에서는 버전에 라벨을 붙이고, 각 원본의 권위를 밝히며, 바꾸지 말아야 할 요구 사항을 정하세요. 수학 질문에는 완전한 문제 진술과 원하는 최종 답변 형식을 포함하세요. 구현 작업에는 언어, 실제 입력 형태, 실패 사례, 유지할 인터페이스를 지정하세요. 긴 답변도 원래 요청을 해결하도록 최종 결과물을 명확히 하세요. 공개된 통합은 Qwen3를 인식하는 실행 환경을 전제로 하며, 카드는 Transformers 4.51.0 미만 버전이 필요한 아키텍처를 인식하지 못한다고 주의합니다.\n\n이 에디션에는 별도의 FP8 설명이 있습니다. 체크포인트는 블록 크기 128의 세밀한 FP8 양자화를 사용하며 공개된 설정에 양자화 방식이 기록됩니다. 제작사는 추론 옵션으로 Transformers, SGLang, vLLM을 제시하면서 분산 Transformers 추론에서 세밀한 FP8 문제를 주의합니다. 여러 장치를 사용할 때는 CUDA_LAUNCH_BLOCKING=1이 필요할 수 있습니다. 이는 에디션별 호환성 세부 사항이며, 실행 환경마다 속도, 메모리 사용량, 출력 품질이 같다고 가정할 이유가 아닙니다. 결과를 비교하거나 기록할 때는 전체 FP8 이름을 유지하고 원하는 환경에서 실제 체크포인트를 평가하세요.\n\n제공된 채팅 템플릿은 Thinking을 기본으로 하며 강제 전환으로 끌 수 있습니다. Thinking이 활성화되어 있으면 /think와 /no_think가 개별 턴을 제어하고 가장 최근 지시가 우선합니다. 텍스트 지시를 통한 모드 전환은 강제 비활성화를 무효화하지 않습니다. 최종 답변을 생성된 추론 섹션과 구분하고, 이후 대화 기록에는 최종 답변을 유지하세요. 상세한 모순 분석은 thinking을 요청할 수 있고, 이미 받아들인 결론의 형식을 바꾸는 후속 요청은 직접 응답을 요청할 수 있습니다. Thinking이 활성화된 상태에서는 텍스트 지시로 지정한 non-thinking 요청도 추론 블록을 유지하며, 그 내용은 비어 있을 수 있습니다. 강제 비활성화는 해당 블록을 제거합니다.\n\n카드는 도구 호출 템플릿과 파싱을 위해 Qwen-Agent를 권장합니다. 엔지니어링 도우미에서는 애플리케이션이 테스트 실행기나 읽기 전용 소스 조회를 제공하고, 승인된 호출을 실행한 뒤 다음 답변을 위한 증거를 반환할 수 있습니다. 도구의 입력, 권한, 결과 필드를 지정하세요. 도우미가 제안한 변경을 반환된 결과와 연결하고, 요청한 테스트와 애플리케이션이 실제로 완료한 테스트를 구분하도록 요구하세요. 도구 관련 모델 기능은 이 주변 실행 흐름에 따라 달라집니다. Qwen3 가이드는 객체로 표현한 인수와 대화에 반환한 결과를 사용하는 병렬 및 여러 단계 도구 호출도 설명합니다.\n\n네이티브 컨텍스트는 32,768토큰이며 YaRN 확장으로 131,072토큰이 문서화되어 있습니다. 입력과 생성된 출력은 시퀀스 예산을 공유합니다. 더 큰 창에는 해당 설정이 필요하고 정적 YaRN은 짧은 입력에 영향을 줄 수 있습니다. 긴 원본 자료를 파일이나 섹션별로 정리하고 최종 비교나 코드를 위한 여유를 남기세요. 빠른 시작과 권장 사항에 제시된 출력 길이는 생성 지침이며, 서비스 전체에 적용되는 독립적인 최대 출력의 증거가 아닙니다. Qwen3 문서는 학습 길이 설명에서 thinking 모드의 도우미 메시지 길이 38,912토큰과 non-thinking 모드의 16,384토큰을 다루고, 더 긴 생성의 품질을 평가하도록 권장합니다. 이는 전체 컨텍스트 창과 별개이며 특정 엔드포인트의 고정 상한이 아닙니다. 카드는 기본 위치 할당 40,960토큰을 일반적인 프롬프트용 8,192와 출력용 32,768의 합으로도 설명합니다. 이는 제작사의 설정 지침이며, 네이티브 학습 컨텍스트나 엔드포인트 제한과는 별개입니다.\n\n권장 thinking 샘플링은 temperature 0.6, top-p 0.95, top-k 20, min-p 0이며, 직접 모드는 0.7, 0.8, 20, 0을 사용합니다. Thinking 모드의 그리디 디코딩은 반복을 일으킬 수 있고, 더 강한 presence penalty는 언어 혼용을 만들 수 있습니다. 결과 표 다음에 바뀐 함수와 관련 사례를 제시하는 식으로 검토 가능한 최종 구조를 요청하세요. 수정안을 적용하기 전에 수치 결론을 확인하고 대상 환경에서 코드를 실행하며 도구 결과를 검토하세요. 이 평가에는 FP8 체크포인트의 정체성과 실행 환경에 대한 주의 사항이 계속 연결되어 있어야 합니다.", "editorialOverlay": { "copy_fields": { "practical_html": "영어 기술 예제
Compare two normalizers to a contract\n\nThe contract requires unique case-sensitive tags in first-occurrence order. Compare Python A: return sorted(set(tags)) with B: return list(dict.fromkeys(tags)). Input: ["red", "Blue", "red", "blue"]. Give a criterion table, select the compliant implementation and provide tests for order and case preservation. Do not alter the contract to fit either implementation.A two-implementation decision table, a selected implementation and two contract-focused tests.Check that sorting is recognized as an order violation and Blue remains distinct from blue.qwen/qwen3-235b-a22b-fp8Qwen3-235B-A22B-FP8은 Qwen3의 대형 전문가 혼합 모델에 대한 공식 세밀한 FP8 체크포인트입니다. 하이브리드 텍스트 추론과 대화 기능을 유지하면서 자체 양자화 정체성과 실행 환경 고려 사항을 갖습니다.
이 설명은 모델의 기능을 다룹니다. Ailoot에서 사용할 수 있는 입력, 출력 및 옵션은 아래에 선택한 메서드별로 표시됩니다.
Qwen3-235B-A22B-FP8은 Qwen3-235B-A22B의 공식 FP8 에디션입니다. 소개된 텍스트 기능은 100개가 넘는 언어와 방언에서 수학·논리적 추론, 코드 생성, 창작 글쓰기, 역할 기반 대화, 여러 턴의 지시 따르기를 포함합니다. Thinking과 직접 응답 모드를 결합합니다. 같은 명세를 기준으로 두 구현을 비교한 뒤 그 비교를 구체적인 변경안으로 바꾸는 등 여러 제약을 묶는 작업에 사용하세요.
기반 아키텍처는 전문가 혼합 방식입니다. 총 매개변수 2,350억 개, 처리 중 활성 매개변수 220억 개, 레이어 94개, 전문가 128개 중 토큰마다 8개를 선택합니다. 그룹 쿼리 어텐션은 쿼리 헤드 64개와 키/값 헤드 4개를 사용합니다. FP8 접미사는 별도로 공개된 체크포인트를 뜻하며, 추가 응답 모달리티나 다른 매개변수 수를 뜻하지 않습니다. 모델은 텍스트를 입력받아 텍스트를 생성합니다. 코드 검토 도우미에게 명세, 관련 소스 파일, 기대 동작을 제공하고, 결정 표, 선택한 수정, 의도한 결과를 보여 주는 예시를 요청하세요.
제작사의 시작 흐름은 원본 자료와 지시를 대화 형식으로 만듭니다. 문서 비교에서는 버전에 라벨을 붙이고, 각 원본의 권위를 밝히며, 바꾸지 말아야 할 요구 사항을 정하세요. 수학 질문에는 완전한 문제 진술과 원하는 최종 답변 형식을 포함하세요. 구현 작업에는 언어, 실제 입력 형태, 실패 사례, 유지할 인터페이스를 지정하세요. 긴 답변도 원래 요청을 해결하도록 최종 결과물을 명확히 하세요. 공개된 통합은 Qwen3를 인식하는 실행 환경을 전제로 하며, 카드는 Transformers 4.51.0 미만 버전이 필요한 아키텍처를 인식하지 못한다고 주의합니다.
이 에디션에는 별도의 FP8 설명이 있습니다. 체크포인트는 블록 크기 128의 세밀한 FP8 양자화를 사용하며 공개된 설정에 양자화 방식이 기록됩니다. 제작사는 추론 옵션으로 Transformers, SGLang, vLLM을 제시하면서 분산 Transformers 추론에서 세밀한 FP8 문제를 주의합니다. 여러 장치를 사용할 때는 CUDA_LAUNCH_BLOCKING=1이 필요할 수 있습니다. 이는 에디션별 호환성 세부 사항이며, 실행 환경마다 속도, 메모리 사용량, 출력 품질이 같다고 가정할 이유가 아닙니다. 결과를 비교하거나 기록할 때는 전체 FP8 이름을 유지하고 원하는 환경에서 실제 체크포인트를 평가하세요.
제공된 채팅 템플릿은 Thinking을 기본으로 하며 강제 전환으로 끌 수 있습니다. Thinking이 활성화되어 있으면 /think와 /no_think가 개별 턴을 제어하고 가장 최근 지시가 우선합니다. 텍스트 지시를 통한 모드 전환은 강제 비활성화를 무효화하지 않습니다. 최종 답변을 생성된 추론 섹션과 구분하고, 이후 대화 기록에는 최종 답변을 유지하세요. 상세한 모순 분석은 thinking을 요청할 수 있고, 이미 받아들인 결론의 형식을 바꾸는 후속 요청은 직접 응답을 요청할 수 있습니다. Thinking이 활성화된 상태에서는 텍스트 지시로 지정한 non-thinking 요청도 추론 블록을 유지하며, 그 내용은 비어 있을 수 있습니다. 강제 비활성화는 해당 블록을 제거합니다.
카드는 도구 호출 템플릿과 파싱을 위해 Qwen-Agent를 권장합니다. 엔지니어링 도우미에서는 애플리케이션이 테스트 실행기나 읽기 전용 소스 조회를 제공하고, 승인된 호출을 실행한 뒤 다음 답변을 위한 증거를 반환할 수 있습니다. 도구의 입력, 권한, 결과 필드를 지정하세요. 도우미가 제안한 변경을 반환된 결과와 연결하고, 요청한 테스트와 애플리케이션이 실제로 완료한 테스트를 구분하도록 요구하세요. 도구 관련 모델 기능은 이 주변 실행 흐름에 따라 달라집니다. Qwen3 가이드는 객체로 표현한 인수와 대화에 반환한 결과를 사용하는 병렬 및 여러 단계 도구 호출도 설명합니다.
네이티브 컨텍스트는 32,768토큰이며 YaRN 확장으로 131,072토큰이 문서화되어 있습니다. 입력과 생성된 출력은 시퀀스 예산을 공유합니다. 더 큰 창에는 해당 설정이 필요하고 정적 YaRN은 짧은 입력에 영향을 줄 수 있습니다. 긴 원본 자료를 파일이나 섹션별로 정리하고 최종 비교나 코드를 위한 여유를 남기세요. 빠른 시작과 권장 사항에 제시된 출력 길이는 생성 지침이며, 서비스 전체에 적용되는 독립적인 최대 출력의 증거가 아닙니다. Qwen3 문서는 학습 길이 설명에서 thinking 모드의 도우미 메시지 길이 38,912토큰과 non-thinking 모드의 16,384토큰을 다루고, 더 긴 생성의 품질을 평가하도록 권장합니다. 이는 전체 컨텍스트 창과 별개이며 특정 엔드포인트의 고정 상한이 아닙니다. 카드는 기본 위치 할당 40,960토큰을 일반적인 프롬프트용 8,192와 출력용 32,768의 합으로도 설명합니다. 이는 제작사의 설정 지침이며, 네이티브 학습 컨텍스트나 엔드포인트 제한과는 별개입니다.
권장 thinking 샘플링은 temperature 0.6, top-p 0.95, top-k 20, min-p 0이며, 직접 모드는 0.7, 0.8, 20, 0을 사용합니다. Thinking 모드의 그리디 디코딩은 반복을 일으킬 수 있고, 더 강한 presence penalty는 언어 혼용을 만들 수 있습니다. 결과 표 다음에 바뀐 함수와 관련 사례를 제시하는 식으로 검토 가능한 최종 구조를 요청하세요. 수정안을 적용하기 전에 수치 결론을 확인하고 대상 환경에서 코드를 실행하며 도구 결과를 검토하세요. 이 평가에는 FP8 체크포인트의 정체성과 실행 환경에 대한 주의 사항이 계속 연결되어 있어야 합니다.
POST /v1/chat/completionstexttext| 필드 | 유형 | 요건 | 값과 한도 | 기본값 |
|---|---|---|---|---|
필드model | 유형string | 요건필수 | 값과 한도 qwen/qwen3-235b-a22b-fp8 | 기본값— |
필드messages | 유형message[] | 요건필수 | 값과 한도 최소 항목 수: 1 | 기본값— |
필드messages[].role | 유형string | 요건필수 | 값과 한도 예시: system, user, assistant, tool, function 조건: 이 역할들은 소스 코드의 호환 타입에 명시적으로 표현됩니다. 정확한 모델 역할 집합은 모델별로 다릅니다. 모델에 따라 다름 | 기본값— |
필드messages[].content | 유형string|content_part[]|null | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].tool_calls | 유형tool_call[] | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].tool_call_id | 유형string | 요건선택 사항 | 값과 한도 적용 조건: role=tool. 실제 반환된 ID를 사용하세요 | 기본값— |
필드messages[].name | 유형string | 요건선택 사항 | 값과 한도 | 기본값— |
필드messages[].reasoning_content | 유형string | 요건선택 사항 | 값과 한도 적용 조건: 이 모델이 추론을 사용하는 경우 실제 반환된 추론을 그대로 다음 요청에 다시 전달하세요 | 기본값— |
필드messages[].reasoning_details | 유형object|array | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드max_tokens | 유형integer | 요건선택 사항 | 값과 한도 최솟값: 1 모델에 따라 다름 | 기본값— |
필드max_completion_tokens | 유형integer | 요건선택 사항 | 값과 한도 최솟값: 1 모델에 따라 다름 | 기본값— |
필드stream | 유형boolean | 요건선택 사항 | 값과 한도 | 기본값false |
필드stream_options.include_usage | 유형boolean | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드temperature | 유형number | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드top_p | 유형number | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드stop | 유형string|string[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드tools | 유형function_tool[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드tools[].type | 유형string | 요건선택 사항 | 값과 한도 function 모델에 따라 다름 | 기본값— |
필드tools[].function.name | 유형string | 요건필수 | 값과 한도 적용 조건: 함수 도구 지정됨 | 기본값— |
필드tools[].function.description | 유형string | 요건선택 사항 | 값과 한도 | 기본값— |
필드tools[].function.parameters | 유형JSON_schema | 요건선택 사항 | 값과 한도 | 기본값— |
필드tool_choice | 유형string|object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드parallel_tool_calls | 유형boolean | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드response_format | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드reasoning_effort | 유형string | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드reasoning | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드service_tier | 유형string | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드instructions | 유형string | 요건선택 사항 | 값과 한도 호환성 필드 | 기본값— |
필드functions | 유형function[] | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드function_call | 유형string|object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드prompt_cache_options | 유형object | 요건선택 사항 | 값과 한도 모델에 따라 다름 | 기본값— |
필드modalities | 유형string[] | 요건선택 사항 | 값과 한도 text | 기본값— |
필드provider | 유형object | 요건선택 사항 | 값과 한도 조건: 이 Ultra 텍스트 경로에서는 provider.options가 거부됩니다 | 기본값— |
필드cache_control.ttl | 유형string | 요건선택 사항 | 값과 한도 조건: 실제 프롬프트 캐시 지정 위치에서는 1h가 거부됩니다 | 기본값— |
텍스트 · UTF8 텍스트
messages[].content
| 매개변수 | 명세 |
|---|---|
매개변수content_type | 명세application/json |
매개변수required | 명세model, messages |
매개변수material_types | 명세text |
매개변수messages | 명세role/content 형식의 메시지 배열 |
매개변수file_material | 명세실제 UTF-8 문서를 텍스트로 그대로 삽입합니다. 파일 ID는 추정하지 않습니다 |
매개변수optional_controls | 명세stream, temperature, top_p, stop, max_tokens, max_completion_tokens, reasoning, response_format, tools, tool_choice |
매개변수control_scope | 명세모델별로 다름. 사용자 함수 도구와 호스팅 도구는 서로 다릅니다 |
매개변수output_modalities | 명세text |
매개변수hosted_operations | 명세false |
매개변수multimodal_input_binding | 명세null |
수명 주기: synchronous_or_streamed
정확한 모델 ID를 messages와 함께 보내세요.
컨텍스트 길이는 출력 상한이 아닙니다.
텍스트 파일은 텍스트를 그대로 제공할 수 있습니다. 이미지/오디오/파일 객체 입력에는 정확한 바인딩이 필요합니다.
요금 정보는 요청 옵션을 추가하지 않습니다. 지원되는 매개변수는 선택한 메서드에 표시됩니다.
| 설정 | 요금표 | 요금 |
|---|---|---|
| 설정토큰의 기본 단가 | 요금표기본 요금 | 요금 입력 · 입력 토큰 $0.0004 / 1K 토큰 출력 · 출력 토큰 $0.0016 / 1K 토큰 입력 · 캐시 읽기 $0 / 1K 토큰 입력 · 캐시 쓰기 $0 / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
Ailoot는 요청 전에 예상 금액을 미리 확보합니다. 결과를 받은 뒤 측정된 사용량을 기준으로 최종 요금을 정산합니다. 스트리밍 정산에는 최종 사용량 기록을 사용합니다. 금액 확보와 정산 방식 →
set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\npython3 - <<'PY_REQUEST'\nimport json,os\nfrom pathlib import Path\np=json.loads('{"model": "qwen/qwen3-235b-a22b-fp8", "messages": [{"role": "user", "content": "Explain the difference between an observation and a hypothesis in three sentences."}]}')\n\nPath("request.json").write_text(json.dumps(p,ensure_ascii=False))\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/chat/completions \\\n -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\nr=json.loads(Path("result.json").read_text())\nfor x in r.get("choices",[]):\n if x.get("message",{}).get("content"): print(x["message"]["content"])\nPY_RESULT\nfrom openai import OpenAI\nimport os\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nresult=client.chat.completions.create(model='qwen/qwen3-235b-a22b-fp8',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}])\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nsave_result(result.to_dict(mode="json"))\nfrom openai import OpenAI\nimport os\nfrom pathlib import Path\n\nif not os.environ.get("AILOOT_API_KEY", "").strip(): raise SystemExit("Set AILOOT_API_KEY before making a request")\nclient=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)\nimport base64, json\nfrom pathlib import Path\n\ndef save_result(data, stem="result"):\n # Keep every field, including usage, IDs, reasoning and tool requests.\n Path(stem + ".json").write_text(json.dumps(data, ensure_ascii=False, indent=2), encoding="utf-8")\n print(json.dumps(data, ensure_ascii=False, indent=2))\n def save_blob(encoded, suffix, label):\n raw = base64.b64decode(encoded, altchars=b"-_", validate=True)\n ext = "png" if raw.startswith(b"\\x89PNG\\r\\n\\x1a\\n") else "jpg" if raw.startswith(b"\\xff\\xd8") else "webp" if raw[:4] == b"RIFF" and raw[8:12] == b"WEBP" else suffix\n file = Path(stem + "-" + label + "." + ext)\n file.write_bytes(raw)\n print("Saved", file)\n for index, block in enumerate(data.get("content") or []):\n print("Content", index, json.dumps(block, ensure_ascii=False))\n for choice in data.get("choices") or []:\n print("Choice", choice.get("index"), json.dumps(choice.get("message", choice.get("delta", {})), ensure_ascii=False))\n for index, item in enumerate(data.get("output") or []):\n print("Output", index, json.dumps(item, ensure_ascii=False))\n if item.get("type") == "image_generation_call" and item.get("result"):\n save_blob(item["result"], item.get("output_format") or "bin", "output-" + str(index))\n for ci, candidate in enumerate(data.get("candidates") or []):\n for pi, part in enumerate((candidate.get("content") or {}).get("parts") or []):\n print("Candidate/part", ci, pi, json.dumps(part, ensure_ascii=False))\n blob = part.get("inlineData") or part.get("inline_data")\n if blob and blob.get("data"):\n mime = blob.get("mimeType") or blob.get("mime_type")\n suffix = {"image/png":"png", "image/jpeg":"jpg", "image/webp":"webp", "audio/wav":"wav", "audio/mpeg":"mp3", "video/mp4":"mp4"}.get(mime, "bin")\n save_blob(blob["data"], suffix, "candidate-" + str(ci) + "-part-" + str(pi))\n\nwith client.chat.completions.stream(model='qwen/qwen3-235b-a22b-fp8',messages=[{"role":"user","content":"Explain observations and hypotheses in three sentences."}]) as stream:\n with Path("stream-events.jsonl").open("w",encoding="utf-8") as log:\n for event in stream:\n payload=event.to_dict(mode="json")\n log.write(json.dumps(payload,ensure_ascii=False)+"\\n"); log.flush()\n print(json.dumps(payload,ensure_ascii=False))\n final=stream.get_final_completion()\n save_result(final.to_dict(mode="json"),"stream-result")\njson 또는 SSE
반환된 완전한 응답, 파일, 콘텐츠 부분을 모두 보관하세요.
각 선택지와 그 콘텐츠·도구 호출·추론을 모두 보존하세요. SSE에서는 선택지/도구 인덱스별로 증분을 조합하고 최종 종료 사유와 사용량을 유지하세요.
요청/응답 ID와 헤더를 보존하세요. 텍스트 작업을 조회하는 범용 URL은 제공되지 않습니다.
| 필드 | 유형 |
|---|---|
필드choices[].index | 유형integer |
필드choices[].message.content | 유형string|null |
필드choices[].message.tool_calls | 유형tool_call[] |
필드choices[].message.reasoning_content | 유형string |
필드choices[].message.reasoning_details | 유형object|array |
필드choices[].finish_reason | 유형string|null |
필드usage | 유형object |
| 응답 | 조건 | 다음 단계 |
|---|---|---|
응답400 · invalid_request_error | 조건필수 필드, 자료 표현 방식 또는 파라미터 값이 올바르지 않음 | 다음 단계새 생성 요청 전에 표시된 필드를 수정하세요. |
Ailoot Ultra qwen/qwen3-235b-a22b-fp8
위에 표시된 메서드 경로를 사용하세요.
qwen/qwen3-235b-a22b-fp8Qwen3-235B-A22B-FP8은 Qwen3의 대형 전문가 혼합 모델에 대한 공식 세밀한 FP8 체크포인트입니다. 하이브리드 텍스트 추론과 대화 기능을 유지하면서 자체 양자화 정체성과 실행 환경 고려 사항을 갖습니다.
이 설명은 모델의 기능을 다룹니다. Ailoot에서 사용할 수 있는 입력, 출력 및 옵션은 아래에 선택한 메서드별로 표시됩니다.
Qwen3-235B-A22B-FP8은 Qwen3-235B-A22B의 공식 FP8 에디션입니다. 소개된 텍스트 기능은 100개가 넘는 언어와 방언에서 수학·논리적 추론, 코드 생성, 창작 글쓰기, 역할 기반 대화, 여러 턴의 지시 따르기를 포함합니다. Thinking과 직접 응답 모드를 결합합니다. 같은 명세를 기준으로 두 구현을 비교한 뒤 그 비교를 구체적인 변경안으로 바꾸는 등 여러 제약을 묶는 작업에 사용하세요.
기반 아키텍처는 전문가 혼합 방식입니다. 총 매개변수 2,350억 개, 처리 중 활성 매개변수 220억 개, 레이어 94개, 전문가 128개 중 토큰마다 8개를 선택합니다. 그룹 쿼리 어텐션은 쿼리 헤드 64개와 키/값 헤드 4개를 사용합니다. FP8 접미사는 별도로 공개된 체크포인트를 뜻하며, 추가 응답 모달리티나 다른 매개변수 수를 뜻하지 않습니다. 모델은 텍스트를 입력받아 텍스트를 생성합니다. 코드 검토 도우미에게 명세, 관련 소스 파일, 기대 동작을 제공하고, 결정 표, 선택한 수정, 의도한 결과를 보여 주는 예시를 요청하세요.
제작사의 시작 흐름은 원본 자료와 지시를 대화 형식으로 만듭니다. 문서 비교에서는 버전에 라벨을 붙이고, 각 원본의 권위를 밝히며, 바꾸지 말아야 할 요구 사항을 정하세요. 수학 질문에는 완전한 문제 진술과 원하는 최종 답변 형식을 포함하세요. 구현 작업에는 언어, 실제 입력 형태, 실패 사례, 유지할 인터페이스를 지정하세요. 긴 답변도 원래 요청을 해결하도록 최종 결과물을 명확히 하세요. 공개된 통합은 Qwen3를 인식하는 실행 환경을 전제로 하며, 카드는 Transformers 4.51.0 미만 버전이 필요한 아키텍처를 인식하지 못한다고 주의합니다.
이 에디션에는 별도의 FP8 설명이 있습니다. 체크포인트는 블록 크기 128의 세밀한 FP8 양자화를 사용하며 공개된 설정에 양자화 방식이 기록됩니다. 제작사는 추론 옵션으로 Transformers, SGLang, vLLM을 제시하면서 분산 Transformers 추론에서 세밀한 FP8 문제를 주의합니다. 여러 장치를 사용할 때는 CUDA_LAUNCH_BLOCKING=1이 필요할 수 있습니다. 이는 에디션별 호환성 세부 사항이며, 실행 환경마다 속도, 메모리 사용량, 출력 품질이 같다고 가정할 이유가 아닙니다. 결과를 비교하거나 기록할 때는 전체 FP8 이름을 유지하고 원하는 환경에서 실제 체크포인트를 평가하세요.
제공된 채팅 템플릿은 Thinking을 기본으로 하며 강제 전환으로 끌 수 있습니다. Thinking이 활성화되어 있으면 /think와 /no_think가 개별 턴을 제어하고 가장 최근 지시가 우선합니다. 텍스트 지시를 통한 모드 전환은 강제 비활성화를 무효화하지 않습니다. 최종 답변을 생성된 추론 섹션과 구분하고, 이후 대화 기록에는 최종 답변을 유지하세요. 상세한 모순 분석은 thinking을 요청할 수 있고, 이미 받아들인 결론의 형식을 바꾸는 후속 요청은 직접 응답을 요청할 수 있습니다. Thinking이 활성화된 상태에서는 텍스트 지시로 지정한 non-thinking 요청도 추론 블록을 유지하며, 그 내용은 비어 있을 수 있습니다. 강제 비활성화는 해당 블록을 제거합니다.
카드는 도구 호출 템플릿과 파싱을 위해 Qwen-Agent를 권장합니다. 엔지니어링 도우미에서는 애플리케이션이 테스트 실행기나 읽기 전용 소스 조회를 제공하고, 승인된 호출을 실행한 뒤 다음 답변을 위한 증거를 반환할 수 있습니다. 도구의 입력, 권한, 결과 필드를 지정하세요. 도우미가 제안한 변경을 반환된 결과와 연결하고, 요청한 테스트와 애플리케이션이 실제로 완료한 테스트를 구분하도록 요구하세요. 도구 관련 모델 기능은 이 주변 실행 흐름에 따라 달라집니다. Qwen3 가이드는 객체로 표현한 인수와 대화에 반환한 결과를 사용하는 병렬 및 여러 단계 도구 호출도 설명합니다.
네이티브 컨텍스트는 32,768토큰이며 YaRN 확장으로 131,072토큰이 문서화되어 있습니다. 입력과 생성된 출력은 시퀀스 예산을 공유합니다. 더 큰 창에는 해당 설정이 필요하고 정적 YaRN은 짧은 입력에 영향을 줄 수 있습니다. 긴 원본 자료를 파일이나 섹션별로 정리하고 최종 비교나 코드를 위한 여유를 남기세요. 빠른 시작과 권장 사항에 제시된 출력 길이는 생성 지침이며, 서비스 전체에 적용되는 독립적인 최대 출력의 증거가 아닙니다. Qwen3 문서는 학습 길이 설명에서 thinking 모드의 도우미 메시지 길이 38,912토큰과 non-thinking 모드의 16,384토큰을 다루고, 더 긴 생성의 품질을 평가하도록 권장합니다. 이는 전체 컨텍스트 창과 별개이며 특정 엔드포인트의 고정 상한이 아닙니다. 카드는 기본 위치 할당 40,960토큰을 일반적인 프롬프트용 8,192와 출력용 32,768의 합으로도 설명합니다. 이는 제작사의 설정 지침이며, 네이티브 학습 컨텍스트나 엔드포인트 제한과는 별개입니다.
권장 thinking 샘플링은 temperature 0.6, top-p 0.95, top-k 20, min-p 0이며, 직접 모드는 0.7, 0.8, 20, 0을 사용합니다. Thinking 모드의 그리디 디코딩은 반복을 일으킬 수 있고, 더 강한 presence penalty는 언어 혼용을 만들 수 있습니다. 결과 표 다음에 바뀐 함수와 관련 사례를 제시하는 식으로 검토 가능한 최종 구조를 요청하세요. 수정안을 적용하기 전에 수치 결론을 확인하고 대상 환경에서 코드를 실행하며 도구 결과를 검토하세요. 이 평가에는 FP8 체크포인트의 정체성과 실행 환경에 대한 주의 사항이 계속 연결되어 있어야 합니다.
POST /v1/messagestextjson, sse| 필드 | 유형 | 요건 | 값과 한도 | 기본값 |
|---|---|---|---|---|
필드model | 유형string | 요건필수 | 값과 한도 qwen/qwen3-235b-a22b-fp8 | 기본값— |
필드messages | 유형message[] | 요건필수 | 값과 한도 | 기본값— |
필드messages[].role | 유형string | 요건필수 | 값과 한도 user, assistant | 기본값— |
필드messages[].content | 유형string | 요건필수 | 값과 한도 | 기본값— |
필드max_tokens | 유형integer | 요건필수 | 값과 한도 | 기본값— |
필드stream | 유형boolean | 요건선택 사항 | 값과 한도 | 기본값false |
텍스트 · UTF-8 텍스트
messages[].content 문자열
| 매개변수 | 명세 |
|---|---|
매개변수content_type | 명세application/json |
매개변수required | 명세model, messages, max_tokens |
매개변수optional_controls | 명세stream |
매개변수material_types | 명세text |
매개변수text_file_material | 명세실제 UTF-8 문서를 읽고 그 텍스트를 지정된 입력 또는 메시지 콘텐츠 문자열에 넣으세요. |
수명 주기: synchronous_or_streamed
요금 정보는 요청 옵션을 추가하지 않습니다. 지원되는 매개변수는 선택한 메서드에 표시됩니다.
| 설정 | 요금표 | 요금 |
|---|---|---|
| 설정토큰의 기본 단가 | 요금표기본 요금 | 요금 입력 · 입력 토큰 $0.0004 / 1K 토큰 출력 · 출력 토큰 $0.0016 / 1K 토큰 입력 · 캐시 읽기 $0 / 1K 토큰 입력 · 캐시 쓰기 $0 / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
Ailoot는 요청 전에 예상 금액을 미리 확보합니다. 결과를 받은 뒤 측정된 사용량을 기준으로 최종 요금을 정산합니다. 스트리밍 정산에는 최종 사용량 기록을 사용합니다. 금액 확보와 정산 방식 →
{\n "model": "qwen/qwen3-235b-a22b-fp8",\n "max_tokens": 128,\n "messages": [\n {\n "role": "user",\n "content": "Summarize the incident report."\n }\n ],\n "stream": false\n}set -eu\n: "${AILOOT_API_KEY:?Set your Ailoot API key}"\n: "${AILOOT_TEXT_FILE:?Set your actual UTF-8 document}"\nexport AILOOT_TEXT_FILE\npython3 - <<'PY_REQUEST'\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen/qwen3-235b-a22b-fp8', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nPath('request.json').write_text(json.dumps(payload, ensure_ascii=False), encoding='utf-8')\nPY_REQUEST\ncurl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/messages \\\n -H "x-api-key: $AILOOT_API_KEY" -H 'anthropic-version: 2023-06-01' -H 'Content-Type: application/json' \\\n --data-binary @request.json -D response-headers.txt -o result.json\npython3 - <<'PY_RESULT'\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nPY_RESULT\nimport json, os\nfrom pathlib import Path\n\nsource_file = Path(os.environ['AILOOT_TEXT_FILE'])\nif not source_file.is_file():\n raise SystemExit('Set AILOOT_TEXT_FILE to your actual UTF-8 document')\ntext = source_file.read_text(encoding='utf-8')\nif not text.strip():\n raise SystemExit('Choose a document containing text')\npayload = {'model': 'qwen/qwen3-235b-a22b-fp8', 'max_tokens': 128, 'messages': [{'role': 'user', 'content': 'Summarize the incident report.'}]}\npayload['messages'][0]['content'] = 'Summarize this material and quote supporting source passages.\\n\\n' + text\nfrom urllib.request import Request, urlopen\nfrom urllib.error import HTTPError\n\napi_key = os.environ['AILOOT_API_KEY']\nif not api_key.strip():\n raise SystemExit('Set AILOOT_API_KEY before making a request')\nheaders = {'x-api-key': 'PLACEHOLDER_KEY', 'anthropic-version': '2023-06-01', 'Content-Type': 'application/json'}\nheaders['x-api-key'] = api_key\nrequest = Request('https://api.ailoot.ai/v1/messages', data=json.dumps(payload, ensure_ascii=False).encode('utf-8'), headers=headers, method='POST')\ntry:\n with urlopen(request, timeout=120) as response:\n raw = response.read()\n Path('response-headers.txt').write_text(str(response.headers), encoding='utf-8')\nexcept HTTPError as error:\n Path('result.json').write_bytes(error.read())\n Path('response-headers.txt').write_text(str(error.headers), encoding='utf-8')\n raise\nPath('result.json').write_bytes(raw)\nimport json\nfrom pathlib import Path\n\nresult = json.loads(Path('result.json').read_text(encoding='utf-8'))\nprint(json.dumps(result, ensure_ascii=False, indent=2))\nJSON 또는 SSE
반환된 완전한 응답, 파일, 콘텐츠 부분을 모두 보관하세요.
모든 콘텐츠 블록, 사고 서명, 실제 도구 사용 ID를 보존하세요. 모든 SSE 블록 증분을 조합하세요. 첫 텍스트 블록이 전체 출력은 아닙니다.
요청/응답 ID와 헤더를 보존하세요. 텍스트 작업을 조회하는 범용 URL은 제공되지 않습니다.
| 필드 | 유형 |
|---|---|
필드id | 유형string |
필드model | 유형string |
필드content[] | 유형text|thinking|tool_use|other content block |
필드stop_reason | 유형string|null |
필드usage | 유형object |
| 응답 | 조건 | 다음 단계 |
|---|---|---|
응답400 · invalid_request_error | 조건필수 필드, 자료 표현 방식 또는 파라미터 값이 올바르지 않음 | 다음 단계새 생성 요청 전에 표시된 필드를 수정하세요. |
Ailoot Ultra qwen/qwen3-235b-a22b-fp8
위에 표시된 메서드 경로를 사용하세요.
영어 기술 예제
Compare two normalizers to a contract\n\nThe contract requires unique case-sensitive tags in first-occurrence order. Compare Python A: return sorted(set(tags)) with B: return list(dict.fromkeys(tags)). Input: ["red", "Blue", "red", "blue"]. Give a criterion table, select the compliant implementation and provide tests for order and case preservation. Do not alter the contract to fit either implementation.A two-implementation decision table, a selected implementation and two contract-focused tests.Check that sorting is recognized as an order violation and Blue remains distinct from blue.