Qwen: Qwen3 Embedding 4B

Qwen3-Embedding-4B는 Qwen의 임베딩 및 리랭킹 제품군에 속하는 4B 텍스트 임베딩 버전입니다. 밀집형 Qwen3 기반 모델을 바탕으로 텍스트 구간의 의미를 수치 표현으로 변환합니다. Qwen은 텍스트 검색, 코드 검색, 분류, 군집화, 병렬 텍스트 마이닝을 활용 분야로 제시합니다. 애플리케이션에서 관련 구절을 찾거나, 비슷한 기록을 묶거나, 서로 다른 언어의 텍스트를 비교해야 할 때 유용합니다. 모델의 출력은 임베딩 벡터이며, 대화형 응답이나 다시 작성한 문서가 아닙니다.

이 버전의 시퀀스 길이는 32K토큰이며, 임베딩 차원은 최대 2,560입니다. Matryoshka Representation Learning을 통해 32~2,560차원의 사용자 지정 출력을 지원합니다. 선택한 벡터 길이는 표현의 저장 및 비교 방식에 영향을 주므로, 하나의 컬렉션에서는 질의 벡터와 문서 벡터의 길이를 일관되게 유지하세요. Qwen3-Embedding-8B는 모델 크기가 다르고 최대 차원이 4,096입니다. 그 출력 크기나 8B 모델의 정체성을 이 4B 버전에 적용해서는 안 됩니다. 기존 인덱스는 자체적으로 선택한 표현 방식을 일관되게 유지해야 합니다.

제작사는 프로그래밍 언어를 포함해 100개가 넘는 언어를 지원하며, 다국어 검색, 언어 간 검색, 코드 검색을 제공한다고 설명합니다. 예를 들어 고객 도움말 검색에서는 사용자의 질문을 여러 언어로 작성된 구절과 비교한 뒤 주제가 맞는 원문 구절을 반환할 수 있습니다. 코드 검색에서는 자연어 설명을 관련 함수 및 함수 문서와 비교할 수 있습니다. 텍스트를 준비할 때는 의미 있는 제목, 분야별 용어, 식별자를 보존하고, 애플리케이션에서 일치하는 자료를 보여줄 수 있도록 벡터로 표현한 각 구절을 원본과 연결하세요.

Qwen3-Embedding-4B는 지시문을 반영합니다. Qwen은 각 질의에 의도한 검색 관계에 맞춘 한 문장짜리 작업 설명을 넣을 것을 권장하며, 다국어 환경에서는 영어 지시문을 권장합니다. 직접 실행 예제에서는 작업 설명 앞에 Instruct:를, 질의 텍스트 앞에 Query:를 배치합니다. 해당 검색 문서는 이 질의 지시문 없이 인코딩합니다. 실제 작업용 지시문에는 보고된 오류를 설명하는 문서 구절을 찾거나, 설명한 동작을 구현하는 소스 코드 발췌문을 찾도록 명시할 수 있습니다. 이는 모델에 답변 작성을 요청하는 대신 애플리케이션의 질문에 맞게 표현을 유도합니다.

공식 예제는 질의와 문서 텍스트를 인코딩하고 코사인 유사도로 임베딩을 비교하며, 마지막 토큰의 은닉 상태를 풀링한 뒤 정규화하는 방법을 보여줍니다. 이 저수준 예제에서는 선택한 8,192토큰 설정에 맞춰 입력을 잘라내며, 문서화된 모델 시퀀스 길이는 여전히 32K입니다. 긴 자료에서는 어떤 구절을 벡터로 표현할지 정하고, 잘라내는 과정에서 질의에 필요한 부분이 알림 없이 사라지지 않도록 하세요. 벡터를 안정적인 원본 참조와 함께 저장하고, 준비한 질의를 컬렉션과 비교한 뒤 연결된 구절을 유사도 순으로 반환하세요.

Qwen의 임베딩 모델은 듀얼 인코더 방식을 사용하며, 별도의 리랭킹 모델들은 크로스 인코더로 질의·문서 쌍을 평가합니다. 출시 설명에서는 이 모듈들을 함께 사용하는 방식을 소개합니다. 임베딩으로 초기 후보를 찾고, 리랭커로 그 순서를 정교하게 조정할 수 있습니다. Qwen3-Embedding-4B 자체는 단일 텍스트의 표현을 제공합니다. 그 벡터는 리랭커 점수, 검증된 사실 진술, 생성된 답변이 아닙니다. 최종 작업에서 검색한 자료를 바탕으로 질문에 답한다면, 선택한 원문 구절이 후속 단계에 전달되는 근거가 됩니다.