bge-reranker-v2-m3

BGE Reranker v2 M3는 BGE-M3를 기반으로 구축한 다국어 관련성 모델입니다. 질의와 후보 구절을 함께 입력받아 둘의 관계에 대한 점수를 반환합니다. BAAI는 검색 애플리케이션이 기존 후보 목록을 정교하게 다듬어야 하는 중국어 및 영어 검색 등을 위한 효율적인 다국어 리랭커로 이 에디션을 포지셔닝합니다.

질의·구절 쌍의 관련성

크로스 인코더는 두 텍스트를 함께 처리하므로 관련성 점수를 생성하기 전에 내용이 상호작용할 수 있습니다. 이는 재사용 가능한 벡터 비교를 위해 텍스트를 각각 인코딩하는 임베딩 모델과 다릅니다. 리랭커의 출력은 문서 벡터나 글로 된 답변이 아닌 특정 쌍의 스칼라 점수입니다.

초기 검색에서 타당한 후보 구절을 선택한 뒤 모델을 사용하세요. 질문을 각 후보와 짝지어 결과 점수로 후보의 순서를 정하세요. 이렇게 하면 크로스 인코더에 대규모 컬렉션의 모든 구절을 살펴보게 하는 대신, 관리 가능한 후보 목록에 더 세밀한 비교를 집중할 수 있습니다.

v2 M3 에디션

제작사는 BGE-M3를 기반 모델로 명시하고 다국어 지원을 주요 기능으로 제시합니다. v2 리랭커 계열에서 M3는 효율적인 다국어 옵션입니다. Gemma 기반 변형과 레이어 선택 변형은 구현 선택이 다른 별도 모델입니다. 여기서 M3라는 이름은 리랭커가 원래 임베딩 모델의 밀집, 희소, 다중 벡터 임베딩을 반환한다는 뜻이 아닙니다.

애플리케이션에 필요한 결과를 선택할 때 이 구분이 중요합니다. 문서 컬렉션을 표현하고 검색하려면 임베딩 모델을 선택하세요. 이미 후보 텍스트가 있고 현재 질의와 가장 관련된 구절을 결정해야 할 때는 이 리랭커를 선택하세요.

유용하게 순위를 매길 수 있는 후보 준비하기

실제 질문과 후보를 해석하는 데 필요한 전체 텍스트를 제공하세요. 구절의 의미를 결정하는 제목이나 인접 정의를 보존하세요. 공개된 Transformers 예시에서는 잘라내기와 max_length=512를 적용해 질의와 구절을 함께 토큰화합니다. 이는 예시 설정이며 모델 전체에 적용되는 제한은 아닙니다. 선택한 쌍의 허용량 안에 질문과 필수 근거를 넣고 잘라내기로 무엇이 제거되는지 확인하세요. 질의와 같은 제품을 언급하는 결과라도 잘못된 작업이나 조건을 다룬다면 관련성이 없을 수 있습니다. 검색 품질을 평가할 때 이런 사례를 구분하는 예시를 준비하세요.

문서 어시스턴트에서는 후보 식별자를 텍스트와 함께 유지하고, 질문·구절 쌍에 점수를 매긴 뒤 선택한 원래 구절을 답변 단계로 전달하세요. 그러면 답변 모델은 출처 없는 관련성 점수 대신 근거를 받습니다. 이는 검색 워크플로의 예시입니다. 리랭커 자체는 외부 컬렉션을 검색하거나 답변을 작성하지 않습니다.

점수 읽기와 정규화

제조사는 원시 관련성 점수를 반환하며 값이 높을수록 더 가까운 일치를 뜻합니다. 문서화된 선택적 정규화는 시그모이드 함수를 적용해 점수를 0에서 1 사이로 변환합니다. 정규화 점수는 사용하기 편한 범위를 갖지만, 변환만으로 후보가 올바를 확률로 보정되는 것은 아닙니다.

실제 작업을 대표하는 질의·구절 쌍으로 순위 또는 필터링 임곗값을 선택하세요. 키워드는 같지만 다른 질문에 답하는 구절과, 표현은 달라도 관련성이 있는 구절을 포함하세요. 이를 통해 선택한 임곗값이 검색 대상 컬렉션에서 의미를 갖게 됩니다.

Ailoot API 프로젝트에서는 최종 컨텍스트에 무엇을 넣을지, 얼마나 많은 후보를 효율적으로 살펴볼 수 있을지 정의하세요. 유용한 결과는 다음 애플리케이션 단계를 위한 더 잘 정렬된 근거 집합입니다. 이 에디션의 관련성 출력을 문서 임베딩, 생성된 문장, 다른 리랭커에 문서화된 레이어 선택 제어와 구분하세요.