Voyage AI: Voyage Context 3

Voyage Context 3는 문서 검색을 위해 맥락을 반영한 청크 임베딩을 생성합니다. 각 청크에 고유한 벡터를 부여하면서, 같은 문서에서 제공된 다른 청크도 고려합니다. 이를 통해 검색 시스템은 해당 구절의 표현과, 원본의 다른 곳에서 소개된 개체나 주제 같은 더 넓은 문서 맥락을 함께 얻습니다.

각 문서를 읽기 쉬운 텍스트 청크의 순서 있는 목록으로 준비합니다. 한 문서의 청크를 함께 묶고 원래 순서를 보존하세요. 개발사의 맥락 반영 워크플로에서는 각 내부 그룹에 하나의 원본 자료의 청크가 들어가며, 서로 다른 그룹은 서로 다른 원본 자료를 나타냅니다. 이 그룹 구성은 입력 의미의 일부로, 표현하려는 문서에 어떤 주변 텍스트가 속하는지 모델에 알려 줍니다.

유용한 사례로는 시작 부분에서 회사를 밝히고 뒤의 단락에서 그 회사의 성장을 설명하는 보고서가 있습니다. 그 회사의 성장을 검색하려면 특정 단락과 문서의 정체성 모두 필요합니다. 결과에서 구절을 표시하고 전체 원본에 연결할 수 있도록, 생성된 벡터와 함께 원래 청크 텍스트와 상위 문서 메타데이터를 유지하세요.

개발사의 리퍼런스는 요청 전체에 걸쳐 최대 120,000토큰, 입력 그룹 최대 1,000개, 청크 총합 최대 16,000개를 문서화합니다. 모델 가이드는 별도로 청크당 32,000토큰 창을 명시합니다. 자료를 준비할 때 이 범위를 구분하세요. 단일 청크의 한도와 전체 요청의 한도는 서로 다른 입력 크기를 설명합니다. 한 요청에서 모든 개별 청크를 각자의 최대치까지 채울 수 있다고 가정하지 말고, 원본을 나눈 뒤 합계를 확인합니다.

문서 검색에서는 그룹화한 구절을 문서 입력으로 지정합니다. 각 검색 질문은 별도의 쿼리 그룹으로 준비하세요. 개발사는 제공하는 문서 청크가 겹치지 않도록 권장합니다. 맥락을 반영한 표현이 주변 정보를 담으므로 모든 구절에 텍스트를 반복하지 않아도 됩니다. 색인을 기록할 때 문서 그룹, 청크 위치, 반환된 벡터 사이의 대응 관계를 유지합니다.

Voyage Context 3는 2,048, 1,024, 512, 256차원과 부동소수점, 8비트 정수, 이진 출력 선택지를 지원합니다. 색인 표현을 선택하고 같은 원본 문서 및 질문으로 평가하세요. 쿼리 표현과 저장된 벡터가 일관되도록 선택한 차원과 데이터 유형을 색인과 함께 유지합니다.

생성된 벡터는 구절 검색, 문서 탐색, 또는 보고서, 연구 논문, 계약서, 기술 매뉴얼을 다루는 도우미의 검색 단계에 사용할 수 있습니다. 결과는 초점이 분명한 구절을 가리키고, 원본 링크를 통해 문서의 다른 곳에 있는 정의와 단서 조건에 접근하게 할 수 있습니다. 벡터와 함께 문서 버전과 권한을 애플리케이션 메타데이터로 보존하세요.

구절의 세부 내용과 문서 수준의 맥락이 모두 필요한 질문을 테스트합니다. 서로 다른 원본의 비슷한 구절, 시작 부분에서만 소개되는 고유 개체, 여러 절에 걸쳐 근거가 나오는 질문을 포함하세요. 예상한 청크가 검색되는지, 애플리케이션이 해석에 충분한 주변 텍스트를 보여 주는지 확인합니다. 원본이 바뀌면 맥락을 반영한 청크들이 하나의 일관된 버전에 대응하도록 영향을 받는 문서 그룹을 의도적으로 다시 생성하세요.