Intfloat: Multilingual-E5-Large
intfloat Multilingual-E5-Large는 24개 레이어로 구성된 모델로, 다국어 텍스트를 1024차원 벡터로 인코딩합니다. XLM-R의 100개 언어 범위를 지원하며, 모든 언어에서 영어 query/passage 접두사를 사용하고 입력을 512토큰에서 잘라냅니다.
모델 소개
이 설명은 모델의 기능을 다룹니다. Ailoot에서 사용할 수 있는 입력, 출력 및 옵션은 아래에 선택한 메서드별로 표시됩니다.
Multilingual-E5-Large는 intfloat의 다국어 밀집 텍스트 임베딩 모델로, 24개 레이어와 1024차원 출력을 제공합니다. XLM-RoBERTa Large로 초기화한 뒤 다국어 데이터로 추가 학습했습니다. 모델 카드는 XLM-R의 100개 언어 범위를 지원한다고 설명하면서도, 저자원 언어에서는 성능이 더 낮다고 밝힙니다. 벡터는 검색, 의미 비교, 수치형 특성을 사용하는 작업을 위해 텍스트를 표현합니다.
모든 언어에서 입력 역할 유지하기
학습에 사용된 접두사는 비영어 텍스트에서도 “query:”와 “passage:”입니다. 검색 질의와 코퍼스의 지문에는 각각 해당 역할을 사용합니다. 원문 표현은 본래 언어를 유지하되, 접두사는 이 영어 문자열 그대로 사용합니다. 대칭적 의미 유사도, 패러프레이즈 검색, 이중언어 병렬 문장 발굴 또는 특성 활용에는 제조사가 “query:”를 권장합니다.
실제 컬렉션에는 지원되는 여러 언어의 문서를 담을 수 있습니다. 각 지문의 언어, 원문, 출처 위치를 벡터와 함께 보관하세요. 영어 테스트 하나가 전체 컬렉션을 대표한다고 가정하지 말고, 이용자가 실제로 묻는 검색 질문을 준비하세요. 독자가 내용을 판단할 수 있도록 결과에는 실제 지문과 맥락이 반환되어야 합니다.
다국어 매칭 작업에서는 비교 목적을 명확히 유지하세요. 번역 후보 쌍을 비교하는 작업과 근거가 되는 지문을 찾는 질의는 준비 방식이 다릅니다. 모델의 역할 접두사 안내는 이러한 작업을 위한 구체적인 규칙을 제시합니다. 접두사를 생략하면 학습에 사용된 입력 패턴이 바뀌므로, 문서에서 설명한 방식과 동등하지 않습니다.
풀링과 벡터 비교
제조사의 예제는 어텐션 마스크로 패딩을 제외한 뒤 토큰 표현을 평균 내고 벡터를 정규화합니다. 정규화한 벡터의 내적은 코사인 유사도를 제공합니다. 1024차원 배열 하나는 준비된 텍스트 하나를 나타냅니다. 저장된 벡터에 정확한 모델과 준비 방식을 연결해 두어, 나중의 질의에서도 일치하는 표현을 사용하도록 하세요.
이 벡터는 후속 군집화나 분류 단계에 후보 순위 또는 특성을 제공할 수 있습니다. 원문을 번역하거나 답변을 작성하지는 않습니다. 검색 결과가 독자나 후속 RAG 생성 단계의 근거로 쓰이는 경우에는, 기반이 되는 지문 텍스트를 반환하세요.
학습과 언어 범위
모델 카드는 약한 지도 방식의 대조 사전학습에 이어 지도 미세조정을 수행했다고 설명합니다. 다국어 준비 데이터에는 제목–지문 쌍, 대화 쌍, 번역 쌍 등의 자료가 포함되며, 이후 단계에는 레이블이 있는 검색 및 언어 이해 데이터가 사용됩니다. 이는 의도된 텍스트 표현 작업을 설명할 뿐, 모든 언어에서 성능이 같다는 것을 입증하지는 않습니다.
제조사는 저자원 언어의 성능 저하를 한계로 명시합니다. 약어, 이름, 전문 용어를 포함해 컬렉션의 실제 언어와 표현을 확인하세요. 다국어라는 표시는 유용한 범위 설명이지만, 반환된 텍스트가 이용자와 작업에 관련 있는지는 여전히 살펴봐야 합니다.
길이와 유용한 결과
긴 입력은 최대 512토큰으로 잘립니다. 긴 문서는 역할 접두사와 관련 제목을 포함한, 의미적으로 연결된 지문으로 준비하세요. 정의와 단서는 영향을 주는 진술 바로 곁에 유지하고, 상위 문서 식별자와 원본 버전은 벡터 외부에 보관하세요.
제조사는 절댓값을 보편적인 신뢰도 척도로 취급하기보다 코사인 점수의 상대적 순서에 집중할 것을 권장합니다. 유용한 결과는 후보 지문 집합, 비교 가능한 텍스트 표현 또는 원본 레코드에 연결된 특성입니다. 이 정확한 모델은 영어 전용 E5 v2 체크포인트 및 지시 조정된 E5 변형과 별개입니다. 다른 모델이 마찬가지로 1024개 값을 반환하더라도 이 구분은 유지됩니다.
Ailoot Ultra · 임베딩 POST /v1/embeddings intfloat/multilingual-e5-large
intfloat/multilingual-e5-large
intfloat/multilingual-e5-large시작하기
intfloat Multilingual-E5-Large는 24개 레이어로 구성된 모델로, 다국어 텍스트를 1024차원 벡터로 인코딩합니다. XLM-R의 100개 언어 범위를 지원하며, 모든 언어에서 영어 query/passage 접두사를 사용하고 입력을 512토큰에서 잘라냅니다.
- 허용 입력
- 텍스트 · token_ids
- 결과
- embedding
Ailoot에서 사용 가능 · 입력 및 메서드
Ailoot Ultra · 임베딩 POST /v1/embeddings
- 입력
text,token_ids- 출력
embedding- 컨텍스트
- 512 tokens
- 출력 형식
- json
| 필드 | 유형 | 요건 | 값과 한도 | 기본값 |
|---|---|---|---|---|
필드model | 유형string | 요건필수 | 값과 한도 intfloat/multilingual-e5-large | 기본값— |
필드input | 유형string|string[]|integer[]|integer[][] | 요건필수 | 값과 한도 최소 항목 수: 1 조건: 비어 있지 않은 동일 형식의 배치입니다. 토큰 ID는 0 이상의 정수입니다. 입력 허용량: 최댓값: 512 · 텍스트 단위: UTF8 바이트 · 토큰 단위: 토큰 배열 요소 | 기본값— |
필드encoding_format | 유형string | 요건선택 사항 | 값과 한도 float | 기본값float |
필드dimensions | 유형integer | 요건지원되지 않음 | 값과 한도 최솟값: 1 | 기본값— |
필드user | 유형json_value | 요건선택 사항 | 값과 한도 조건: 원본에서 이 JSON 메타데이터 필드를 허용하며, 정확한 업스트림 동작은 모델별로 다릅니다. | 기본값— |
필드session_id | 유형json_value | 요건선택 사항 | 값과 한도 조건: 원본에서 이 JSON 메타데이터 필드를 허용하며, 정확한 업스트림 동작은 모델별로 다릅니다. | 기본값— |
필드trace | 유형json_value | 요건선택 사항 | 값과 한도 조건: 원본에서 이 JSON 메타데이터 필드를 허용하며, 정확한 업스트림 동작은 모델별로 다릅니다. | 기본값— |
필드provider | 유형object | 요건선택 사항 | 값과 한도 조건: provider.options가 거부됨 | 기본값— |
입력 자료 조합
text_to_embedding
메서드 매개변수와 수명 주기
| 매개변수 | 명세 |
|---|---|
매개변수content_type | 명세application/json |
매개변수required | 명세model, input |
매개변수input_shapes | 명세string, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
매개변수encoding_format | 명세float |
매개변수dimensions_override | 명세false |
매개변수max_input_budget_units | 명세512 |
매개변수multimodal_objects | 명세false |
매개변수material_types | 명세text, token_ids |
수명 주기: synchronous_json
모든 벡터의 인덱스와 차원을 보관하세요.
모델 이름이 멀티모달이어도 이 특정 경로에서 이미지 객체를 사용할 수 있는 것은 아닙니다.
요금
요금 정보는 요청 옵션을 추가하지 않습니다. 지원되는 매개변수는 선택한 메서드에 표시됩니다.
- 빠른 모드
- 표준 요금 빠른 모드를 선택한 경우
- Flex 모드
- 표준 요금 flex 모드를 선택한 경우
- 최대 추론 수준
- 표준 요금 최대 추론 수준에 default 조정값을 적용하는 경우
Ailoot 요금
설정별 가격
| 설정 | 요금표 | 요금 |
|---|---|---|
| 설정토큰의 기본 단가 | 요금표기본 요금 | 요금 입력 · 입력 토큰 $0.00002 / 1K 토큰 출력 · 출력 토큰 $0 / 1K 토큰 입력 · 캐시 읽기 — / 1K 토큰 입력 · 캐시 쓰기 — / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
Ailoot는 요청 전에 예상 금액을 미리 확보합니다. 결과를 받은 뒤 측정된 사용량을 기준으로 최종 요금을 정산합니다. 스트리밍 정산에는 최종 사용량 기록을 사용합니다. 금액 확보와 정산 방식 →
요청 예제
Ailoot Ultra · 임베딩
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/multilingual-e5-large", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/multilingual-e5-large',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
결과 수신 및 저장
Ailoot Ultra · 임베딩
json
완료된 결과 모두 보관
반환된 완전한 응답, 파일, 콘텐츠 부분을 모두 보관하세요.
모든 벡터를 인덱스와 함께 보관하세요. 벡터 수는 입력 수와 같아야 하며 차원은 일관되어야 합니다.
원래 응답을 확인해야 할 경우
임베딩 작업 엔드포인트는 추가되지 않습니다.
응답 필드
| 필드 | 유형 |
|---|---|
필드object | 유형string |
필드model | 유형string |
필드data[].index | 유형integer |
필드data[].embedding | 유형finite float[] |
필드usage | 유형object |
오류와 다음 단계
| 응답 | 조건 | 다음 단계 |
|---|---|---|
응답400 · invalid_request_error | 조건필수 필드, 자료 표현 방식 또는 파라미터 값이 올바르지 않음 | 다음 단계새 생성 요청 전에 표시된 필드를 수정하세요. |
별칭
모델 별칭
Ailoot Ultra intfloat/multilingual-e5-large
메서드 경로 별칭
위에 표시된 메서드 경로를 사용하세요.
관련 호출용 ID
FAQ · Intfloat: Multilingual-E5-Large
- 어떤 입력과 결과를 사용할 수 있나요?
POST /v1/embeddings·intfloat/multilingual-e5-large:text,token_ids→embedding- 요청은 어떤 필드를 사용하나요?
POST /v1/embeddings·intfloat/multilingual-e5-large:model,input,encoding_format,provider- 어떤 제한이 적용되나요?
POST /v1/embeddings·intfloat/multilingual-e5-large:ctx:512;input.budget.maximum:512(UTF8 바이트);input.min_items:1