Sentence Transformers: all-mpnet-base-v2
Sentence Transformers all-mpnet-base-v2는 검색, 군집화, 유사도 비교를 위해 문장과 짧은 문단을 768차원 벡터로 변환합니다. 공개된 방식은 평균 풀링과 L2 정규화를 사용하며, 기본적으로 384 워드피스에서 입력을 잘라냅니다.
모델 소개
이 설명은 모델의 기능을 다룹니다. Ailoot에서 사용할 수 있는 입력, 출력 및 옵션은 아래에 선택한 메서드별로 표시됩니다.
all-mpnet-base-v2는 문장과 짧은 문단을 768차원 밀집 벡터로 표현하는 Sentence Transformers 모델입니다. 10억 개 문장 쌍 컬렉션에서 대조 학습으로 MPNet 베이스 모델을 미세조정했습니다. 제조사는 정보 검색, 군집화, 문장 유사도를 의도된 활용처로 명시합니다.
문장이나 짧은 문단 인코딩하기
비교할 텍스트를 준비하고, 핵심 생각과 이를 구별하는 세부 정보를 유지하세요. 내부 문서 컬렉션에서는 짧은 섹션으로 장비 교체 요청 방법이나 정비 보고서에 포함해야 할 정보를 설명할 수 있습니다. 문서 제목과 출처 위치를 벡터와 함께 확인할 수 있도록 유지하세요.
같은 모델로 임베딩한 질의는 표현이 다르더라도 관련 섹션을 검색할 수 있습니다. 독자에게 필요한 실제 지침이 있는지 해당 섹션을 살펴보세요. 유사도 워크플로에서는 검색 후 후보 문장 자체를 비교하세요. 특히 한쪽에 다른 쪽에는 없는 예외나 조건이 있을 때 중요합니다.
평균 풀링과 정규화
참조 인코딩 예제는 어텐션 마스크로 패딩을 평균에서 제외하면서 문맥을 반영한 토큰 표현을 평균 냅니다. 그런 다음 결과 문장 임베딩을 L2 정규화합니다. 컬렉션과 후속 질의의 벡터를 생성할 때 두 단계를 모두 유지하세요.
각 벡터에는 768개 성분이 있습니다. 코사인 유사도로 정규화된 표현을 비교할 수 있으며, 원문은 결과의 근거를 제공합니다. 성분 수가 같다고 이 모델이 multi-qa-mpnet-base-dot-v1와 호환되는 것은 아닙니다. 그 별도 에디션은 내적 점수 계산을 위해 CLS 풀링과 비정규화 벡터를 명시합니다.
기본 잘림과 지문 준비
제조사는 384 워드피스를 넘는 입력이 기본적으로 잘린다고 설명합니다. 관련 섹션을 그 토크나이저 경계 안에 유지하세요. 긴 절차는 의미 있는 섹션 경계에서 나누고, 각 단계가 무엇에 적용되는지 설명할 만큼의 주변 맥락을 포함하세요. “5일 이내에 제출” 같은 조각에는 기한의 시작점이 되는 사건이나 절차가 필요합니다.
학습 절차는 시퀀스를 128토큰으로 제한했으며, 이는 공개된 384 워드피스 인코딩 기본값과 별개입니다. 긴 문단이나 컬렉션 고유의 어휘를 평가할 때에는 대표 자료를 사용하세요. 더 많은 텍스트가 입력에 들어간다고 모든 세부 정보가 검색 결과에 똑같이 영향을 주는 것은 아닙니다.
검색, 그룹화, 비교
검색에서는 순위 후보가 원래 섹션을 반환할 수 있도록 벡터–문서 연결을 유지하세요. RAG 워크플로에서는 선택된 섹션이 답변 작성 단계의 맥락이 됩니다. 모델은 수치 표현을 제공합니다. 출처가 있는 응답을 생성하거나 어떤 문서가 권위 있는지 결정하지는 않습니다.
군집화에서는 레이블을 부여하기 전에 제안된 각 그룹의 레코드를 비교하세요. 정비 메모 집합이 비슷한 표현을 쓰면서도 서로 다른 장치나 고장 조건을 가리킬 수 있습니다. 점수에만 의존하지 말고, 그 차이를 구별하는 세부 정보를 인코딩할 텍스트에 포함하고 반환된 자료에서 살펴보세요.
이 정확한 all-mpnet-base-v2 체크포인트는 고유한 평균 풀링, 정규화, 기본 잘림 설정을 갖춘 영어 문장 임베딩 프로필입니다. 색인된 컬렉션과 함께 이러한 설정을 유지하고, 작업에 중요한 원문 지문을 찾고 비교하는 데 도움이 되는 수단으로 벡터를 사용하세요.
Ailoot Ultra · 임베딩 POST /v1/embeddings sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2시작하기
Sentence Transformers all-mpnet-base-v2는 검색, 군집화, 유사도 비교를 위해 문장과 짧은 문단을 768차원 벡터로 변환합니다. 공개된 방식은 평균 풀링과 L2 정규화를 사용하며, 기본적으로 384 워드피스에서 입력을 잘라냅니다.
- 허용 입력
- 텍스트 · token_ids
- 결과
- embedding
Ailoot에서 사용 가능 · 입력 및 메서드
Ailoot Ultra · 임베딩 POST /v1/embeddings
- 입력
text,token_ids- 출력
embedding- 출력 형식
- json
| 필드 | 유형 | 요건 | 값과 한도 | 기본값 |
|---|---|---|---|---|
필드model | 유형string | 요건필수 | 값과 한도 sentence-transformers/all-mpnet-base-v2 | 기본값— |
필드input | 유형string|string[]|integer[]|integer[][] | 요건필수 | 값과 한도 최소 항목 수: 1 조건: 비어 있지 않은 동일 형식의 배치입니다. 토큰 ID는 0 이상의 정수입니다. 입력 허용량: 최댓값: 512 · 텍스트 단위: UTF8 바이트 · 토큰 단위: 토큰 배열 요소 | 기본값— |
필드encoding_format | 유형string | 요건선택 사항 | 값과 한도 float | 기본값float |
필드dimensions | 유형integer | 요건지원되지 않음 | 값과 한도 최솟값: 1 | 기본값— |
필드user | 유형json_value | 요건선택 사항 | 값과 한도 조건: 원본에서 이 JSON 메타데이터 필드를 허용하며, 정확한 업스트림 동작은 모델별로 다릅니다. | 기본값— |
필드session_id | 유형json_value | 요건선택 사항 | 값과 한도 조건: 원본에서 이 JSON 메타데이터 필드를 허용하며, 정확한 업스트림 동작은 모델별로 다릅니다. | 기본값— |
필드trace | 유형json_value | 요건선택 사항 | 값과 한도 조건: 원본에서 이 JSON 메타데이터 필드를 허용하며, 정확한 업스트림 동작은 모델별로 다릅니다. | 기본값— |
필드provider | 유형object | 요건선택 사항 | 값과 한도 조건: provider.options가 거부됨 | 기본값— |
입력 자료 조합
text_to_embedding
메서드 매개변수와 수명 주기
| 매개변수 | 명세 |
|---|---|
매개변수content_type | 명세application/json |
매개변수required | 명세model, input |
매개변수input_shapes | 명세string, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
매개변수encoding_format | 명세float |
매개변수dimensions_override | 명세false |
매개변수max_input_budget_units | 명세512 |
매개변수multimodal_objects | 명세false |
매개변수material_types | 명세text, token_ids |
수명 주기: synchronous_json
모든 벡터의 인덱스와 차원을 보관하세요.
모델 이름이 멀티모달이어도 이 특정 경로에서 이미지 객체를 사용할 수 있는 것은 아닙니다.
요금
요금 정보는 요청 옵션을 추가하지 않습니다. 지원되는 매개변수는 선택한 메서드에 표시됩니다.
- 빠른 모드
- 미지정 빠른 모드를 선택한 경우
- Flex 모드
- 미지정 flex 모드를 선택한 경우
- 최대 추론 수준
- 미지정 최대 추론 수준에 default 조정값을 적용하는 경우
Ailoot 요금
설정별 가격
| 설정 | 요금표 | 요금 |
|---|---|---|
| 설정토큰의 기본 단가 | 요금표기본 요금 | 요금 입력 · 입력 토큰 $0.00001 / 1K 토큰 출력 · 출력 토큰 $0 / 1K 토큰 입력 · 캐시 읽기 — / 1K 토큰 입력 · 캐시 쓰기 — / 1K 토큰 입력 · 캐시 쓰기, 1시간 — / 1K 토큰 |
Ailoot는 요청 전에 예상 금액을 미리 확보합니다. 결과를 받은 뒤 측정된 사용량을 기준으로 최종 요금을 정산합니다. 스트리밍 정산에는 최종 사용량 기록을 사용합니다. 금액 확보와 정산 방식 →
요청 예제
Ailoot Ultra · 임베딩
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-mpnet-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-mpnet-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
결과 수신 및 저장
Ailoot Ultra · 임베딩
json
완료된 결과 모두 보관
반환된 완전한 응답, 파일, 콘텐츠 부분을 모두 보관하세요.
모든 벡터를 인덱스와 함께 보관하세요. 벡터 수는 입력 수와 같아야 하며 차원은 일관되어야 합니다.
원래 응답을 확인해야 할 경우
임베딩 작업 엔드포인트는 추가되지 않습니다.
응답 필드
| 필드 | 유형 |
|---|---|
필드object | 유형string |
필드model | 유형string |
필드data[].index | 유형integer |
필드data[].embedding | 유형finite float[] |
필드usage | 유형object |
오류와 다음 단계
| 응답 | 조건 | 다음 단계 |
|---|---|---|
응답400 · invalid_request_error | 조건필수 필드, 자료 표현 방식 또는 파라미터 값이 올바르지 않음 | 다음 단계새 생성 요청 전에 표시된 필드를 수정하세요. |
별칭
모델 별칭
Ailoot Ultra sentence-transformers/all-mpnet-base-v2
메서드 경로 별칭
위에 표시된 메서드 경로를 사용하세요.
관련 호출용 ID
FAQ · Sentence Transformers: all-mpnet-base-v2
- 어떤 입력과 결과를 사용할 수 있나요?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:text,token_ids→embedding- 요청은 어떤 필드를 사용하나요?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:model,input,encoding_format,provider- 어떤 제한이 적용되나요?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:input.budget.maximum:512(UTF8 바이트);input.min_items:1