Sentence Transformers: all-mpnet-base-v2
Sentence Transformers all-mpnet-base-v2 преобразует предложения и короткие абзацы в 768-мерные векторы для поиска, кластеризации и оценки сходства. Опубликованный рецепт использует усредняющий пулинг и L2-нормализацию с обрезкой по умолчанию на 384 подсловных единицах.
О модели
Описание раскрывает возможности модели. Доступные в Ailoot входные данные, результаты и параметры выбранного метода перечислены ниже.
all-mpnet-base-v2 — модель Sentence Transformers для представления предложений и коротких абзацев как 768-мерных плотных векторов. Она дообучена на основе базовой модели MPNet методом контрастивного обучения на коллекции из миллиарда пар предложений. Производитель указывает поиск информации, кластеризацию и сходство предложений как целевые применения.
Кодируйте предложение или короткий абзац
Подготовьте текст, который следует сравнивать, сохраняя основную мысль и различающие детали. Для внутренней коллекции документов короткий раздел может описывать, как запросить замену оборудования или какую информацию должен содержать отчёт об обслуживании. Сохраняйте доступность названия документа и местоположения источника рядом с вектором.
Запрос с эмбеддингом, созданным той же моделью, может находить связанные разделы даже при различающихся формулировках. Проверяйте эти разделы на наличие реальной инструкции, нужной читателю. В процессе сравнения сходства после поиска сравнивайте сами кандидатные предложения, особенно если одно содержит исключение или условие, которого нет в другом.
Усредняющий пулинг и нормализация
Эталонный пример кодирования усредняет контекстные представления токенов с маской внимания, исключая заполнение из среднего. Затем он выполняет L2-нормализацию полученных эмбеддингов предложений. Сохраняйте оба этапа при создании векторов коллекции и последующих запросов.
Каждый вектор имеет 768 компонентов. Косинусное сходство позволяет сравнивать эти нормализованные представления, а исходный текст содержит основания результата. Общее число компонентов не делает модель совместимой с multi-qa-mpnet-base-dot-v1: то отдельное издание задаёт CLS-пулинг и ненормализованные векторы для оценивания скалярным произведением.
Обрезка по умолчанию и подготовка фрагментов
Производитель указывает, что вход длиннее 384 подсловных единиц по умолчанию обрезается. Удерживайте нужный раздел в этой границе токенизатора. Для длинной процедуры делите по смысловым границам разделов и включайте достаточно локального контекста, чтобы объяснить, к чему относится шаг. Фрагмент вроде «Отправьте в течение пяти дней» требует события или процесса, от которого начинается срок.
Процедура обучения ограничивала последовательности 128 токенами; это отдельно от опубликованной настройки кодирования по умолчанию на 384 подсловные единицы. Используйте репрезентативные материалы при оценке более длинных абзацев или специальной лексики коллекции. То, что больше текста помещается во вход, не устанавливает равного влияния каждой детали на результат поиска.
Поиск, группировка и сравнение
Для поиска сохраняйте связь вектора с документом, чтобы ранжированные кандидаты возвращали исходные разделы. В процессе RAG выбранные разделы становятся контекстом этапа подготовки ответа. Модель предоставляет числовые представления; она не генерирует ответ со ссылками на источники и не решает, какой документ считать авторитетным.
Для кластеризации сравнивайте записи каждой предлагаемой группы до присвоения меток. Набор заметок об обслуживании может содержать похожий язык, но относиться к разным устройствам или условиям отказа. Включайте эти различающие детали в кодируемый текст и проверяйте их в возвращённом материале вместо опоры только на оценку.
Эта конкретная контрольная точка all-mpnet-base-v2 — англоязычный профиль эмбеддингов предложений с собственными настройками усредняющего пулинга, нормализации и обрезки по умолчанию. Храните эти настройки вместе с индексированной коллекцией и используйте векторы как помощь в поиске и сравнении исходных фрагментов, важных для задачи.
Ailoot Ultra · Эмбеддинги POST /v1/embeddings sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2
sentence-transformers/all-mpnet-base-v2Начало
Sentence Transformers all-mpnet-base-v2 преобразует предложения и короткие абзацы в 768-мерные векторы для поиска, кластеризации и оценки сходства. Опубликованный рецепт использует усредняющий пулинг и L2-нормализацию с обрезкой по умолчанию на 384 подсловных единицах.
- Допустимые входные данные
- Текст · token_ids
- Результаты
- embedding
Доступно в Ailoot · входные данные и методы
Ailoot Ultra · Эмбеддинги POST /v1/embeddings
- Входные данные
text,token_ids- Результат
embedding- Выходной формат
- json
| Поле | Тип | Требование | Значения и ограничения | По умолчанию |
|---|---|---|---|---|
Полеmodel | Типstring | ТребованиеОбязательно | Значения и ограничения sentence-transformers/all-mpnet-base-v2 | По умолчанию— |
Полеinput | Типstring|string[]|integer[]|integer[][] | ТребованиеОбязательно | Значения и ограничения Минимум элементов: 1 Условия: Непустой однородный пакет. ID токенов — неотрицательные целые числа. Входной бюджет: Максимум: 512 · Текстовая единица: байты UTF8 · Единица токенов: элементы массива токенов | По умолчанию— |
Полеencoding_format | Типstring | ТребованиеНеобязательно | Значения и ограничения float | По умолчаниюfloat |
Полеdimensions | Типinteger | ТребованиеНе поддерживается | Значения и ограничения Минимум: 1 | По умолчанию— |
Полеuser | Типjson_value | ТребованиеНеобязательно | Значения и ограничения Условия: Source допускает это поле метаданных JSON; точная семантика у исходного поставщика зависит от модели. | По умолчанию— |
Полеsession_id | Типjson_value | ТребованиеНеобязательно | Значения и ограничения Условия: Source допускает это поле метаданных JSON; точная семантика у исходного поставщика зависит от модели. | По умолчанию— |
Полеtrace | Типjson_value | ТребованиеНеобязательно | Значения и ограничения Условия: Source допускает это поле метаданных JSON; точная семантика у исходного поставщика зависит от модели. | По умолчанию— |
Полеprovider | Типobject | ТребованиеНеобязательно | Значения и ограничения Условия: provider.options отклоняется | По умолчанию— |
Сочетания входных материалов
text_to_embedding
Параметры и жизненный цикл метода
| Параметр | Контракт |
|---|---|
Параметрcontent_type | Контрактapplication/json |
Параметрrequired | Контрактmodel, input |
Параметрinput_shapes | Контрактstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Параметрencoding_format | Контрактfloat |
Параметрdimensions_override | Контрактfalse |
Параметрmax_input_budget_units | Контракт512 |
Параметрmultimodal_objects | Контрактfalse |
Параметрmaterial_types | Контрактtext, token_ids |
Жизненный цикл: synchronous_json
Сохраняйте индекс и размерность каждого вектора.
Название мультимодальной модели не означает допуск объектов изображений на этом конкретном маршруте.
Тарифы
Тарифная справка не добавляет режимы запроса. Поддерживаемые параметры указаны для выбранного метода.
- Быстрый режим
- Не указано При выборе быстрого режима
- Режим flex
- Не указано При выборе режима flex
- Максимальная интенсивность рассуждений
- Не указано При максимальной интенсивности рассуждений с корректировкой по умолчанию (default)
Ставки Ailoot
Цены по конфигурациям
| Конфигурация | Шкала ставок | Плата |
|---|---|---|
| КонфигурацияБазовые ставки за токены | Шкала ставокБазовая ставка | Плата Вход · Входные токены $0.00001 / 1K токенов Выход · Выходные токены $0 / 1K токенов Вход · Чтение кэша — / 1K токенов Вход · Запись в кэш — / 1K токенов Вход · Запись в кэш, 1 час — / 1K токенов |
Ailoot резервирует расчётную сумму перед запросом. После получения результата списывает итоговую плату по измеренному расходу. Для окончательного списания за потоковый ответ используется итоговая запись расхода. Как работают резервирование и расчёт →
Примеры запросов
Ailoot Ultra · Эмбеддинги
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/all-mpnet-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/all-mpnet-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Получить и сохранить результаты
Ailoot Ultra · Эмбеддинги
json
Сохраняйте все готовые результаты
Сохраняйте каждый полностью полученный ответ, файл и элемент содержимого.
Сохраняйте каждый вектор с его индексом. Число векторов должно совпадать с числом входных элементов; размерности должны быть согласованы.
Если нужно проверить исходный ответ
Отдельный эндпоинт заданий эмбеддингов не вводится.
Поля ответа
| Поле | Тип |
|---|---|
Полеobject | Типstring |
Полеmodel | Типstring |
Полеdata[].index | Типinteger |
Полеdata[].embedding | Типfinite float[] |
Полеusage | Типobject |
Ошибки и дальнейшие шаги
| Ответ | Условие | Следующий шаг |
|---|---|---|
Ответ400 · invalid_request_error | УсловиеНеверные обязательные поля, представление материалов или значение параметра | Следующий шагИсправьте указанные поля перед новым запросом на создание. |
Псевдонимы
Псевдонимы моделей
Ailoot Ultra sentence-transformers/all-mpnet-base-v2
Псевдонимы путей метода
Используйте пути методов, указанные выше.
Связанные ID для вызова
FAQ · Sentence Transformers: all-mpnet-base-v2
- Какие входные данные и результаты доступны?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:text,token_ids→embedding- Какие поля использует запрос?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:model,input,encoding_format,provider- Какие ограничения действуют?
POST /v1/embeddings·sentence-transformers/all-mpnet-base-v2:input.budget.maximum:512(байты UTF8);input.min_items:1