Thenlper: GTE-Base
Alibaba DAMO Academy GTE-base преобразует английский текст в векторы размерности 768 для поиска и оценки семантического сходства. Эта конкретная модель использует усредняющий пулинг, поддерживает последовательности до 512 токенов и документирует косинусное сравнение с необязательной нормализацией.
О модели
Описание раскрывает возможности модели. Доступные в Ailoot входные данные, результаты и параметры выбранного метода перечислены ниже.
GTE-base — модель General Text Embeddings базового размера, обученная Alibaba DAMO Academy. Этот энкодер английского текста преимущественно основан на архитектуре BERT и создаёт плотные векторы размерности 768. В обучении используется большой корпус пар, связанных релевантностью, из разных предметных областей; среди заявленных применений — информационный поиск, оценка семантического сходства текстов и повторное ранжирование текстов на основе эмбеддингов.
Подготовьте английские запросы и фрагменты
Используйте читаемый английский текст и для информационной потребности, и для материалов поиска. Например, запрос о замене изношенной детали можно сравнивать с короткими разделами по обслуживанию, описывающими критерии замены, этапы осмотра и инструкции по заказу. Сохраняйте название детали и условия, которые различают эти разделы.
Опубликованный пример напрямую кодирует вопросы и тексты-кандидаты без добавленной инструкции задачи. Сохраняйте этот способ подготовки единым для коллекции и последующих запросов. Храните исходный фрагмент и его идентификатор рядом с вектором, чтобы результат ранжирования мог показать представленную информацию.
Усредняющий пулинг и сравнение
Эталонный пример усредняет представления токенов модели с помощью маски внимания, исключая вклад позиций заполнения в результат. Затем он показывает необязательную L2-нормализацию и сравнивает нормализованные векторы через скалярное произведение. Отдельный пример использует косинусное сходство.
Выберите и сохраняйте единые настройки нормализации и сравнения для индексирования и поиска. Выход содержит 768 числовых компонентов; он не содержит сгенерированного ответа. Для этапа повторного ранжирования кандидатов кодируйте фрагменты-кандидаты той же моделью и упорядочивайте их по сходству с запросом. Это остаётся сравнением на основе эмбеддингов, а не заявлением о том, что модель совместно читает каждую пару «запрос — фрагмент» как кросс-энкодер.
Английский язык и входы до 512 токенов
Карточка этой конкретной модели ограничивает её английским текстом и указывает, что длинные входы усекаются до максимума в 512 токенов. Поэтому длинное руководство перед индексированием следует разделить на осмысленные разделы. Сохраняйте предупреждение, исключение или уточнение вместе с правилом, которое оно изменяет, когда эти детали нужны для понимания фрагмента.
Для запроса о периодичности обслуживания раздел с интервалом и условиями эксплуатации полезнее фрагмента, содержащего только число. Сохраняйте заголовок или обозначение оборудования, если они устраняют неоднозначность инструкции. Проверяйте длину токенизатором, а не полагайтесь на видимое количество слов.
Используйте исходные фрагменты, на которых основана оценка
Поиск возвращает кандидатов из индексированной коллекции. Проверяйте ведущие фрагменты применительно к конкретной задаче и сохраняйте их расположение в источниках при передаче на этап написания ответа RAG. Связанный фрагмент может описывать осмотр, не разрешая замену; это различие должно оставаться видимым в исходных материалах.
GTE-base отличается от GTE-large, создающей векторы размерности 1024, и от более поздних многоязычных версий GTE или версий с расширенным контекстом. Опубликованная идентичность модели определяет английский язык, представление из 768 компонентов и границу в 512 токенов. Используйте этот конкретный профиль с репрезентативными запросами и исходными записями при оценке поисковой коллекции.
Ailoot Ultra · Эмбеддинги POST /v1/embeddings thenlper/gte-base
thenlper/gte-baseНачало
Alibaba DAMO Academy GTE-base преобразует английский текст в векторы размерности 768 для поиска и оценки семантического сходства. Эта конкретная модель использует усредняющий пулинг, поддерживает последовательности до 512 токенов и документирует косинусное сравнение с необязательной нормализацией.
- Допустимые входные данные
- Текст · token_ids
- Результаты
- embedding
Доступно в Ailoot · входные данные и методы
Ailoot Ultra · Эмбеддинги POST /v1/embeddings
- Входные данные
text,token_ids- Результат
embedding- Выходной формат
- json
| Поле | Тип | Требование | Значения и ограничения | По умолчанию |
|---|---|---|---|---|
Полеmodel | Типstring | ТребованиеОбязательно | Значения и ограничения thenlper/gte-base | По умолчанию— |
Полеinput | Типstring|string[]|integer[]|integer[][] | ТребованиеОбязательно | Значения и ограничения Минимум элементов: 1 Условия: Непустой однородный пакет. ID токенов — неотрицательные целые числа. Входной бюджет: Максимум: 512 · Текстовая единица: байты UTF8 · Единица токенов: элементы массива токенов | По умолчанию— |
Полеencoding_format | Типstring | ТребованиеНеобязательно | Значения и ограничения float | По умолчаниюfloat |
Полеdimensions | Типinteger | ТребованиеНе поддерживается | Значения и ограничения Минимум: 1 | По умолчанию— |
Полеuser | Типjson_value | ТребованиеНеобязательно | Значения и ограничения Условия: Source допускает это поле метаданных JSON; точная семантика у исходного поставщика зависит от модели. | По умолчанию— |
Полеsession_id | Типjson_value | ТребованиеНеобязательно | Значения и ограничения Условия: Source допускает это поле метаданных JSON; точная семантика у исходного поставщика зависит от модели. | По умолчанию— |
Полеtrace | Типjson_value | ТребованиеНеобязательно | Значения и ограничения Условия: Source допускает это поле метаданных JSON; точная семантика у исходного поставщика зависит от модели. | По умолчанию— |
Полеprovider | Типobject | ТребованиеНеобязательно | Значения и ограничения Условия: provider.options отклоняется | По умолчанию— |
Сочетания входных материалов
text_to_embedding
Параметры и жизненный цикл метода
| Параметр | Контракт |
|---|---|
Параметрcontent_type | Контрактapplication/json |
Параметрrequired | Контрактmodel, input |
Параметрinput_shapes | Контрактstring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Параметрencoding_format | Контрактfloat |
Параметрdimensions_override | Контрактfalse |
Параметрmax_input_budget_units | Контракт512 |
Параметрmultimodal_objects | Контрактfalse |
Параметрmaterial_types | Контрактtext, token_ids |
Жизненный цикл: synchronous_json
Сохраняйте индекс и размерность каждого вектора.
Название мультимодальной модели не означает допуск объектов изображений на этом конкретном маршруте.
Тарифы
Тарифная справка не добавляет режимы запроса. Поддерживаемые параметры указаны для выбранного метода.
- Быстрый режим
- Не указано При выборе быстрого режима
- Режим flex
- Не указано При выборе режима flex
- Максимальная интенсивность рассуждений
- Не указано При максимальной интенсивности рассуждений с корректировкой по умолчанию (default)
Ставки Ailoot
Цены по конфигурациям
| Конфигурация | Шкала ставок | Плата |
|---|---|---|
| КонфигурацияБазовые ставки за токены | Шкала ставокБазовая ставка | Плата Вход · Входные токены $0.00001 / 1K токенов Выход · Выходные токены $0 / 1K токенов Вход · Чтение кэша — / 1K токенов Вход · Запись в кэш — / 1K токенов Вход · Запись в кэш, 1 час — / 1K токенов |
Ailoot резервирует расчётную сумму перед запросом. После получения результата списывает итоговую плату по измеренному расходу. Для окончательного списания за потоковый ответ используется итоговая запись расхода. Как работают резервирование и расчёт →
Примеры запросов
Ailoot Ultra · Эмбеддинги
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Получить и сохранить результаты
Ailoot Ultra · Эмбеддинги
json
Сохраняйте все готовые результаты
Сохраняйте каждый полностью полученный ответ, файл и элемент содержимого.
Сохраняйте каждый вектор с его индексом. Число векторов должно совпадать с числом входных элементов; размерности должны быть согласованы.
Если нужно проверить исходный ответ
Отдельный эндпоинт заданий эмбеддингов не вводится.
Поля ответа
| Поле | Тип |
|---|---|
Полеobject | Типstring |
Полеmodel | Типstring |
Полеdata[].index | Типinteger |
Полеdata[].embedding | Типfinite float[] |
Полеusage | Типobject |
Ошибки и дальнейшие шаги
| Ответ | Условие | Следующий шаг |
|---|---|---|
Ответ400 · invalid_request_error | УсловиеНеверные обязательные поля, представление материалов или значение параметра | Следующий шагИсправьте указанные поля перед новым запросом на создание. |
Псевдонимы
Псевдонимы моделей
Ailoot Ultra thenlper/gte-base
Псевдонимы путей метода
Используйте пути методов, указанные выше.
Связанные ID для вызова
FAQ · Thenlper: GTE-Base
- Какие входные данные и результаты доступны?
POST /v1/embeddings·thenlper/gte-base:text,token_ids→embedding- Какие поля использует запрос?
POST /v1/embeddings·thenlper/gte-base:model,input,encoding_format,provider- Какие ограничения действуют?
POST /v1/embeddings·thenlper/gte-base:input.budget.maximum:512(байты UTF8);input.min_items:1