Thenlper: GTE-Base

Alibaba DAMO Academy GTE-base gera embeddings de texto em inglês em vetores de 768 dimensões para recuperação e similaridade semântica. O modelo exato utiliza pooling por média, suporta sequências de até 512 tokens e documenta comparação do tipo cosseno com normalização opcional.

Ailoot Ultra · Embeddings POST /v1/embeddings thenlper/gte-base

Sobre o modelo

Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.

GTE-base é o modelo General Text Embeddings de tamanho base treinado pela Alibaba DAMO Academy. Este codificador de texto em inglês é principalmente baseado no framework BERT e produz vetores densos de 768 dimensões. O seu treino utiliza um grande corpus de pares de relevância em vários domínios, estando a recuperação de informação, a similaridade semântica textual e a reordenação de textos baseada em embeddings entre as aplicações indicadas.

Prepare consultas e passagens em inglês

Utilize texto legível em inglês tanto para a necessidade de informação como para o material a pesquisar. Por exemplo, uma consulta sobre a substituição de um componente gasto pode ser comparada com secções curtas de manutenção que descrevam critérios de substituição, etapas de inspeção e instruções de encomenda. Conserve o nome do componente e as condições que distinguem essas secções.

O exemplo publicado codifica diretamente perguntas e texto candidato, sem uma instrução de tarefa acrescentada. Mantenha essa preparação consistente na coleção e nas consultas posteriores. Guarde a passagem original e o respetivo identificador junto do vetor, para que um resultado ordenado possa mostrar a informação representada.

Pooling por média e comparação

A receita de referência calcula a média das representações dos tokens do modelo utilizando a máscara de atenção, impedindo que as posições de preenchimento contribuam para o resultado. Depois mostra normalização L2 opcional e compara os vetores normalizados através do respetivo produto escalar. Um exemplo separado utiliza similaridade do cosseno.

Escolha e conserve uma configuração consistente de normalização e comparação para indexação e recuperação. A saída contém 768 componentes numéricos; não contém uma resposta gerada. Numa etapa de reordenação de candidatos, codifique as passagens candidatas com o mesmo modelo e ordene-as pela sua similaridade à consulta. Isto continua a ser comparação baseada em embeddings, em vez de uma alegação de que o modelo lê conjuntamente cada par de consulta e passagem como um cross-encoder.

Âmbito em inglês e entradas de 512 tokens

A ficha exata limita este modelo a texto em inglês e indica que entradas longas são truncadas a um máximo de 512 tokens. Um manual longo deve, por isso, tornar-se um conjunto de secções significativas antes da indexação. Mantenha um aviso, exceção ou ressalva junto da regra que modifica sempre que esses detalhes sejam necessários para interpretar a passagem.

Para uma consulta sobre intervalos de manutenção, uma secção que contenha o intervalo e a condição de funcionamento é mais útil do que um fragmento apenas com um número. Preserve o título ou a identidade do equipamento quando desambigua a instrução. Verifique o comprimento no tokenizador, em vez de depender do número visível de palavras.

Utilize as passagens de origem por trás da pontuação

A recuperação devolve candidatos da coleção indexada. Examine as primeiras passagens quanto à tarefa exata e conserve as suas localizações de origem ao passá-las para uma etapa de redação de resposta RAG. Uma passagem relacionada pode abordar inspeção sem autorizar substituição; essa distinção tem de continuar visível no material de origem.

GTE-base é distinto de GTE-large, que produz vetores de 1024 dimensões, e de edições GTE multilingues ou de contexto alargado posteriores. A sua identidade de modelo publicada define o âmbito em inglês, a representação de 768 componentes e o limite de 512 tokens. Utilize este perfil exato com consultas e registos de origem representativos ao avaliar uma coleção de recuperação.

Ailoot Ultra · Embeddings POST /v1/embeddings thenlper/gte-base

thenlper/gte-base

Thenlper /thenlper/gte-base

Introdução

Entradas aceites: Texto · token_ids
Resultados: embedding

Disponível no Ailoot · entradas e métodos

Ailoot Ultra · Embeddings POST /v1/embeddings

Entrada: text, token_ids
Saída: embedding
Formato de saída: json

Campo	Tipo	Requisito	Valores e limites	Predefinição
Campo`model`	Tipo`string`	RequisitoObrigatório	Valores e limites thenlper/gte-base	Predefinição—
Campo`input`	Tipo`string\|string[]\|integer[]\|integer[][]`	RequisitoObrigatório	Valores e limites Número mínimo de elementos: 1 Condições: Lote homogéneo não vazio. Os IDs de tokens são números inteiros não negativos. Orçamento de entrada: Máximo: 512 · Unidade de texto: bytes UTF8 · Unidade de tokens: elementos do array de tokens	Predefinição—
Campo`encoding_format`	Tipo`string`	RequisitoOpcional	Valores e limites float	Predefiniçãofloat
Campo`dimensions`	Tipo`integer`	RequisitoNão suportado	Valores e limites Mínimo: 1	Predefinição—
Campo`user`	Tipo`json_value`	RequisitoOpcional	Valores e limites Condições: A fonte permite este campo de metadados JSON; a semântica exata a montante depende do modelo.	Predefinição—
Campo`session_id`	Tipo`json_value`	RequisitoOpcional	Valores e limites Condições: A fonte permite este campo de metadados JSON; a semântica exata a montante depende do modelo.	Predefinição—
Campo`trace`	Tipo`json_value`	RequisitoOpcional	Valores e limites Condições: A fonte permite este campo de metadados JSON; a semântica exata a montante depende do modelo.	Predefinição—
Campo`provider`	Tipo`object`	RequisitoOpcional	Valores e limites Condições: provider.options rejeitado	Predefinição—

Combinações de materiais de entrada

text_to_embedding

Parâmetros e ciclo de vida do método

Parâmetro	Contrato
Parâmetro`content_type`	Contratoapplication/json
Parâmetro`required`	Contratomodel, input
Parâmetro`input_shapes`	Contratostring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[]
Parâmetro`encoding_format`	Contratofloat
Parâmetro`dimensions_override`	Contratofalse
Parâmetro`max_input_budget_units`	Contrato512
Parâmetro`multimodal_objects`	Contratofalse
Parâmetro`material_types`	Contratotext, token_ids

Ciclo de vida: synchronous_json

Guarde o índice e a dimensão de cada vetor.

O nome do modelo multimodal não permite objetos de imagem neste caminho exato.

Tarifários

As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.

Modo rápido: Não especificado Quando o modo rápido está selecionado
Modo flex: Não especificado Quando o modo flex está selecionado
Esforço máximo de raciocínio: Não especificado Quando o esforço máximo de raciocínio usa o ajuste predefinido (default)

Tarifas Ailoot

Preços por configuração

Configuração	Tabela de tarifas	Custo
ConfiguraçãoTarifas base dos tokens	Tabela de tarifasTarifa base	Custo Entrada · Tokens de entrada $0.00001 / 1K tokens Saída · Tokens de saída $0 / 1K tokens Entrada · Leitura da cache — / 1K tokens Entrada · Escrita na cache — / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens

O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →

Exemplos de pedidos

Ailoot Ultra · Embeddings

curlPython SDK

set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "thenlper/gte-base", "input": ["First document", "Second document"]}')

Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
  -H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
  --data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT

from openai import OpenAI
import os

client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='thenlper/gte-base',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)

Receber e guardar os resultados

Ailoot Ultra · Embeddings

json

Guardar todos os resultados concluídos

Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.

Guarde cada vetor com o respetivo índice. O número de vetores tem de ser igual ao número de entradas; as dimensões têm de ser consistentes.

Se for necessário verificar a resposta original

Não é introduzido nenhum endpoint de tarefas de embeddings.

Campos da resposta

Campo	Tipo
Campo`object`	Tipostring
Campo`model`	Tipostring
Campo`data[].index`	Tipointeger
Campo`data[].embedding`	Tipofinite float[]
Campo`usage`	Tipoobject

Erros e passos seguintes

Resposta	Condição	Passo seguinte
Resposta400 · `invalid_request_error`	CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos	Passo seguinteCorrija os campos indicados antes de um novo pedido de criação.

Aliases

Aliases do modelo

Ailoot Ultra thenlper/gte-base

Aliases dos caminhos dos métodos

Use os caminhos dos métodos indicados acima.

IDs de chamada relacionados

thenlper/gte-base

FAQ · Thenlper: GTE-Base

Que entradas e resultados estão disponíveis?: POST /v1/embeddings · thenlper/gte-base: text, token_ids → embedding
Que campos utiliza o pedido?: POST /v1/embeddings · thenlper/gte-base: model, input, encoding_format, provider
Que limites se aplicam?: POST /v1/embeddings · thenlper/gte-base: input.budget.maximum: 512 (bytes UTF8); input.min_items: 1

Thenlper: GTE-Base