Intfloat: E5-Base-v2
O intfloat E5-Base-v2 converte texto em inglês em embeddings de 768 dimensões com um codificador de 12 camadas. Os prefixos query/passage e uma janela de 512 tokens definem a sua preparação para pesquisa, comparação de paráfrases, agrupamento e características de texto.
Sobre o modelo
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
O E5-Base-v2 é o modelo de embeddings em inglês da intfloat, com doze camadas e uma representação de 768 dimensões. Transforma texto preparado num único vetor numérico para recuperação, comparação semântica ou utilização como características noutra tarefa. A versão Base v2 é distinta da edição Large v2, com vinte e quatro camadas e 1024 dimensões, e dos modelos E5 multilingues treinados separadamente.
Utilizar os prefixos de papel do treino
O E5 espera um papel no início da entrada. Na recuperação de passagens, uma pergunta começa com “query:” e a fonte que pode conter a resposta começa com “passage:”. O fabricante recomenda “query:” em ambos os lados para tarefas simétricas, como similaridade semântica e recuperação de paráfrases. Recomenda também esse prefixo quando os vetores vão servir de características para agrupamento ou classificação.
Por exemplo, uma coleção de comentários de clientes pode conter vários pedidos com redações diferentes para a mesma melhoria. Codifique esses registos com a preparação simétrica recomendada e, depois, compare ou agrupe os vetores resultantes. Guarde a redação original e o identificador do registo com cada representação, para que um grupo possa ser examinado como mensagens reais de clientes, e não como um conjunto inexplicado de números.
Numa coleção de pesquisa, prepare as perguntas e as passagens de origem nos papéis correspondentes. Uma consulta útil é “query: Which setting changes the notification frequency?” A passagem do corpus mantém a explicação e as respetivas condições relevantes. O prefixo faz parte da preparação com que o modelo foi treinado; o fabricante observa que omiti-lo reduz o desempenho.
Agregar e comparar a representação
O exemplo oficial calcula uma média das representações dos tokens que tem em conta a máscara de atenção, excluindo o preenchimento, e depois normaliza o vetor resultante. Um produto escalar entre embeddings normalizados dá a similaridade de cosseno. Os 768 valores de saída descrevem um texto; não são uma resposta, um rótulo de classe nem uma pontuação de reordenação de pares.
Num fluxo de trabalho de agrupamento, outra fase forma grupos a partir desses vetores. Num fluxo de trabalho de classificação, outra fase utiliza-os como características de entrada. Manter essa distinção torna o resultado mais fácil de interpretar: o embedding representa o registo, enquanto a tarefa a jusante determina um grupo ou um rótulo. Utilize um único modelo e uma única convenção de preparação de forma consistente para as representações que são comparadas.
Trabalhar em inglês e dentro de 512 tokens
A ficha do modelo indica que esta edição funciona apenas para inglês e trunca o texto longo em, no máximo, 512 tokens. Prepare passagens coerentes dentro desse intervalo, incluindo o prefixo de papel obrigatório. Uma avaliação, relatório ou manual extenso deve ser dividido em secções com significado, em vez de ser incorporado como uma entrada demasiado grande cujo final se perde.
Mantenha um título junto das frases que introduz e preserve a condição ou exceção que altera o significado de uma regra. Em registos curtos, como comentários de clientes, mantenha a mensagem completa quando couber. Um identificador da fonte e uma versão guardados junto do vetor permitem que uma atualização posterior da coleção substitua o registo correto.
Interpretar a similaridade para a tarefa
O fabricante explica que a ordem relativa das pontuações de cosseno é mais importante do que um valor absoluto. Um limiar de filtragem deve ser avaliado com os exemplos da própria coleção, e a similaridade vetorial não é uma probabilidade calibrada de um rótulo correspondente ou de uma resposta correta. Inspecione registos próximos e incompatibilidades conhecidas ao decidir como os vetores serão utilizados.
O resultado útil é um índice de pesquisa em inglês, um conjunto de comparação semântica ou características numéricas de texto associadas aos respetivos registos de origem. Este perfil Base v2 fornece as suas próprias dimensões, agregação e preparação de papéis; a forma do vetor ou a cobertura linguística de outra edição E5 não estabelece uma representação intercambiável.
Ailoot Ultra · Embeddings POST /v1/embeddings intfloat/e5-base-v2
intfloat/e5-base-v2Introdução
O intfloat E5-Base-v2 converte texto em inglês em embeddings de 768 dimensões com um codificador de 12 camadas. Os prefixos query/passage e uma janela de 512 tokens definem a sua preparação para pesquisa, comparação de paráfrases, agrupamento e características de texto.
- Entradas aceites
- Texto · token_ids
- Resultados
- embedding
Disponível no Ailoot · entradas e métodos
Ailoot Ultra · Embeddings POST /v1/embeddings
- Entrada
text,token_ids- Saída
embedding- Formato de saída
- json
| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites intfloat/e5-base-v2 | Predefinição— |
Campoinput | Tipostring|string[]|integer[]|integer[][] | RequisitoObrigatório | Valores e limites Número mínimo de elementos: 1 Condições: Lote homogéneo não vazio. Os IDs de tokens são números inteiros não negativos. Orçamento de entrada: Máximo: 512 · Unidade de texto: bytes UTF8 · Unidade de tokens: elementos do array de tokens | Predefinição— |
Campoencoding_format | Tipostring | RequisitoOpcional | Valores e limites float | Predefiniçãofloat |
Campodimensions | Tipointeger | RequisitoNão suportado | Valores e limites Mínimo: 1 | Predefinição— |
Campouser | Tipojson_value | RequisitoOpcional | Valores e limites Condições: A fonte permite este campo de metadados JSON; a semântica exata a montante depende do modelo. | Predefinição— |
Camposession_id | Tipojson_value | RequisitoOpcional | Valores e limites Condições: A fonte permite este campo de metadados JSON; a semântica exata a montante depende do modelo. | Predefinição— |
Campotrace | Tipojson_value | RequisitoOpcional | Valores e limites Condições: A fonte permite este campo de metadados JSON; a semântica exata a montante depende do modelo. | Predefinição— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores e limites Condições: provider.options rejeitado | Predefinição— |
Combinações de materiais de entrada
text_to_embedding
Parâmetros e ciclo de vida do método
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, input |
Parâmetroinput_shapes | Contratostring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parâmetroencoding_format | Contratofloat |
Parâmetrodimensions_override | Contratofalse |
Parâmetromax_input_budget_units | Contrato512 |
Parâmetromultimodal_objects | Contratofalse |
Parâmetromaterial_types | Contratotext, token_ids |
Ciclo de vida: synchronous_json
Guarde o índice e a dimensão de cada vetor.
O nome do modelo multimodal não permite objetos de imagem neste caminho exato.
Tarifários
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
- Modo rápido
- Não especificado Quando o modo rápido está selecionado
- Modo flex
- Não especificado Quando o modo flex está selecionado
- Esforço máximo de raciocínio
- Não especificado Quando o esforço máximo de raciocínio usa o ajuste predefinido (default)
Tarifas Ailoot
Preços por configuração
| Configuração | Tabela de tarifas | Custo |
|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Custo Entrada · Tokens de entrada $0.00001 / 1K tokens Saída · Tokens de saída $0 / 1K tokens Entrada · Leitura da cache — / 1K tokens Entrada · Escrita na cache — / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
Exemplos de pedidos
Ailoot Ultra · Embeddings
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "intfloat/e5-base-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='intfloat/e5-base-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Receber e guardar os resultados
Ailoot Ultra · Embeddings
json
Guardar todos os resultados concluídos
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Guarde cada vetor com o respetivo índice. O número de vetores tem de ser igual ao número de entradas; as dimensões têm de ser consistentes.
Se for necessário verificar a resposta original
Não é introduzido nenhum endpoint de tarefas de embeddings.
Campos da resposta
| Campo | Tipo |
|---|---|
Campoobject | Tipostring |
Campomodel | Tipostring |
Campodata[].index | Tipointeger |
Campodata[].embedding | Tipofinite float[] |
Campousage | Tipoobject |
Erros e passos seguintes
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Aliases
Aliases do modelo
Ailoot Ultra intfloat/e5-base-v2
Aliases dos caminhos dos métodos
Use os caminhos dos métodos indicados acima.
IDs de chamada relacionados
FAQ · Intfloat: E5-Base-v2
- Que entradas e resultados estão disponíveis?
POST /v1/embeddings·intfloat/e5-base-v2:text,token_ids→embedding- Que campos utiliza o pedido?
POST /v1/embeddings·intfloat/e5-base-v2:model,input,encoding_format,provider- Que limites se aplicam?
POST /v1/embeddings·intfloat/e5-base-v2:input.budget.maximum:512(bytes UTF8);input.min_items:1