Sentence Transformers: paraphrase-MiniLM-L6-v2
Sentence Transformers paraphrase-MiniLM-L6-v2 converte frases e parágrafos curtos em vetores de 384 dimensões para pesquisa semântica e agrupamento. A sua configuração publicada utiliza mean pooling e uma definição de sequência de 128 tokens.
Sobre o modelo
Esta descrição apresenta as capacidades do modelo. As entradas, saídas e opções disponíveis no Ailoot para o método selecionado estão indicadas abaixo.
paraphrase-MiniLM-L6-v2 é um modelo de embeddings de Sentence Transformers para frases e parágrafos curtos. Converte cada texto num espaço vetorial denso de 384 dimensões, estando a pesquisa semântica e o agrupamento entre as tarefas indicadas pelo fabricante. A arquitetura publicada combina um transformer com mean pooling; o comprimento de sequência configurado é de 128 tokens.
Represente a passagem que pretende comparar
Prepare a frase ou o parágrafo curto real, mantendo intactos o tema e as condições importantes. Uma coleção prática pode conter perguntas formuladas de maneiras diferentes ou descrições breves de assuntos relacionados. Gere o embedding de cada registo e conserve a sua formulação original e o identificador, para que uma comparação posterior possa devolver o próprio texto.
Por exemplo, várias perguntas de ajuda podem descrever a mesma dificuldade com termos diferentes. Uma etapa de similaridade pode aproximar esses candidatos, após o que a sua formulação pode ser examinada para identificar o problema real. O embedding é a representação numérica utilizada nessa comparação; não escreve, por si só, uma paráfrase nem atribui uma etiqueta final de agrupamento.
Mean pooling e utilização dos vetores
O exemplo de codificação direta do fabricante tem em conta a máscara de atenção ao calcular a média das representações dos tokens, excluindo as posições de preenchimento. A sua arquitetura seleciona explicitamente mean pooling e não seleciona CLS nem max pooling. Mantenha essa receita de pooling associada ao modelo ao preparar vetores comparáveis.
Cada representação devolvida tem 384 componentes. Uma etapa de indexação ou agrupamento trabalha com esses vetores utilizando uma configuração de similaridade escolhida, enquanto o registo de origem subjacente continua disponível para revisão. Utilize o mesmo modelo, preparação de entrada e definições de comparação em todos os elementos comparados. Outro modelo que devolva 384 valores não pertence, apenas por ter esse formato, ao mesmo espaço de embeddings.
Entradas curtas na configuração publicada
A configuração de referência de Sentence Transformer utiliza um comprimento máximo de sequência de 128 tokens. Prepare uma fonte longa como unidades curtas e coerentes, em vez de um único parágrafo demasiado grande. Uma frase que contém uma regra pode precisar da exceção na frase seguinte; mantenha essa pequena unidade junta quando couber. Uma contagem de palavras ou caracteres não determina diretamente o comprimento em tokens.
Num conjunto de descrições curtas, preserve os nomes e as propriedades distintivas que importam para a comparação. Um registo que contenha apenas uma categoria vaga pode ser difícil de separar de outros registos desse tipo. Guarde a associação à fonte fora do vetor, para que um candidato devolvido possa ser comparado com o material original.
Resultados de pesquisa e agrupamento
Na pesquisa semântica, represente a consulta e o material do corpus com este mesmo modelo e devolva os registos candidatos com o respetivo texto de origem. No agrupamento, outra etapa forma grupos a partir dos vetores. Examine os registos próximos de uma fronteira entre grupos antes de utilizar o agrupamento como decisão de produto ou etiqueta automática.
A saída útil é uma representação compacta de texto curto ligada ao seu registo original. Este checkpoint exato paraphrase-MiniLM-L6-v2 tem a sua própria configuração de pooling e sequência. As variantes all-MiniLM e paraphrase multilingues são perfis de modelo separados; o nome MiniLM em comum não implica o mesmo treino, âmbito linguístico ou definições de entrada.
Ailoot Ultra · Embeddings POST /v1/embeddings sentence-transformers/paraphrase-minilm-l6-v2
sentence-transformers/paraphrase-minilm-l6-v2
sentence-transformers/paraphrase-minilm-l6-v2Introdução
Sentence Transformers paraphrase-MiniLM-L6-v2 converte frases e parágrafos curtos em vetores de 384 dimensões para pesquisa semântica e agrupamento. A sua configuração publicada utiliza mean pooling e uma definição de sequência de 128 tokens.
- Entradas aceites
- Texto · token_ids
- Resultados
- embedding
Disponível no Ailoot · entradas e métodos
Ailoot Ultra · Embeddings POST /v1/embeddings
- Entrada
text,token_ids- Saída
embedding- Formato de saída
- json
| Campo | Tipo | Requisito | Valores e limites | Predefinição |
|---|---|---|---|---|
Campomodel | Tipostring | RequisitoObrigatório | Valores e limites sentence-transformers/paraphrase-minilm-l6-v2 | Predefinição— |
Campoinput | Tipostring|string[]|integer[]|integer[][] | RequisitoObrigatório | Valores e limites Número mínimo de elementos: 1 Condições: Lote homogéneo não vazio. Os IDs de tokens são números inteiros não negativos. Orçamento de entrada: Máximo: 512 · Unidade de texto: bytes UTF8 · Unidade de tokens: elementos do array de tokens | Predefinição— |
Campoencoding_format | Tipostring | RequisitoOpcional | Valores e limites float | Predefiniçãofloat |
Campodimensions | Tipointeger | RequisitoNão suportado | Valores e limites Mínimo: 1 | Predefinição— |
Campouser | Tipojson_value | RequisitoOpcional | Valores e limites Condições: A fonte permite este campo de metadados JSON; a semântica exata a montante depende do modelo. | Predefinição— |
Camposession_id | Tipojson_value | RequisitoOpcional | Valores e limites Condições: A fonte permite este campo de metadados JSON; a semântica exata a montante depende do modelo. | Predefinição— |
Campotrace | Tipojson_value | RequisitoOpcional | Valores e limites Condições: A fonte permite este campo de metadados JSON; a semântica exata a montante depende do modelo. | Predefinição— |
Campoprovider | Tipoobject | RequisitoOpcional | Valores e limites Condições: provider.options rejeitado | Predefinição— |
Combinações de materiais de entrada
text_to_embedding
Parâmetros e ciclo de vida do método
| Parâmetro | Contrato |
|---|---|
Parâmetrocontent_type | Contratoapplication/json |
Parâmetrorequired | Contratomodel, input |
Parâmetroinput_shapes | Contratostring, string[], nonnegative_integer_token_array, nonnegative_integer_token_array[] |
Parâmetroencoding_format | Contratofloat |
Parâmetrodimensions_override | Contratofalse |
Parâmetromax_input_budget_units | Contrato512 |
Parâmetromultimodal_objects | Contratofalse |
Parâmetromaterial_types | Contratotext, token_ids |
Ciclo de vida: synchronous_json
Guarde o índice e a dimensão de cada vetor.
O nome do modelo multimodal não permite objetos de imagem neste caminho exato.
Tarifários
As referências tarifárias não acrescentam opções ao pedido. Os parâmetros suportados constam do método selecionado.
- Modo rápido
- Não especificado Quando o modo rápido está selecionado
- Modo flex
- Não especificado Quando o modo flex está selecionado
- Esforço máximo de raciocínio
- Não especificado Quando o esforço máximo de raciocínio usa o ajuste predefinido (default)
Tarifas Ailoot
Preços por configuração
| Configuração | Tabela de tarifas | Custo |
|---|---|---|
| ConfiguraçãoTarifas base dos tokens | Tabela de tarifasTarifa base | Custo Entrada · Tokens de entrada $0.00001 / 1K tokens Saída · Tokens de saída $0 / 1K tokens Entrada · Leitura da cache — / 1K tokens Entrada · Escrita na cache — / 1K tokens Entrada · Escrita na cache, 1 hora — / 1K tokens |
O Ailoot reserva um montante estimado antes de um pedido. Após o resultado, liquida o custo final com base na utilização medida. No streaming, a liquidação usa o registo final de utilização. Como funcionam a reserva e a liquidação →
Exemplos de pedidos
Ailoot Ultra · Embeddings
set -eu
: "${AILOOT_API_KEY:?Set your Ailoot API key}"
python3 - <<'PY_REQUEST'
import json,os
from pathlib import Path
p=json.loads('{"model": "sentence-transformers/paraphrase-minilm-l6-v2", "input": ["First document", "Second document"]}')
Path("request.json").write_text(json.dumps(p,ensure_ascii=False))
PY_REQUEST
curl --fail-with-body --silent --show-error https://api.ailoot.ai/v1/embeddings \
-H "Authorization: Bearer $AILOOT_API_KEY" -H 'Content-Type: application/json' \
--data-binary @request.json -D response-headers.txt -o result.json
python3 - <<'PY_RESULT'
import json
from pathlib import Path
r=json.loads(Path("result.json").read_text())
for x in r.get("data",[]): print(json.dumps({"index":x.get("index"),"embedding":x.get("embedding")}))
PY_RESULT
from openai import OpenAI
import os
client=OpenAI(base_url="https://api.ailoot.ai/v1",api_key=os.environ["AILOOT_API_KEY"],max_retries=0)
result=client.embeddings.create(model='sentence-transformers/paraphrase-minilm-l6-v2',input=["First document","Second document"])
print(result)
for item in result.data:print(item.index,item.embedding)
Receber e guardar os resultados
Ailoot Ultra · Embeddings
json
Guardar todos os resultados concluídos
Guarde cada resposta, ficheiro e parte de conteúdo devolvidos na íntegra.
Guarde cada vetor com o respetivo índice. O número de vetores tem de ser igual ao número de entradas; as dimensões têm de ser consistentes.
Se for necessário verificar a resposta original
Não é introduzido nenhum endpoint de tarefas de embeddings.
Campos da resposta
| Campo | Tipo |
|---|---|
Campoobject | Tipostring |
Campomodel | Tipostring |
Campodata[].index | Tipointeger |
Campodata[].embedding | Tipofinite float[] |
Campousage | Tipoobject |
Erros e passos seguintes
| Resposta | Condição | Passo seguinte |
|---|---|---|
Resposta400 · invalid_request_error | CondiçãoCampos obrigatórios, representação do material ou valor do parâmetro inválidos | Passo seguinteCorrija os campos indicados antes de um novo pedido de criação. |
Aliases
Aliases do modelo
Ailoot Ultra sentence-transformers/paraphrase-minilm-l6-v2
Aliases dos caminhos dos métodos
Use os caminhos dos métodos indicados acima.
IDs de chamada relacionados
FAQ · Sentence Transformers: paraphrase-MiniLM-L6-v2
- Que entradas e resultados estão disponíveis?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:text,token_ids→embedding- Que campos utiliza o pedido?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:model,input,encoding_format,provider- Que limites se aplicam?
POST /v1/embeddings·sentence-transformers/paraphrase-minilm-l6-v2:input.budget.maximum:512(bytes UTF8);input.min_items:1