Thenlper: GTE-Large

GTE-large é o modelo General Text Embeddings de tamanho grande treinado pela Alibaba DAMO Academy. É um codificador de texto em inglês principalmente baseado no framework BERT, com uma representação densa de 1024 dimensões para cada entrada. O fabricante treina a família GTE com pares de textos relacionados por relevância em vários domínios e identifica recuperação, similaridade semântica textual e reordenação de textos como aplicações posteriores.

Represente o conteúdo de uma secção

Prepare a passagem em inglês que deve ser comparada com uma consulta de pesquisa. Numa coleção de relatórios técnicos, conserve o tema, a observação e a condição relevante de uma secção curta. Um relatório que descreve vibração apenas sob uma carga específica deve preservar essa condição, em vez de deixar uma afirmação genérica sobre vibração.

Mantenha identificadores de origem, títulos de documentos e localizações de secções com os vetores armazenados. Uma consulta pode recuperar secções candidatas, enquanto o relatório original continua disponível para verificar o equipamento, a condição e a conclusão. O embedding fornece uma representação numérica do conteúdo da passagem.

Pooling, normalização e utilização dos vetores

A receita publicada utiliza pooling por média das representações dos tokens com a máscara de atenção, excluindo o preenchimento da média. Também mostra normalização L2 opcional seguida de comparação por produto escalar de vetores normalizados. O exemplo de Sentence Transformers utiliza similaridade do cosseno.

Mantenha as mesmas definições de preparação, pooling e comparação na coleção e no lado da consulta. Cada representação contém 1024 componentes. A maior contagem de componentes é um detalhe da edição; não demonstra que vetores GTE-large possam ser misturados com a representação de 768 dimensões de GTE-base ou com outro codificador de 1024 dimensões.

Um fluxo de reordenação pode comparar o embedding de uma consulta com um conjunto de embeddings candidatos já recuperado e reordenar esses registos. Mantenha a distinção entre essa comparação vetorial e um modelo separado que avalia conjuntamente um par de consulta e passagem.

Comprimento de entrada e limitação ao inglês

A ficha restringe explicitamente este modelo exato a texto em inglês e trunca entradas longas a um máximo de 512 tokens. Divida um relatório técnico longo em secções coerentes e mantenha contexto local suficiente para que cada secção se compreenda por si só. Se uma frase depender de uma ressalva anterior, conserve essa ressalva na mesma unidade indexada quando couber.

Um limite de tokens é diferente de uma contagem visível de palavras. Verifique o comprimento da secção preparada e assegure que o detalhe necessário à pesquisa prevista não fica para além da parte conservada após o truncamento.

Examine a evidência recuperada

Numa aplicação de pesquisa de relatórios, apresente secções candidatas com as suas localizações de origem e examine o conteúdo real. Observações semelhantes podem ter causas ou recomendações diferentes. Uma pontuação vetorial ajuda a ordenar os candidatos na configuração de comparação escolhida; não demonstra que a conclusão de um relatório se aplique a uma nova situação.

Para RAG, utilize as secções selecionadas como contexto de origem para a etapa de redação da resposta e conserve as suas associações aos documentos. Este perfil GTE-large exato fornece embeddings densos em inglês com 1024 dimensões e um limite de entrada de 512 tokens. Edições GTE multilingues e de contexto alargado posteriores têm identidades separadas, pelo que a sua cobertura linguística ou definições de entrada não decorrem do nome de família deste checkpoint.