O Nemotron 3.5 Embed 1B converte texto numa representação numérica do seu conteúdo. O modelo da NVIDIA destina-se à pesquisa de documentos pelo significado: a pergunta e o excerto relevante podem estar formulados com palavras diferentes. Estes resultados são utilizados na pesquisa em manuais de consulta, instruções internas, artigos e bases de respostas de apoio ao cliente.
O modelo original da NVIDIA reúne texto e imagens de documentos num único espaço de representação; a geração 3.5 acrescenta pesquisa no conteúdo visual das páginas. Nesta ficha da Ailoot é utilizado o seu cenário textual: texto à entrada e vetor à saída.
Na Ailoot, o modelo recebe texto através do método embeddings e devolve um vetor. O vetor serve para comparar a consulta com os documentos; a resposta final ao utilizador é produzida pela etapa seguinte da aplicação. Isto permite organizar separadamente a pesquisa de fontes e a preparação da resposta com base nelas.
Primeiro divida os materiais em excertos com significado completo e obtenha um embedding para cada um. Guarde o vetor juntamente com o texto original, o título do documento e o respetivo identificador. Na pesquisa, converta a pergunta com o mesmo modelo e selecione vetores próximos no índice. Os excertos encontrados podem ser apresentados ao utilizador ou fornecidos a um modelo textual como contexto para uma resposta apoiada nos documentos.
São utilizadas representações distintas para consultas e documentos, posteriormente comparadas no mesmo processo de pesquisa. Ao preparar o corpus, é útil conservar cada afirmação junto do contexto que a explica: assim, o excerto encontrado pode ser lido autonomamente e ligado ao documento original.
A versão 1B foi obtida utilizando o Nemotron 3.5 Embed 8B, de maior dimensão, como modelo professor. A componente textual baseia-se no Nemotron 3 Embed 1B e conserva o seu espaço de representações textuais. A descrição do modelo original indica um vetor de 2048 valores com normalização L2. Convém considerar esta propriedade ao projetar o índice, verificando a dimensionalidade da resposta efetiva do método escolhido.
A pesquisa textual foi avaliada em 34 idiomas, incluindo russo. Esta cobertura torna o modelo um candidato para uma base de conhecimento multilingue; a qualidade da recuperação de excertos deve ser avaliada com perguntas e documentos reais da sua área.
O método textual atual da Ailoot estabelece um limite de 32768 tokens por entrada. É conveniente indexar materiais mais longos como excertos separados, com referências próprias à fonte. O cenário disponível nesta ficha consiste em texto à entrada e embedding à saída.
", "aboutText": "### Pesquisa semântica em textos\n\nO Nemotron 3.5 Embed 1B converte texto numa representação numérica do seu conteúdo. O modelo da NVIDIA destina-se à pesquisa de documentos pelo significado: a pergunta e o excerto relevante podem estar formulados com palavras diferentes. Estes resultados são utilizados na pesquisa em manuais de consulta, instruções internas, artigos e bases de respostas de apoio ao cliente.\n\nO modelo original da NVIDIA reúne texto e imagens de documentos num único espaço de representação; a geração 3.5 acrescenta pesquisa no conteúdo visual das páginas. Nesta ficha da Ailoot é utilizado o seu cenário textual: texto à entrada e vetor à saída.\n\nNa Ailoot, o modelo recebe texto através do método embeddings e devolve um vetor. O vetor serve para comparar a consulta com os documentos; a resposta final ao utilizador é produzida pela etapa seguinte da aplicação. Isto permite organizar separadamente a pesquisa de fontes e a preparação da resposta com base nelas.\n\n### Como construir a pesquisa\n\nPrimeiro divida os materiais em excertos com significado completo e obtenha um embedding para cada um. Guarde o vetor juntamente com o texto original, o título do documento e o respetivo identificador. Na pesquisa, converta a pergunta com o mesmo modelo e selecione vetores próximos no índice. Os excertos encontrados podem ser apresentados ao utilizador ou fornecidos a um modelo textual como contexto para uma resposta apoiada nos documentos.\n\nSão utilizadas representações distintas para consultas e documentos, posteriormente comparadas no mesmo processo de pesquisa. Ao preparar o corpus, é útil conservar cada afirmação junto do contexto que a explica: assim, o excerto encontrado pode ser lido autonomamente e ligado ao documento original.\n\n### Características do modelo\n\nA versão 1B foi obtida utilizando o Nemotron 3.5 Embed 8B, de maior dimensão, como modelo professor. A componente textual baseia-se no Nemotron 3 Embed 1B e conserva o seu espaço de representações textuais. A descrição do modelo original indica um vetor de 2048 valores com normalização L2. Convém considerar esta propriedade ao projetar o índice, verificando a dimensionalidade da resposta efetiva do método escolhido.\n\nA pesquisa textual foi avaliada em 34 idiomas, incluindo russo. Esta cobertura torna o modelo um candidato para uma base de conhecimento multilingue; a qualidade da recuperação de excertos deve ser avaliada com perguntas e documentos reais da sua área.\n\n### Entrada e dimensão do pedido\n\nO método textual atual da Ailoot estabelece um limite de 32768 tokens por entrada. É conveniente indexar materiais mais longos como excertos separados, com referências próprias à fonte. O cenário disponível nesta ficha consiste em texto à entrada e embedding à saída.", "locale": "pt-pt", "methods": [ { "html": "POST /v1/embeddingstextembedding