Respan: Span-01

O Span-01 é o modelo de pontuação de comportamentos da Respan para conversas e rastos de execução de agentes. Lê uma interação de texto juntamente com definições de comportamentos escritas em linguagem simples e devolve probabilidades para cada definição. A saída distingue um comportamento presente, ausente ou não observável no rasto fornecido. Isto dá a um fluxo de avaliação um sinal numérico com uma forma explícita de representar a falta de evidência, em vez de uma explicação gerada que é preciso analisar.

Defina o comportamento que pretende observar

Os comportamentos são fornecidos por quem faz a chamada. Injeção de instruções, afirmações sem fundamento, exposição de segredos, ciclos repetitivos, utilização indevida de ferramentas e frustração do utilizador são definições possíveis, e não uma taxonomia fixa incorporada no modelo. Indique o que conta como o comportamento e o que não conta. Uma definição restrita pode distinguir um utilizador que pede a transferência para um humano de um que apenas manifesta desilusão. Outra pode distinguir um assistente que reconhece um problema de um que promete uma ação que não consegue realizar.

Utilize identificadores estáveis com as definições, para que os resultados se mantenham associados ao comportamento avaliado. Mantenha o critério centrado em algo que o rasto possa mostrar. Se o comportamento exigir um documento de origem, o resultado de uma ferramenta ou uma resposta posterior do cliente, inclua essa evidência na interação de texto, no local a que pertence. Uma definição, por si só, não consegue estabelecer um facto ausente do rasto.

Prepare o contexto anterior e o turno-alvo

A entrada documentada separa as mensagens anteriores, em span.input, do turno-alvo, em span.output. O conteúdo de cada mensagem é uma cadeia de caracteres. Forneça o contexto real da conversa e o turno que pretende pontuar, preservando os papéis dos interlocutores e a ordem necessária para o interpretar. Este é um perfil de pontuação de texto; o texto preparado de um documento ou uma transcrição podem servir de evidência, mas os ficheiros multimédia de onde esse texto foi obtido não são, em si, a entrada documentada.

Numa interação de suporte, mantenha o pedido do cliente junto da resposta proposta pelo assistente. Num agente que utiliza ferramentas, conserve a observação relevante da ferramenta e a resposta que nela se baseou. Uma definição ilustrativa de fundamentação pode perguntar se o assistente afirma uma conclusão que a observação fornecida não sustenta. O resultado útil diz respeito ao comportamento definido nesse segmento, e não a um diagnóstico completo de toda a aplicação.

Leia três probabilidades para cada definição

Cada resultado inclui o identificador do comportamento e p_present, p_absent e p_not_observable. A soma das três probabilidades é aproximadamente 1. Presente estima que o comportamento ocorreu; ausente estima que não ocorreu; não observável estima que o segmento fornecido não contém a evidência necessária para decidir. São significados distintos e devem manter-se separados quando os resultados são interpretados.

Por exemplo, um segmento que termina com um assistente a dizer que vai resolver um problema pode mostrar uma promessa. Ainda não pode mostrar que o cliente aceitou a solução final se não existir nenhuma resposta do cliente. Trate esse resultado com falta de evidência como desconhecido, em vez de o converter em ausente. Uma probabilidade baixa de presença não é automaticamente uma evidência forte de ausência quando uma parte significativa da distribuição é não observável.

Pontuação numa única passagem para todas as definições de comportamento

A Respan descreve o Span-01 como um classificador de raciocínio treinado primeiro para classificação geral com RLAIF e depois especializado na deteção de comportamentos. Cada definição é executada como um ramo paralelo sobre o mesmo rasto, e o modelo devolve as probabilidades dos comportamentos numa única passagem direta. A atenção híbrida suporta o tratamento de rastos longos e complexos. O modelo não gera tokens, não escreve um juízo narrativo nem produz uma explicação livre da sua classificação.

O guia de conceitos e a referência de pontuação não documentam nenhum limite para o número de comportamentos por pedido. Cada definição continua a fazer parte da avaliação fornecida, por isso mantenha cada uma clara e relevante, em vez de tratar a ausência de limite de contagem como prova de uma capacidade de entrada ilimitada. O resultado contém uma entrada por comportamento, pela ordem do pedido, identificada pelo respetivo id. Várias definições descrevem várias observações independentes; não são escolhas de categoria mutuamente exclusivas cuja soma, entre comportamentos, tenha de ser um.

Preparar um artefacto de avaliação útil

Combine as probabilidades devolvidas com limiares específicos da tarefa e regras de revisão fora do modelo. O produtor recomenda utilizar conversas etiquetadas para escolher esses limiares e inspecionar os resultados de presença limítrofe ou com valor elevado de não observável. Um fluxo de suporte pode registar separadamente a frustração, uma proposta de escalamento e uma promessa sem fundamento. Um fluxo de qualidade de agentes pode acompanhar ações repetidas ou verificar se uma resposta utilizou a evidência que lhe foi disponibilizada.

Mantenha juntos o segmento de texto, a definição do comportamento, o identificador do resultado e a distribuição completa de três valores. Quando a definição muda, tenha em conta que muda aquilo que a probabilidade mede. Reveja os erros aparentes face à conversa real, em vez de tratar um resultado numérico como prova de um acontecimento não observado. Um artefacto útil é um registo de comportamento ligado ao rasto e ao critério, com a incerteza conservada para inspeção posterior ou para a decisão seguinte de uma aplicação.