Classificações de agentes de programação com IA em 2026: quem resolve as tarefas?

Todas as semanas, alguém publica um gráfico: barras, percentagens e um título em destaque no topo que diz «melhor IA para programação em 2026». E logo abaixo começa uma discussão com uma centena de comentários. Uma pessoa grita que a sua ferramenta resolve 80 por cento das tarefas, outra aponta para uma captura de ecrã que mostra que a mesma ferramenta obteve 74. Ambas têm razão. Estão apenas a olhar para medições diferentes e a medir coisas diferentes.

O autor original passou por isto quando escolheu ferramentas para os seus projetos. Persegue o primeiro lugar de uma classificação e, uma semana depois, percebe que o número vinha de um teste de laboratório, enquanto a sua tarefa real é outra história. Por isso, o que se segue não é sobre quem fica em primeiro lugar, mas sobre como funciona qualquer classificação de agentes de programação com IA: o que mede, porque é que a mesma rede neuronal produz resultados diferentes, quanto custa realmente e como ler qualquer tabela em cinco minutos e escolher uma ferramenta para a sua tarefa.

Pode encontrar mais orientações na documentação do Ailoot.

Porque é que uma classificação de agentes de IA não diz respeito à marca?#

A primeira coisa a deixar de lado é o hábito de torcer por uma marca. «Anthropic contra OpenAI», «Claude contra Gemini» — dá um título apelativo, mas tem pouco que ver com a escolha de uma ferramenta. Aquilo que executa no seu computador é um agente. E um agente é composto por, pelo menos, duas camadas, que afetam ambas o resultado.

Imagine um cozinheiro e uma cozinha. O modelo é o cozinheiro: sabe cozinhar e tem talento e experiência. O agente é a cozinha e todo o equipamento: fogão, facas, fluxo de trabalho e um ajudante que lhe passa os ingredientes. Ponha um cozinheiro brilhante numa cozinha em ruínas e o jantar será medíocre. Ponha um cozinheiro mediano numa cozinha perfeitamente equipada e ele cozinhará de forma consistente e rápida. Nas classificações de agentes de IA, está a escolher a cozinha completa, incluindo o cozinheiro.

Daí resulta uma regra simples que facilitará o resto. Quando vir «a ferramenta X resolve 80 por cento das tarefas», pergunte primeiro: que modelo está incluído, que agente o controlou e que teste foi utilizado para medir o resultado? Se não houver resposta a uma destas perguntas, está a olhar para um gráfico feito para provocar uma discussão. Ainda é cedo para lhe chamar classificação.

De que é composto cada agente de IA: modelo, harness e configuração#

Vou explicar as três camadas por ordem; sem elas, não podemos avançar.

A primeira camada é o modelo. É a própria rede neuronal: Claude Opus e Sonnet, da Anthropic, GPT-5, da OpenAI, e Gemini, da Google. É o «cérebro» que encontra uma solução e escreve código. Mas, por si só, o modelo não consegue executar nada nem ver ficheiros. Só consegue produzir texto em resposta a texto.

A segunda camada é o harness, ou agente. É um programa criado em torno do modelo. Dá mãos à rede neuronal: abre ficheiros do projeto, executa comandos no terminal, mostra o que correu mal e pede-lhe para corrigir o problema. Claude Code, Codex CLI da OpenAI, Cursor, Cline e Aider são todos harnesses. Os engenheiros usam um termo especializado para esta segunda camada: «harness». A ideia é precisamente essa: o harness através do qual o modelo realiza trabalho real.

A terceira camada é a configuração. São os controlos dentro do harness: quanto o modelo pode «pensar» antes de responder, quantas tentativas lhe dar para uma tarefa e que ferramentas disponibilizar. A mesma combinação obtém resultados diferentes com configurações diferentes.

É daí que vem toda a confusão em torno das classificações. As pessoas discutem a primeira camada («qual é o modelo mais inteligente»), enquanto o resultado da tabela depende das três ao mesmo tempo. Uma explicação detalhada de como estas camadas se juntam num sistema funcional está em o que é um agente de IA em termos simples.

Ler uma classificação é uma coisa; montar a sua própria combinação funcional de modelo, agente e configuração é outra. É para isso que serve a engenharia de contexto: gerir aquilo que a IA vê antes do prompt.

O que mede realmente o SWE-bench, a principal classificação de programação?#

Para ler qualquer classificação de programação, é preciso compreender a principal medição a que todos fazem referência. É o SWE-bench. Foi criado por investigadores universitários e apresentado numa conferência académica de renome. Não é um gráfico improvisado de um blogue.

O teste é simples e justo. Pegam num projeto real com um erro real que programadores humanos já corrigiram. O agente recebe esse projeto e uma descrição do problema por palavras suas. Tem de compreender o código de outra pessoa, encontrar o local certo e submeter uma correção. Depois, o sistema executa os testes reais do projeto. Se os testes passarem, a tarefa conta como resolvida. Se não passarem, não conta. Nada de «acho que está resolvido»: só marcas verdes de aprovação dos testes automatizados.

Dos 2 294 elementos do conjunto completo, os resultados são mais frequentemente apresentados para um subconjunto cuidadosamente verificado chamado SWE-bench Verified. Contém 500 tarefas que foram revistas manualmente para garantir que não tinham falhas nem eram inerentemente impossíveis de resolver. Esta versão foi criada com a OpenAI em agosto de 2024 e é aquela cujas percentagens aparecem em quase todas as classificações. Quando vê «X por cento no SWE-bench Verified», isso significa a proporção dessas 500 tarefas.

Porque é que a mesma IA obtém resultados diferentes em agentes diferentes?#

Eis um facto que resolve de imediato metade das discussões nos comentários. O mesmo modelo produz percentagens diferentes em harnesses diferentes, e a diferença é visível.

É possível ver isso nos dados públicos. Um benchmark que mede o trabalho dos agentes num terminal tem uma tabela clara com duas colunas separadas para o modelo e para o agente. Também apresenta os custos e a utilização. Os autores fizeram-no assim de propósito para mostrar que o resultado é sempre um par: «modelo mais agente». Uma rede neuronal, por si só, não basta para produzir uma pontuação.

A razão para a variação fica clara quando voltamos às três camadas. Um agente dá dez tentativas ao modelo por tarefa; outro dá-lhe três. Um mostra-lhe o texto completo do erro; outro corta-o. Um permite-lhe executar testes e continuar a corrigir até funcionar; outro para depois da primeira correção. A rede neuronal é a mesma, mas as condições de trabalho são diferentes, pelo que as percentagens também diferem.

A conclusão prática é simples. Se vir «Claude resolve 77 por cento», trata-se de Claude num harness específico e com uma configuração específica. Ponha o mesmo modelo noutro agente e obterá outro número. Portanto, «o modelo é inteligente» e «a combinação resolve tarefas» são afirmações sobre duas coisas diferentes.

Quanto custa resolver uma tarefa?#

Agora vamos falar de dinheiro, porque é aqui que começam a maioria das discussões. As pessoas comparam preços de subscrições: este agente custa 20 dólares por mês, aquele custa 200. Depois concluem: «O primeiro é mais barato.» Essa conclusão está errada, porque a subscrição não diz respeito ao resultado.

O preço da subscrição diz-lhe muito pouco neste caso. É preciso calcular o custo de uma tarefa que o agente tenha concluído com sucesso. Paga por tokens — os fragmentos de texto trocados entre si e o modelo. Quanto mais o modelo lê e escreve, mais tokens utiliza e maior é a fatura. As empresas publicam os preços dos tokens. Por exemplo, é isto que a Anthropic diz sobre o seu modelo Sonnet:

Depois vem a conta que mostra como um preço baixo pode induzir em erro. Consideremos dois modelos. O primeiro custa mais por token, mas resolve a tarefa à primeira tentativa. O segundo é mais barato, mas tenta dez vezes, relendo o projeto inteiro em cada tentativa. No final, o modelo com o preço mais baixo utiliza mais tokens e gera uma fatura maior do que o modelo caro. Explico em detalhe o que compõe o custo de trabalhar com IA em quanto custa um agente de IA para uma empresa e, separadamente, em como calcular os preços das ferramentas de vibe coding.

As boas classificações percebem isto e mostram o custo a par da percentagem: quanto dinheiro foi gasto em todas as tarefas. Preste atenção a isso. Em geral, para si, um agente que resolve 75 por cento das tarefas por um dólar cada oferece mais valor do que um que chega aos 78 por cento por três dólares cada.

Porque é que a velocidade também faz parte da classificação?#

A terceira coisa que costuma perder-se por trás das percentagens é o tempo. É tão importante como o custo se trabalhar com um agente todos os dias.

Eis o problema. A precisão e a velocidade puxam em sentidos opostos. Para resolver mais tarefas, dá mais tempo ao agente para «pensar» e mais tentativas: ele experimenta diferentes opções, executa testes e revê o trabalho. As percentagens aumentam, mas o tempo de resposta também. Numa correção pontual, a diferença entre um minuto e dez minutos mal se nota. Mas, se passar a noite inteira com um agente, atribuindo-lhe uma tarefa após outra, esses minutos acumulam-se em horas de espera em frente ao ecrã.

É por isso que a velocidade tem dois lados numa classificação. Muitas vezes, o primeiro lugar em precisão acaba por ser também o mais lento e o mais caro — foi levado às definições máximas para obter um número vistoso. Mas, para o trabalho quotidiano, pode precisar de uma combinação um pouco mais abaixo na tabela, três vezes mais rápida e barata. O que é mais importante depende das suas tarefas, e a classificação não pode escolher por si.

Porque é que uma diferença de dois ou três pontos percentuais é muitas vezes apenas ruído?#

Outra armadilha das classificações é acreditar que o primeiro lugar é realmente melhor do que o terceiro. Muitas vezes, a diferença é de dois ou três pontos percentuais, ou 10 a 15 tarefas em 500; a interpretação depende da amostra e da variação entre execuções. Ao repetir o teste, os líderes podem trocar de posição, porque um modelo não dá exatamente a mesma resposta todas as vezes.

Medições honestas mostram incerteza, não só uma pontuação. Os «bigodes» podem representar um intervalo de confiança de 95 por cento; confirme a definição do benchmark. A sobreposição não prova igualdade nem decide a significância estatística da diferença. É necessária uma comparação adequada da diferença, dimensão da amostra e variação, idealmente preservando o emparelhamento quando ambos tentam as mesmas tarefas.

Não use um limite universal de três pontos percentuais para declarar empate. Uma diferença pequena pode ser relevante ou inconclusiva conforme a amostra, as repetições e o método de comparação. Considere incerteza, custo, velocidade e disponibilidade e teste as combinações de topo nas suas tarefas.

Quem lidera nos diferentes benchmarks no momento da redação?#

Agora vamos aos números, com uma ressalva importante. Qualquer percentagem específica tem pouco tempo de validade. Sai uma nova versão de um modelo ou um agente é atualizado, e uma semana depois a tabela é diferente. Por isso, não memorize os números; tenha em conta a sua ordem de grandeza e aprenda a verificá-los.

Segundo as declarações oficiais das próprias empresas, este é o panorama para as 500 tarefas verificadas do SWE-bench. A OpenAI escreveu o seguinte sobre o seu modelo GPT-5:

A Anthropic indica números semelhantes para os seus modelos. Para o Claude Opus 4.1, indica 74,5 por cento no mesmo SWE-bench Verified. Para o mais recente Claude Sonnet 4.5, indica uma média de 77,2 por cento em dez execuções e até 82 por cento se o modelo tiver várias tentativas e for selecionada a melhor.

Está a ver o que está a acontecer? As combinações de topo de empresas diferentes situam-se num intervalo estreito: aproximadamente 74–77 por cento. A diferença entre elas são aqueles mesmos dois pontos percentuais que muitas vezes ficam dentro da margem de erro. Por isso, «quem fica em primeiro» depende da semana em que o benchmark foi executado e da configuração. Mais importante é o facto de todo o grupo de topo conseguir fazer sensivelmente as mesmas coisas; escolha dentro desse grupo com base no custo, na velocidade e na disponibilidade da ferramenta para si.

Há mais um pormenor que as empresas mencionam em letra pequena, mas que é importante. O resultado do GPT-5 não foi calculado com as 500 tarefas:

Isto significa que 74,9 por cento é a proporção de 477 tarefas, não do conjunto completo de 500. Um pormenor insignificante? Não. É precisamente por isso que duas classificações honestas podem apresentar números diferentes para o mesmo modelo. A secção seguinte explica o que deve procurar nestas notas de rodapé.

Como ler qualquer classificação em cinco minutos: uma lista de verificação#

Eis uma sequência breve de passos. Abra qualquer classificação de agentes de IA e percorra estas seis perguntas, de cima para baixo.

1. Qual é o benchmark? SWE-bench Verified ou outra coisa. Se o benchmark nem sequer for identificado, feche a página; é um gráfico feito para provocar uma discussão.
2. Que combinação foi usada? «Claude» sozinho não chega; precisa de «esta versão do Claude neste harness». Sem as duas partes, a percentagem fica suspensa no ar.
3. Quantas tarefas foram contabilizadas? As 500, ou apenas um subconjunto, como no exemplo do GPT-5 com 477. Um conjunto reduzido faz subir o número.
4. Quantas tentativas foram permitidas? Uma tentativa é mais justa do que «dez tentativas e escolhemos a melhor». A segunda opção parece melhor, mas ninguém trabalha assim na vida real.
5. Quanto custa? Há uma coluna de custos ao lado da percentagem? Se não houver, metade do panorama está escondido.
6. É apresentada a variação? O que significam os intervalos de incerteza, quantas tarefas e execuções os produziram e existe comparação adequada da diferença? Nem sobreposição nem um limite fixo de três pontos provam empate.

Siga estes seis pontos e qualquer título chamativo ou resistirá ao escrutínio ou se desmoronará em cinco minutos. Também convém lembrar que passar num teste não garante um resultado no seu projeto: explico porquê em porque é que um agente de IA diz «concluído» quando o trabalho não está concluído.

De onde vem a desinformação sobre as classificações: tarefas antigas nos dados de treino do modelo?#

Há mais uma razão para não idolatrar as percentagens, e os criadores dos benchmarks falam abertamente sobre ela. As tarefas do SWE-bench vêm de projetos públicos que estão online há anos. E as redes neuronais são treinadas com dados da Internet. Isto significa que um modelo pode ter encontrado facilmente esses mesmos projetos e as respetivas correções prontas enquanto estava a ser treinado.

O que significa isto na prática? O modelo não resolveu por si algumas das tarefas «resolvidas»; recordou a resposta já pronta. Já a tinha visto durante o treino e limitou-se a reproduzi-la. Essa percentagem demonstra memória. Não diz nada sobre a capacidade de compreender código novo. A OpenAI reconhece abertamente este risco no caso do SWE-bench.

Eis a conclusão para o leitor. Quanto mais recentes forem as tarefas e quanto mais tarefas fechadas, que o modelo certamente nunca viu, o benchmark contiver, mais justa será a medição. É por isso que os novos benchmarks com testes ocultos merecem mais confiança do que conjuntos públicos antigos em que todos já praticaram. Ao escolher entre duas classificações, prefira a que utiliza tarefas recentes e mantém algumas tarefas ocultas dos modelos.

Que agente de IA deve escolher para a sua tarefa?#

Vou reunir tudo numa escolha prática. Não existe um vencedor universal, por isso tenha em conta a sua tarefa.

Se o projeto for complexo, tiver uma grande base de código e for demorado, escolha um modelo potente num harness maduro. Entre as combinações próximas do topo das classificações estão o Claude Code da Anthropic com os modelos Opus e Sonnet e o Codex da OpenAI com modelos da família GPT-5. São agentes prontos a usar, com tudo já configurado, que lidam de forma consistente com tarefas exigentes. Custam mais em tokens, mas exigem menos esforço de configuração.

Se as tarefas forem simples — corrigir texto, montar uma página pequena ou escrever um script — não precisa de pagar mais por um modelo de topo. Modelos mais simples e baratos tratam dessas tarefas sem diferença no resultado, e a fatura será várias vezes inferior.

Se precisar de algo gratuito que funcione localmente, veja agentes abertos como Cline, Aider e OpenHands. Não têm modelo próprio; liga um modelo usando a sua própria chave. São flexíveis, mas terá de os configurar por si. O Cursor é um editor à parte com um agente integrado; pode trabalhar com modelos de diferentes empresas e cabe-lhe escolher um para a tarefa. Falo sobre as tarefas que uma empresa deve realmente delegar a um agente em que tarefas empresariais podem realmente ser delegadas a um agente de IA.

Perguntas frequentes#

Quando estiver preparado, conheça o Ailoot.