# Clasificación de agentes de programación con IA en 2026: quién resuelve las tareas de verdad > Aprende a leer clasificaciones de agentes de programación: modelo, agente, benchmark y coste por tarea resuelta. Compara herramientas para tu proyecto. Source: https://ailoot.ai/blog/es/ai-coding-agent-rankings/ Canonical: https://ailoot.ai/blog/es/ai-coding-agent-rankings/ Language: es Publisher: Ailoot (https://ailoot.ai/) Translation: guide-210 Revision: sha256-eb2a7fca86826941cc8ca3fb3dc7ea733a68bf9a37ce07214a94536194956e38 Cada semana, alguien publica un gráfico: barras, porcentajes y un titular en negrita en la parte superior que dice «la mejor IA para programar en 2026». Y justo debajo empieza una discusión de cien comentarios. Una persona afirma que su herramienta resuelve el 80 por ciento de las tareas; otra señala una captura de pantalla que muestra que esa misma herramienta obtuvo un 74. Ambas tienen razón. Simplemente están mirando mediciones distintas y midiendo cosas diferentes. El autor original vivió esta situación al elegir herramientas para sus proyectos. Persigues el primer puesto de una clasificación y, una semana después, descubres que la cifra era de una prueba de laboratorio, mientras que tu tarea real es otra historia. Así que lo que sigue no trata de quién queda primero, sino de cómo funciona cualquier clasificación de agentes de programación con IA: qué mide, por qué la misma red neuronal produce resultados distintos, cuánto cuesta realmente y cómo leer cualquier tabla en cinco minutos para elegir una herramienta para tu tarea. Encontrarás más orientación en la [documentación de Ailoot](https://ailoot.ai/docs/). ## ¿Por qué la clasificación de un agente de IA no tiene que ver con la marca?
Punto clave La posición en una clasificación depende de la combinación de dos componentes: la red neuronal que hay detrás y el agente que la controla. El nombre de la empresa no tiene nada que ver. Un mismo modelo resuelve un número distinto de tareas en diferentes agentes. Por eso, decir «Claude es mejor que GPT», o al revés, casi siempre carece de sentido: sin especificar qué agente y qué medición, no significa nada. Hay que comparar combinaciones funcionales. Los logotipos no sirven para eso.
Lo primero que hay que quitarse de la cabeza es la costumbre de apoyar a una marca. «Anthropic contra OpenAI», «Claude contra Gemini»: eso da para un titular fácil, pero casi no tiene nada que ver con elegir una herramienta. Lo que ejecutas en tu ordenador es un agente. Y un agente está compuesto por al menos dos capas, ambas con efecto en el resultado. Imagina un chef y una cocina. El modelo es el chef: sabe cocinar y tiene talento y experiencia. El agente es la cocina y todo su equipo: fogones, cuchillos, flujo de trabajo y un ayudante que le pasa los ingredientes. Pon a un chef brillante en una cocina destrozada y la cena será mediocre. Pon a un chef normal en una cocina perfectamente equipada y cocinará de forma constante y rápida. En las clasificaciones de agentes de IA, eliges la cocina entera, incluido el chef. De ahí sale una regla sencilla que te facilitará las cosas a partir de ahora. Cuando veas «la herramienta X resuelve el 80 por ciento de las tareas», pregúntate primero: ¿qué modelo lleva dentro, qué agente lo controlaba y qué prueba se usó para medirlo? Si falta la respuesta a siquiera una de estas preguntas, estás mirando un gráfico hecho para provocar una discusión. Aún no se puede llamar clasificación. ## De qué se compone cada agente de IA: modelo, harness y configuración
Punto clave Todo agente de programación tiene tres capas. La primera es el modelo, la propia red neuronal, como Claude o GPT, que escribe y edita código. La segunda es el harness: un programa que permite al modelo leer archivos, ejecutar comandos y ver errores. La tercera es la configuración: cuánto se permite «pensar» al modelo, cuántos intentos tiene por tarea y qué herramientas tiene disponibles. Si cambias cualquier capa, el resultado cambia, aunque la red neuronal siga siendo la misma.
Veamos las tres capas en orden; sin ellas no podemos avanzar. **La primera capa es el modelo.** Es la propia red neuronal: Claude Opus y Sonnet de Anthropic, GPT-5 de OpenAI y Gemini de Google. Es el «cerebro» que encuentra una solución y escribe código. Pero, por sí solo, el modelo no puede ejecutar nada ni ver archivos. Solo puede producir texto en respuesta a texto. **La segunda capa es el harness, o agente.** Es un programa construido alrededor del modelo. Le da manos a la red neuronal: abre archivos del proyecto, ejecuta comandos en el terminal, muestra qué ha fallado y le pide que lo arregle. Claude Code, Codex CLI de OpenAI, Cursor, Cline y Aider son harnesses. Los ingenieros tienen un término técnico para esta segunda capa: «harness». La idea es precisamente esa: el harness a través del cual el modelo realiza trabajo real. **La tercera capa es la configuración.** Son los controles del harness: cuánto se permite «pensar» al modelo antes de responder, cuántos intentos darle para una tarea y qué herramientas poner a su disposición. La misma combinación obtiene puntuaciones distintas con diferentes configuraciones. Ahí es donde nace toda la confusión en torno a las clasificaciones. La gente discute sobre la primera capa («qué modelo es más inteligente»), mientras que el resultado de la tabla depende de las tres a la vez. Encontrarás una explicación detallada de cómo encajan estas capas para formar un sistema funcional en [Qué es un agente de IA, explicado de forma sencilla](https://ailoot.ai/blog/es/ai-agents-explained/). Leer una clasificación es una cosa; crear tu propia combinación funcional de modelo, agente y configuración es otra. Para eso sirve la ingeniería de contexto: gestionar lo que ve la IA antes del prompt. ## ¿Qué mide realmente SWE-bench, la principal clasificación de programación?
Punto clave SWE-bench es la medida más conocida de la capacidad de la IA para corregir código real. Investigadores académicos lo elaboraron y lo publicaron en 2024. Incluye 2,294 tareas reales extraídas de solicitudes de corrección para 12 proyectos populares de Python. El agente recibe un proyecto con errores y una descripción del problema; después envía un parche que el sistema comprueba con pruebas reales. El porcentaje de la clasificación representa la proporción de tareas que el agente resolvió de verdad.
Para leer cualquier clasificación de programación, hay que entender la principal medición a la que todo el mundo hace referencia: SWE-bench. Lo crearon investigadores universitarios y lo presentaron en una conferencia académica de prestigio. No es un gráfico casero de un blog. La prueba es sencilla y justa. Se toma un proyecto real con un error real que ya corrigieron programadores humanos. El agente recibe ese proyecto y una descripción del problema en sus propias palabras. Tiene que entender el código de otra persona, encontrar el lugar adecuado y enviar un parche. Después, el sistema ejecuta las pruebas reales del proyecto. Si las pruebas se superan, la tarea cuenta como resuelta. Si no, no. Nada de «creo que está resuelta»: solo cuentan las marcas verdes de las pruebas automatizadas. De las 2,294 tareas del conjunto completo, los resultados suelen mostrarse para un subconjunto verificado cuidadosamente llamado SWE-bench Verified. Incluye 500 tareas revisadas manualmente por personas para asegurarse de que no fueran defectuosas ni imposibles de resolver por naturaleza. Esta versión se elaboró con OpenAI en agosto de 2024 y es la que aparece en los porcentajes de casi todas las clasificaciones. Cuando ves «X por ciento en SWE-bench Verified», se refiere a la proporción de esas 500 tareas. ## ¿Por qué la misma IA obtiene resultados diferentes en distintos agentes?
Punto clave Esta es la principal razón por la que las clasificaciones se contradicen. Pon el mismo modelo en distintos harnesses y resolverá un número diferente de tareas. Es normal que el agente por sí solo provoque una diferencia de varios puntos porcentuales, aunque la red neuronal no cambie. Por eso algunos benchmarks tienen dos columnas separadas en sus tablas: «modelo» y «agente». La puntuación corresponde a la combinación completa y no se puede trasladar a otra pareja.
Aquí tienes un dato que resuelve de inmediato la mitad de las discusiones en los comentarios. El mismo modelo produce porcentajes distintos en diferentes harnesses, y la diferencia es notable. Los datos públicos lo demuestran. Uno de los benchmarks que miden el trabajo de los agentes en un terminal tiene una tabla clara: incluye dos columnas separadas para el modelo y el agente. También muestra el coste y el uso. Los autores lo diseñaron así a propósito para mostrar que el resultado siempre es una pareja: «modelo más agente». Una red neuronal por sí sola no basta para obtener una puntuación. La razón de las diferencias queda clara si volvemos a las tres capas. Un agente le da al modelo diez intentos por tarea; otro, tres. Uno le muestra el texto completo del error; otro lo trunca. Uno le permite ejecutar pruebas y seguir corrigiendo hasta que todo funciona; otro se detiene tras el primer parche. La red neuronal es la misma, pero las condiciones de trabajo son distintas y, por tanto, también lo son los porcentajes. La conclusión práctica es sencilla. Si ves «Claude resuelve el 77 por ciento», se trata de Claude en un harness específico y con una configuración específica. Pon el mismo modelo en otro agente y obtendrás una cifra diferente. Así que «el modelo es inteligente» y «la combinación resuelve tareas» son afirmaciones sobre cosas distintas. ## ¿Cuánto cuesta resolver una tarea?
Punto clave No tiene sentido comparar agentes por el precio de la suscripción mensual: por la misma cantidad, un agente puede resolver cinco veces más tareas que otro. La métrica justa es el coste de una tarea completada de principio a fin. Se compone del coste por token (las unidades de texto por las que pagas cuando trabaja el modelo) y del número de intentos utilizados por el agente. Un modelo caro que acierta a la primera puede salir más barato que uno económico que prueba diez métodos.
Ahora hablemos del dinero, porque aquí empiezan la mayoría de las discusiones. La gente compara los precios de las suscripciones: este agente cuesta 20 dólares al mes, aquel 200. Luego concluye: «El primero es más barato». Esa conclusión es errónea, porque una suscripción no refleja el resultado. El precio de la suscripción dice muy poco en este caso. Tienes que calcular el coste de una tarea que el agente haya completado con éxito de verdad. Pagas por tokens, las partes de texto que intercambian tú y el modelo. Cuanto más lee y escribe el modelo, más tokens usa y más sube la factura. Las empresas publican abiertamente sus precios por token. Por ejemplo, esto es lo que dice Anthropic sobre su modelo Sonnet:

El precio sigue siendo el mismo que el de Claude Sonnet 4: 3 $ por millón de tokens de entrada y 15 $ por millón de tokens de salida.

— Anthropic, página de lanzamiento de Claude Sonnet 4.5, https://www.anthropic.com/news/claude-sonnet-4-5
Después viene el cálculo que hace engañoso un precio bajo. Tomemos dos modelos. El primero cuesta más por token, pero resuelve la tarea al primer intento. El segundo es más barato, pero lo intenta diez veces y vuelve a leer el proyecto entero cada vez. Al final, el modelo con el precio más bajo utiliza más tokens y genera una factura mayor que el caro. Explico en detalle qué compone el coste de trabajar con IA en Cuánto cuesta un agente de IA para una empresa y, por separado, en [Cómo calcular los precios de las herramientas de vibe coding](https://ailoot.ai/blog/es/vibe-coding-tool-prices/). Las buenas clasificaciones lo tienen en cuenta y muestran el coste junto al porcentaje: cuánto dinero se gastó en todas las tareas. Fíjate en ello. Para ti, un agente que resuelve el 75 por ciento a un dólar por tarea suele ser mejor opción que uno que llega al 78 por ciento a tres dólares por tarea. ## ¿Por qué la velocidad también forma parte de la clasificación?
Punto clave Además de la proporción de tareas resueltas y del coste, hay un tercer eje: el tiempo. Un agente completa una tarea en un minuto, mientras que otro pasa media hora probando opciones. Esto no importa para una corrección puntual, pero si utilizas un agente todo el día, la diferencia se acumula hasta convertirse en horas de espera. La velocidad suele estar ligada a la configuración: cuanto más dejas que el modelo «piense» y más intentos le permites, más preciso es y más tarda en responder. No es frecuente ser rápido y preciso a la vez.
El tercer aspecto que suele quedar eclipsado por los porcentajes es el tiempo. Si trabajas con un agente a diario, importa tanto como el coste. Aquí está la pega: la precisión y la velocidad tiran en direcciones opuestas. Para que resuelva más tareas, le das más tiempo para «pensar» y más intentos: prueba distintas opciones, ejecuta pruebas y revisa su trabajo. Los porcentajes suben, y el tiempo de respuesta también. Para una corrección puntual, apenas se nota la diferencia entre uno y diez minutos. Pero si pasas toda la tarde con un agente, asignándole una tarea tras otra, esos minutos se convierten en horas de espera frente a la pantalla. Por eso, la velocidad tiene dos caras en una clasificación. El primer puesto en precisión suele resultar también el más lento y caro: se han llevado los ajustes al máximo para lograr una cifra llamativa. Sin embargo, para el trabajo cotidiano quizá necesites una combinación un poco más abajo en la tabla que sea tres veces más rápida y barata. Qué importa más depende de tus tareas, y la clasificación no puede decidirlo por ti. ## Por qué una diferencia de un par de puntos porcentuales suele ser solo ruido
Punto clave La diferencia entre el primer y el tercer puesto de una clasificación suele ser de apenas dos o tres por ciento, y puede deberse al azar, no a una superioridad real. Si se repite la misma prueba, las posiciones pueden cambiar fácilmente. Los benchmarks serios lo muestran con honestidad mediante «bigotes» o intervalos de confianza. El solapamiento de bigotes no demuestra por sí solo un empate ni resuelve si la diferencia es estadísticamente significativa. Perseguir el primer puesto cuando la diferencia está dentro del margen de error es una pérdida de tiempo.
Otra trampa de las clasificaciones es creer que el primer puesto es realmente mejor que el tercero. A menudo, la diferencia es de dos o tres puntos porcentuales —10 a 15 tareas de 500— y su interpretación depende de la muestra y la variación entre ejecuciones. Si se repite la misma prueba, los líderes pueden intercambiar posiciones, porque un modelo no da exactamente la misma respuesta cada vez. Las mediciones honestas muestran incertidumbre además de una puntuación puntual. Los «bigotes» pueden representar un intervalo de confianza del 95 %; consulta la definición del benchmark. Solaparse no demuestra que dos agentes sean iguales ni resuelve por sí solo si su diferencia es significativa. Hay que comparar adecuadamente la diferencia, el tamaño muestral y la variación, conservando idealmente el emparejamiento si intentan las mismas tareas. No declares empate con un umbral universal de tres puntos porcentuales. Una brecha pequeña puede ser significativa o inconcluyente según la muestra, las repeticiones y el método. Considera incertidumbre, coste, velocidad y disponibilidad y prueba después las combinaciones principales en tus tareas. ## ¿Quién lidera los distintos benchmarks en el momento de escribir este artículo?
Punto clave Los porcentajes exactos quedan obsoletos en unas semanas: aparece una nueva versión del modelo o del agente y se reconstruye la tabla. Así que no tiene sentido memorizar cifras concretas; es mejor conocer el orden de magnitud y saber comprobarlas por tu cuenta. Según las declaraciones oficiales de las empresas, las principales combinaciones resuelven entre el 74 y el 77 por ciento de las tareas en la parte verificada de SWE-bench. Comprueba siempre las cifras más recientes directamente en el sitio web del benchmark. Las capturas de pantalla de otras personas quedan obsoletas.
Ahora veamos las cifras, con una salvedad importante. Los porcentajes concretos duran poco. Sale una nueva versión del modelo o se actualiza un agente, y una semana después la tabla es distinta. Así que no memorices las cifras: quédate con el orden de magnitud y aprende a comprobarlas por tu cuenta. Según las declaraciones oficiales de las propias empresas, este es el panorama para las 500 tareas verificadas de SWE-bench. OpenAI escribió lo siguiente sobre su modelo GPT-5:

GPT-5 ofrece un rendimiento líder en su categoría en benchmarks clave de programación: un 74,9 por ciento en SWE-bench Verified y un 88 por ciento en Aider polyglot.

— OpenAI, página de lanzamiento de GPT-5 para desarrolladores, https://openai.com/index/introducing-gpt-5-for-developers/
Anthropic publica cifras similares para sus modelos. Para Claude Opus 4.1, informa de un 74,5 por ciento en el mismo SWE-bench Verified. Para el más reciente Claude Sonnet 4.5, informa de una media del 77,2 por ciento en diez ejecuciones y de hasta un 82 por ciento si se le dan varios intentos al modelo y se elige el mejor resultado.

Informamos de una media del 77,2 por ciento en diez ejecuciones, sin cómputo adicional durante las pruebas, sobre el conjunto completo de 500 tareas de SWE-bench Verified.

— Anthropic, página de lanzamiento de Claude Sonnet 4.5, https://www.anthropic.com/news/claude-sonnet-4-5
¿Ves lo que está pasando? Las combinaciones líderes de diferentes empresas se encuentran en un intervalo estrecho: aproximadamente entre el 74 y el 77 por ciento. La diferencia entre ellas es ese mismo par de puntos que a menudo queda dentro del margen de error. Así que quién queda primero depende de la semana en que se ejecutó el benchmark y de la configuración. Lo más importante es que todo el grupo de cabeza puede hacer más o menos lo mismo, y que debes elegir dentro de él según el coste, la velocidad y si la herramienta está disponible para ti. Hay otro detalle que las empresas mencionan en letra pequeña, pero que importa. El resultado de GPT-5 no se calculó sobre las 500 tareas:

Nuestros resultados excluyen 23 de las 500 tareas, que no tenían soluciones estables en nuestra infraestructura.

— OpenAI, página de lanzamiento de GPT-5 para desarrolladores, https://openai.com/index/introducing-gpt-5-for-developers/
Eso significa que el 74,9 por ciento corresponde a 477 tareas, no a las 500. ¿Un detalle menor? No. Precisamente por eso, dos clasificaciones honestas pueden dar cifras distintas para el mismo modelo. En la siguiente sección se explica qué buscar en estas notas al pie. ## Cómo leer cualquier clasificación en cinco minutos: una lista de comprobación
Punto clave Para que no te engañe un gráfico llamativo, comprueba cualquier clasificación con seis preguntas: cuál es el benchmark, qué combinación de modelo y agente se usó, cuántas tareas se contaron, cuántos intentos se permitieron, cuánto cuesta y si se muestra la dispersión de los resultados. Si al menos la mitad de estas preguntas no tiene respuesta, estás ante publicidad disfrazada de clasificación. La comprobación completa lleva cinco minutos y elimina el riesgo de elegir una herramienta basándote en una cifra sin sentido.
Aquí tienes una secuencia breve de pasos. Abre cualquier clasificación de agentes de IA y repasa estas seis preguntas en orden. 1. **¿Qué benchmark es?** SWE-bench Verified u otro. Si ni siquiera se menciona el benchmark, cierra la página: es un gráfico hecho para provocar una discusión. 2. **¿Qué combinación?** «Claude» a secas no basta; necesitas «esta versión de Claude en este harness». Sin las dos partes, el porcentaje queda en el aire. 3. **¿Cuántas tareas se contaron?** ¿Las 500 o solo un subconjunto, como en el ejemplo de GPT-5 con 477? Un conjunto reducido infla la cifra. 4. **¿Cuántos intentos se permitieron?** Un intento es más justo que «diez intentos y nos quedamos con el mejor». La segunda opción da mejor resultado, pero nadie trabaja así en la vida real. 5. **¿Cuánto cuesta?** ¿Hay una columna de costes junto al porcentaje? Si no, queda oculta la mitad de la información. 6. **¿Se muestra la dispersión?** ¿Qué significan los «bigotes», cuántas tareas y ejecuciones los produjeron y se informa de una comparación adecuada de la diferencia? Ni el solapamiento ni una brecha fija de tres puntos demuestran empate. Sigue estos seis puntos y cualquier titular ruidoso resistirá el análisis o se desmoronará en cinco minutos. También conviene recordar que aprobar una prueba no garantiza un resultado en tu proyecto: explico por qué en [Por qué un agente de IA dice «listo» cuando el trabajo aún no está terminado](https://ailoot.ai/blog/es/ai-agent-says-done/). ## ¿De dónde viene la desinformación sobre las clasificaciones: de tareas antiguas en el entrenamiento de los modelos?
Punto clave Los benchmarks tienen un problema oculto: la contaminación. Las tareas de SWE-bench proceden de proyectos abiertos, y los modelos se entrenaron con todo Internet, incluidos esos mismos proyectos. Por eso, puede que un modelo haya «visto» la solución de antemano y simplemente la recuerde. Entonces, un porcentaje elevado refleja memoria, mientras que el modelo no ha aprendido a entender código nuevo. Por eso importan la actualidad de las tareas y las pruebas cerradas que nadie ha visto. Los benchmarks serios exigen explícitamente que sus tareas no aparezcan en los datos de entrenamiento.
Hay otro motivo para no venerar los porcentajes, y quienes crearon los benchmarks hablan abiertamente de ello. Las tareas de SWE-bench proceden de proyectos abiertos que llevan años en línea. Y las redes neuronales se entrenan con Internet. Eso significa que un modelo podría haber encontrado fácilmente esos mismos proyectos y sus soluciones ya preparadas durante el entrenamiento. ¿Qué significa esto en la práctica? El modelo no resolvió por sí mismo algunas de las tareas «resueltas»; recordó la respuesta ya preparada. Ya la había visto durante el entrenamiento y simplemente la reprodujo. Ese porcentaje refleja memoria. No dice nada sobre la capacidad de entender código nuevo. OpenAI reconoce abiertamente este riesgo en el caso de SWE-bench. Esto es lo que debes tener en cuenta: cuanto más recientes sean las tareas y más tareas cerradas haya que el modelo nunca haya visto, más justa será la medición. Por eso, los benchmarks nuevos con pruebas ocultas merecen más confianza que los conjuntos abiertos antiguos con los que todo el mundo ya ha practicado. Al elegir entre dos clasificaciones, prefiere la que use tareas recientes y oculte algunas a los modelos. ## ¿Qué agente de IA deberías elegir para tu tarea?
Punto clave No hay un agente «mejor» para todo el mundo, sino uno que se adapte a tu tarea y a tu presupuesto. Para arquitectura compleja y proyectos largos, usa modelos potentes como Claude Opus o GPT-5 en harnesses consolidados como Claude Code y Codex. Los modelos más sencillos y baratos bastan para las correcciones fáciles. Si necesitas algo gratuito y local, hay agentes abiertos como Cline, Aider y OpenHands, a los que conectas tu propia clave. Elige una combinación para el trabajo concreto; la clasificación solo sirve de guía.
Reunamos todo en una elección práctica. No hay un ganador universal, así que fíjate en tu tarea. Si el proyecto es complejo, tiene una base de código grande y va a llevar mucho tiempo, elige un modelo potente en un harness consolidado. Entre las combinaciones que están cerca de la cima de las clasificaciones figuran Claude Code de Anthropic con modelos Opus y Sonnet, y Codex de OpenAI con modelos de la familia GPT-5. Son agentes listos para usar, con todo ya configurado, y se ocupan de tareas exigentes de forma constante. Cuestan más en tokens, pero requieren menos esfuerzo de configuración. Si las tareas son sencillas —corregir un texto, montar una página pequeña o escribir un script—, no hace falta pagar más por un modelo de primera categoría. Los modelos más sencillos y baratos las resolverán sin que cambie el resultado, y la factura será varias veces menor. Si necesitas algo gratuito que funcione localmente, echa un vistazo a agentes abiertos como Cline, Aider y OpenHands. No tienen un modelo propio; conectas uno con tu propia clave. Son flexibles, pero tendrás que configurarlos tú. Cursor es un editor independiente con un agente integrado: puede trabajar con modelos de distintas empresas y tú eliges uno para la tarea. En [Qué tareas empresariales se pueden delegar de verdad a un agente de IA](https://ailoot.ai/blog/es/business-tasks-for-ai-agents/) explico cuáles debería encomendar una empresa a un agente. ## Preguntas frecuentes
### Preguntas frecuentes ¿Cuál es el mejor agente de programación con IA en 2026? No hay un único «mejor». El grupo líder de las clasificaciones incluye Claude Code con modelos de Anthropic y Codex con modelos de OpenAI: están más o menos igualados y resuelven alrededor del 74–77 por ciento de las tareas del benchmark SWE-bench Verified. Dentro de este grupo, elige según el coste, la velocidad y la disponibilidad. La posición en la tabla es secundaria. ¿Qué es SWE-bench, explicado de forma sencilla? Es una prueba de la capacidad para corregir código real. El agente recibe un proyecto real con una parte defectuosa y una descripción del problema, envía un parche y el sistema lo comprueba con las pruebas reales del proyecto. El porcentaje de la clasificación representa la proporción de tareas que el agente completó con éxito. Lo más habitual es que se muestre el subconjunto verificado de 500 tareas, llamado SWE-bench Verified. ¿Por qué un modelo obtiene porcentajes distintos en diferentes clasificaciones? Porque el resultado depende no solo del modelo, sino también del harness del agente y de su configuración. La misma red neuronal se utiliza de forma distinta en distintos agentes: algunos permiten más intentos y otros ofrecen un acceso distinto a los errores. Además, puede variar el número de tareas utilizadas. Por eso, los resultados de un mismo modelo pueden diferir en varios puntos porcentuales. ¿Se puede confiar en un porcentaje de un gráfico en línea? Solo si junto al porcentaje se indican el benchmark, la combinación de «modelo más agente», el número de tareas, el número de intentos, el coste y el margen de error. Si falta la mitad de esa información, estás ante publicidad disfrazada de clasificación. Siempre es mejor comprobar los porcentajes actuales directamente en el sitio web del benchmark: las capturas de pantalla de otras personas quedan obsoletas en cuestión de semanas. ¿Cuánto cuesta usar un agente de programación con IA? Hay que calcular el coste de una tarea resuelta; en este caso, el precio de la suscripción resulta engañoso. El coste se compone del precio de los tokens y del número de intentos que utilizó el agente. Un modelo caro que resuelve una tarea al primer intento suele salir más barato que uno económico que prueba diez métodos. He recopilado referencias de precios en un artículo aparte sobre el coste de las herramientas de vibe coding.
### Fuentes - [SWE-bench Verified - anuncio del conjunto verificado de 500 tareas, OpenAI, agosto de 2024](https://openai.com/index/introducing-swe-bench-verified/) - [OpenAI - GPT-5 para desarrolladores (74,9 % en SWE-bench Verified, nota sobre 23 de 500 tareas)](https://openai.com/index/introducing-gpt-5-for-developers/) - [Anthropic - Claude Sonnet 4.5 (77,2 % y 82,0 % en SWE-bench Verified, 3 $/15 $ por millón de tokens)](https://www.anthropic.com/news/claude-sonnet-4-5) - [Anthropic - Claude Opus 4.1 (74,5 % en SWE-bench Verified)](https://www.anthropic.com/news/claude-opus-4-1) - [Claude Code - agente de programación de Anthropic](https://code.claude.com/docs/en/overview) - [Codex CLI - agente de OpenAI, repositorio](https://github.com/openai/codex) - [Cursor - editor con un agente de IA integrado](https://cursor.com/) - [Aider - agente de programación en pareja para la línea de comandos](https://aider.chat/)
Cuando estés listo, descubre [Ailoot](https://ailoot.ai/). ## Preguntas sobre la elección de agentes y modelos de IA ### ¿Los intervalos de confianza solapados demuestran que dos agentes son iguales? No. El solapamiento no demuestra igualdad ni decide por sí solo la significación estadística. Hay que analizar adecuadamente la diferencia, la muestra de tareas y la variación entre ejecuciones. ### ¿Cómo elijo entre agentes separados por pocos puntos porcentuales? Comprueba benchmark, entorno, número de tareas e intentos, incertidumbre y coste. Prueba las opciones principales en tus tareas; no existe un umbral universal de tres puntos que las empate. ## Ailoot · La empresa y su cartera de proyectos Ailoot se apoya en la experiencia operativa acumulada, una amplia base de clientes, un servicio estable y el seguimiento continuo de KPI. La empresa y su cartera de proyectos: millones de clientes; ventas por miles de millones al mes. Ailoot aplica esa experiencia operativa al acceso por API a funciones de IA en productos de clientes, agentes, aplicaciones y automatizaciones.