Come confrontare gli agenti AI per la programmazione

Ogni settimana qualcuno pubblica un grafico: barre, percentuali e un titolo in grassetto in cima che dice «la migliore AI per il codice nel 2026». E subito sotto comincia una discussione con cento commenti. Una persona sostiene che il suo strumento risolve l’80 percento dei compiti, un’altra mostra uno screenshot in cui lo stesso strumento ha ottenuto il 74. Hanno ragione entrambi. Stanno semplicemente guardando misurazioni diverse e misurando cose diverse.

L’autore originale si è imbattuto in questo problema mentre sceglieva gli strumenti per i propri progetti. Insegui il primo posto in una classifica e, una settimana dopo, ti rendi conto che quel numero veniva da un test di laboratorio, mentre il tuo compito reale è un’altra storia. Quindi ciò che segue non riguarda chi arriva primo, ma il funzionamento delle classifiche degli agenti di programmazione AI: che cosa misurano, perché la stessa rete neurale produce risultati diversi, quanto costa davvero e come leggere una qualsiasi tabella in cinque minuti per scegliere uno strumento adatto al tuo compito.

Altre indicazioni sono disponibili nella documentazione di Ailoot.

Perché una classifica degli agenti AI non riguarda il marchio?#

La prima cosa da toglierti dalla testa è l’abitudine di tifare per un marchio. «Anthropic contro OpenAI», «Claude contro Gemini»: è un titolo comodo, ma non c’entra quasi nulla con la scelta di uno strumento. Perché quello che esegui sul computer è un agente. E un agente è composto da almeno due livelli, entrambi capaci di influire sul risultato.

Immagina uno chef e una cucina. Il modello è lo chef: sa cucinare e ha talento ed esperienza. L’agente è la cucina con tutte le sue attrezzature: fornelli, coltelli, flusso di lavoro e un assistente che passa gli ingredienti. Metti uno chef brillante in una cucina malridotta e la cena sarà mediocre. Metti uno chef nella media in una cucina configurata alla perfezione e cucinerà con costanza e rapidità. Nelle classifiche degli agenti AI scegli l’intera cucina, chef compreso.

Da qui deriva una semplice regola che renderà tutto più facile d’ora in poi. Quando leggi «lo strumento X risolve l’80 percento dei compiti», chiediti innanzitutto: quale modello contiene, quale agente lo ha controllato e quale test è stato usato per misurarlo? Se manca la risposta anche a una sola domanda, stai guardando un grafico creato per far nascere una discussione. È troppo presto per chiamarlo una classifica.

Come incidono modello, harness e configurazione sui risultati?#

Esaminiamo i tre livelli in ordine; senza di essi non possiamo andare oltre.

Il primo livello è il modello. È la rete neurale stessa: Claude Opus e Sonnet di Anthropic, GPT-5 di OpenAI, Gemini di Google. È il «cervello» che escogita una soluzione e scrive il codice. Ma da solo il modello non può eseguire nulla né vedere i file. Può soltanto produrre testo in risposta ad altro testo.

Il secondo livello è l’harness, o agente. È un programma che avvolge il modello. Dà mani alla rete neurale: apre i file del progetto, esegue comandi nel terminale, mostra che cosa si è rotto e le chiede di risolvere il problema. Claude Code, Codex CLI di OpenAI, Cursor, Cline e Aider sono tutti harness. Gli ingegneri hanno un termine gergale per questo secondo livello: «harness». L’idea è proprio questa: l’harness attraverso cui il modello svolge il lavoro concreto.

Il terzo livello è la configurazione. Sono i controlli all’interno dell’harness: quanto è consentito al modello di «pensare» prima di rispondere, quanti tentativi assegnargli per un compito e quali strumenti rendere disponibili. La stessa combinazione produce punteggi diversi con configurazioni diverse.

È da qui che nasce tutta la confusione sulle classifiche. Le persone discutono del primo livello («quale modello è più intelligente»), mentre il risultato in tabella dipende contemporaneamente da tutti e tre. Una spiegazione dettagliata di come questi livelli si integrano in un sistema operativo è disponibile in che cos’è un agente AI, spiegato in modo semplice.

Leggere una classifica è una cosa; mettere insieme una propria combinazione funzionante di modello, agente e configurazione è un’altra. A questo serve la context engineering: gestire ciò che l’AI vede prima del prompt.

Che cosa misura davvero SWE-bench, la principale classifica di programmazione?#

Per leggere qualsiasi classifica di programmazione, devi capire la principale misurazione a cui tutti fanno riferimento: SWE-bench. È stato creato da ricercatori universitari e presentato a una seria conferenza accademica. Non è un grafico amatoriale tratto da un blog.

Il test è semplice ed equo. Si prende un progetto reale con un bug reale, già corretto in passato da programmatori umani. All’agente vengono forniti quel progetto e una descrizione del problema espressa con parole proprie. Deve capire il codice di qualcun altro, trovare il punto giusto e inviare una patch. Poi il sistema esegue i test reali del progetto. Se i test passano, il compito viene conteggiato come risolto. Se non passano, no. Niente «penso che sia risolto»: valgono soltanto le spunte verdi dei test automatizzati.

Sull’intero insieme di 2.294 compiti, i risultati vengono mostrati più spesso per un sottoinsieme verificato con cura, chiamato SWE-bench Verified. Contiene 500 compiti che le persone hanno esaminato manualmente per assicurarsi che non fossero viziati o intrinsecamente impossibili da risolvere. Questa versione è stata assemblata con OpenAI nell’agosto 2024 ed è quella a cui si riferiscono le percentuali che si vedono in quasi tutte le classifiche. Quando leggi «X percento su SWE-bench Verified», si intende la quota di quei 500 compiti.

Perché la stessa AI ottiene risultati diversi in agenti diversi?#

Ecco un fatto che risolve subito metà delle discussioni nei commenti. Lo stesso modello produce percentuali diverse in harness differenti, e lo scarto è significativo.

Lo si vede nei dati pubblici. Un benchmark che misura il lavoro degli agenti nel terminale presenta una tabella equa: contiene due colonne separate per il modello e per l’agente. Mostra anche costi e utilizzo. Gli autori l’hanno impostato così di proposito per mostrare che il risultato è sempre una coppia: «modello più agente». La rete neurale da sola non basta a produrre un punteggio.

La ragione della dispersione è chiara se si torna ai tre livelli. Un agente concede al modello dieci tentativi per compito, un altro tre. Uno mostra il testo completo dell’errore, un altro lo tronca. Uno gli consente di eseguire test e continuare a correggere finché non funzionano, un altro si ferma dopo la prima patch. La rete neurale è la stessa, ma le condizioni di lavoro sono diverse, quindi le percentuali cambiano.

La conclusione pratica per te è semplice. Se leggi «Claude risolve il 77 percento», si tratta di Claude in uno specifico harness e con una specifica configurazione. Inserisci lo stesso modello in un altro agente e otterrai un numero diverso. Quindi «il modello è intelligente» e «la combinazione risolve i compiti» sono affermazioni su due cose diverse.

Quanto costa risolvere un compito?#

Ora parliamo di soldi, perché è qui che iniziano la maggior parte delle discussioni. Le persone confrontano i prezzi degli abbonamenti: questo agente costa 20 dollari al mese, quell’altro 200. Poi concludono: «Il primo costa meno». La conclusione è sbagliata, perché un abbonamento non riguarda il risultato.

Il prezzo dell’abbonamento dice ben poco in questo caso. Devi calcolare il costo di un compito che l’agente ha completato con successo. Paghi per i token, i pezzi di testo scambiati tra te e il modello. Più il modello legge e scrive, più token usa e più alta è la fattura. Le aziende pubblicano apertamente i prezzi dei token. Per esempio, ecco che cosa dice Anthropic sul suo modello Sonnet:

Poi arriva il calcolo che rende ingannevole un prezzo basso. Prendiamo due modelli. Il primo costa di più per token, ma risolve il compito al primo tentativo. Il secondo costa meno, ma ci prova dieci volte, rileggendo ogni volta l’intero progetto. Alla fine, il modello con il prezzo più basso usa più token e genera una fattura più alta di quello costoso. Spiego in dettaglio che cosa compone il costo dell’uso dell’AI in quanto costa un agente AI alle aziende e, separatamente, in come calcolare i prezzi degli strumenti di vibe coding.

Le classifiche migliori lo tengono in considerazione e mostrano il costo accanto alla percentuale: quanto è stato speso per tutti i compiti. Facci caso. Un agente che risolve il 75 percento dei compiti a un dollaro per compito di solito è più conveniente per te di uno che raggiunge il 78 percento a tre dollari per compito.

Perché anche la velocità fa parte della classifica?#

La terza cosa che di solito si perde dietro le percentuali è il tempo. Conta quanto il costo se lavori ogni giorno con un agente.

Ecco il problema: precisione e velocità tirano in direzioni opposte. Per risolvere più compiti, dai all’agente più tempo per «pensare» e più tentativi: prova opzioni diverse, esegue test e rivede il proprio lavoro. Le percentuali aumentano, così come il tempo di risposta. Per una correzione occasionale, la differenza tra un minuto e dieci è appena percettibile. Ma se passi un’intera serata con un agente, assegnandogli un compito dopo l’altro, quei minuti si accumulano in ore di attesa davanti allo schermo.

Ecco perché in una classifica la velocità ha due facce. Il primo posto per precisione spesso si rivela anche il più lento e costoso: è stato spinto al massimo delle impostazioni per ottenere un bel numero. Ma per il lavoro quotidiano potresti aver bisogno di una combinazione che si trova un po’ più in basso in tabella, tre volte più veloce ed economica. Ciò che conta di più dipende dai tuoi compiti, e la classifica non può scegliere al posto tuo.

Perché una differenza di un paio di punti percentuali spesso è solo rumore#

Un’altra trappola delle classifiche è credere che il primo posto sia davvero migliore del terzo. Spesso la differenza è di due o tre punti percentuali, cioè 10–15 attività su 500, e la sua interpretazione dipende dal campione e dalla variabilità tra esecuzioni. Ripeti lo stesso test e i leader potrebbero scambiarsi di posto, perché un modello non fornisce esattamente la stessa risposta ogni volta.

Le misurazioni oneste mostrano l’incertezza oltre al punteggio. I «baffi» possono rappresentare un intervallo di confidenza del 95 percento: controlla la definizione del benchmark. La sovrapposizione non dimostra che due agenti siano uguali e non decide da sola la significatività della differenza. Serve un confronto adeguato della differenza, di dimensione del campione e variabilità, preservando idealmente l’appaiamento quando entrambi affrontano le stesse attività.

Non usare una soglia universale di tre punti percentuali per dichiarare un pareggio. Un divario piccolo può essere significativo o inconcludente secondo campione, ripetizioni e metodo di confronto. Considera incertezza, costo, velocità e disponibilità, poi prova le combinazioni migliori sulle tue attività.

Chi è in testa nei diversi benchmark al momento della stesura?#

Ora passiamo ai numeri, con un’importante precisazione. Le percentuali specifiche hanno vita breve. Esce una nuova versione del modello oppure viene aggiornato un agente e, una settimana dopo, la tabella è cambiata. Perciò non memorizzare i numeri: tieni a mente l’ordine di grandezza e impara a controllare da te.

Secondo le dichiarazioni ufficiali delle aziende, ecco il quadro per i 500 compiti verificati di SWE-bench. OpenAI ha scritto questo sul suo modello GPT-5:

Anthropic riporta numeri simili per i suoi modelli. Per Claude Opus 4.1 riporta il 74,5 percento nello stesso SWE-bench Verified. Per il più recente Claude Sonnet 4.5 riporta una media del 77,2 percento su dieci esecuzioni e fino all’82 percento se al modello vengono concessi diversi tentativi e si seleziona il migliore.

Vedi che cosa succede? Le combinazioni migliori di aziende diverse rientrano in un intervallo ristretto: circa dal 74 al 77 percento. Tra loro c’è lo stesso scarto di un paio di punti percentuali che spesso rientra nel margine di errore. Quindi «chi arriva primo» dipende dalla settimana in cui è stato eseguito il benchmark e dalla configurazione. Più importante è che l’intero gruppo dei migliori sa fare all’incirca le stesse cose; dovresti scegliere al suo interno in base al costo, alla velocità e all’effettiva disponibilità dello strumento per te.

C’è un altro dettaglio che le aziende menzionano in piccolo, ma che conta. Il risultato di GPT-5 non è stato calcolato su tutti i 500 compiti:

Questo significa che il 74,9 percento è la quota di 477 compiti, non dell’intero insieme di 500. Un dettaglio da poco? No. È proprio per questo che due classifiche oneste possono riportare numeri diversi per lo stesso modello. La prossima sezione spiega che cosa cercare nelle note a piè di pagina.

Come leggere una qualsiasi classifica in cinque minuti: una lista di controllo#

Ecco una breve sequenza di passaggi. Apri una qualsiasi classifica di agenti AI e rispondi alle sei domande, dall’alto verso il basso.

1. Quale benchmark? SWE-bench Verified o qualcos’altro. Se il benchmark non viene nemmeno nominato, chiudi la pagina: è un grafico creato per far nascere una discussione.
2. Quale combinazione? «Claude» da solo non basta: serve «questa versione di Claude in questo harness». Senza entrambe le parti, la percentuale resta sospesa nel vuoto.
3. Quanti compiti sono stati conteggiati? Tutti e 500 o solo un sottoinsieme, come nell’esempio di GPT-5 con 477. Un insieme ridotto gonfia il numero.
4. Quanti tentativi erano consentiti? Un tentativo è più equo di «dieci tentativi e prendiamo il migliore». Quest’ultimo sembra migliore, ma nella vita reale nessuno lavora così.
5. Quanto costa? Accanto alla percentuale c’è una colonna con i costi? Se no, metà del quadro è nascosta.
6. Viene mostrata la dispersione? Cosa significano i «baffi», quante attività ed esecuzioni li hanno prodotti ed è riportato un confronto adeguato della differenza? Né sovrapposizione né un divario fisso di tre punti dimostrano un pareggio.

Segui questi sei punti e qualsiasi titolo altisonante reggerà oppure crollerà nel giro di cinque minuti. È utile ricordare anche che superare un test non garantisce un risultato sul tuo progetto: spiego perché in perché un agente AI dice «fatto» quando il lavoro non è finito.

Da dove viene la disinformazione sulle classifiche: compiti già visti durante l’addestramento?#

C’è un altro motivo per non venerare le percentuali, e chi crea i benchmark ne parla apertamente. I compiti di SWE-bench provengono da progetti pubblici online da anni. E le reti neurali vengono addestrate su Internet. Ciò significa che un modello potrebbe facilmente aver incontrato quegli stessi progetti e le relative correzioni già pronte durante l’addestramento.

Che cosa significa in pratica? Il modello non ha risolto da sé alcuni dei compiti che risultano «risolti»: ha ricordato la risposta già pronta. L’aveva vista durante l’addestramento e l’ha semplicemente riprodotta. Quella percentuale dimostra la memoria. Non dice nulla sulla capacità di capire codice nuovo. OpenAI riconosce apertamente questo rischio per SWE-bench.

Ecco la conclusione per il lettore. Più i compiti sono recenti e più ce ne sono di chiusi che il modello non ha sicuramente mai visto, più la misurazione è equa. Ecco perché i nuovi benchmark con test nascosti meritano più fiducia dei vecchi insiemi pubblici sui quali tutti si sono già esercitati. Quando scegli tra due classifiche, preferisci quella con compiti recenti e alcuni compiti nascosti ai modelli.

Quale agente AI dovresti scegliere per il tuo compito?#

Raccogliamo tutto in una scelta pratica. Non esiste un vincitore universale, quindi considera il tuo compito.

Se il progetto è complesso, ha una base di codice estesa e richiederà molto tempo, scegli un modello potente in un harness consolidato. Tra le combinazioni vicine ai primi posti delle classifiche ci sono Claude Code di Anthropic con i modelli Opus e Sonnet e Codex di OpenAI con i modelli della famiglia GPT-5. Sono agenti pronti all’uso, in cui tutto è già configurato, e gestiscono con costanza i compiti impegnativi. Costano di più in token, ma richiedono meno lavoro di configurazione.

Se i compiti sono semplici, come correggere un testo, creare una piccola pagina o scrivere uno script, non c’è bisogno di pagare un extra per un modello di punta. Modelli più semplici ed economici li gestiranno senza differenze nel risultato, e la fattura sarà diverse volte inferiore.

Se ti serve qualcosa di gratuito che funzioni in locale, considera agenti aperti come Cline, Aider e OpenHands. Non hanno un proprio modello: ne colleghi uno usando la tua chiave. Sono flessibili, ma dovrai configurarli da te. Cursor è un editor a sé con un agente integrato: può funzionare con modelli di aziende diverse, e sei tu a sceglierne uno in base al compito. Discuto dei compiti che un’azienda dovrebbe davvero affidare a un agente in quali compiti aziendali si possono davvero affidare a un agente AI.

Domande frequenti#

Quando sei pronto, scopri Ailoot.