Il carico di test di Anthropic è cresciuto di 25 volte in sei mesi perché Claude scrive il codice

Anthropic ha pubblicato questa settimana una rara serie di numeri interni su ciò che è accaduto al proprio dipartimento di ingegneria una volta che gli agenti di codifica hanno preso il controllo della maggior parte della digitazione. In sei mesi, il volume dei lavori di controllo automatizzato è cresciuto di 25 volte. Gli ingegneri hanno spedito circa otto volte più codice a trimestre rispetto agli anni dal 2021 al 2025, con Claude che ne ha scritto circa l’80% e il numero di test nella base di codice è decuplicato. Il personale tecnico si è mosso a malapena.

Vale la pena comprendere il collo di bottiglia creato da questo, anche se non si scrive mai software. L’integrazione continua, solitamente abbreviata in CI, è il controllo automatico che viene eseguito ogni volta che qualcuno modifica il codice: ricostruisce il progetto ed esegue i test per vedere se la modifica ha rotto qualcosa. Quando una base di codice diventa grande, l’esecuzione di ogni test su ogni modifica diventa troppo lenta, quindi i team utilizzano l’analisi dell’impatto dei test, un servizio che calcola su quali test una determinata modifica potrebbe effettivamente influire ed esegue solo quelli. Quel servizio è ciò che ha ceduto. Gli ingegneri di Anthropic lo hanno patchato tre volte e hanno riferito che le correzioni sono rimaste per 70 giorni, poi 29 giorni, poi meno di un giorno, prima di rinunciare all’applicazione delle patch e riprogettarlo. “Scrivere il codice non è più un vincolo e, una volta accelerata la revisione delle PR, CI inizia a sentire la pressione”, ha scritto l’ingegnere Sachin Malhotra. Il suo consiglio agli altri team è stato di presupporre che i loro sistemi dovranno affrontare un carico pari a 25 volte il carico attuale entro due trimestri e di costruire da dieci a venti volte ciò che sembra necessario.

Cosa c’è dietro tutto questo?

Questo è l’esempio più chiaro finora pubblicato di un modello degno di essere citato: automatizzare un passaggio non rimuove il collo di bottiglia, lo sposta a valle. Il codice era la parte lenta, quindi è stato automatizzato e ora le parti lente stanno rivedendo il codice e dimostrando che funziona. Da notare che anche i test sono cresciuti di dieci volte, il che significa che il lavoro di verifica non si è ridotto quando la scrittura è accelerata. È cresciuto con esso. Un giusto avvertimento: questi sono dati autoportati da un’azienda che vende l’agente di codifica in questione, pubblicati sul proprio blog, e “Claude ha scritto l’80 per cento del codice” è una misurazione la cui definizione Anthropic controlla. I dettagli operativi, tre patch fallite e una ricostruzione, vengono letti come vera ingegneria piuttosto che come marketing, il che è ciò che rende il post interessante.

Che cosa significa per te: Se lavori in un settore che introduce strumenti di intelligenza artificiale, questa è la domanda da porre alla riunione: una volta che questo passaggio diventa più veloce, qual è il passaggio successivo e può sostenere lo stesso volume? La risposta è solitamente un processo di revisione, una coda di approvazione o un collega sovraccarico, e questi non crescono acquistando più computer. Se scrivi software, la versione pratica è quella di esaminare la tua pipeline di controllo prima che il tuo team si affidi maggiormente agli agenti, poiché una pipeline che oggi è comoda può crollare fino a cinque volte il volume. E se siete semplicemente curiosi di sapere quanto l’intelligenza artificiale scrive effettivamente il codice di produzione in un laboratorio di frontiera, questo è un numero reale proveniente dall’interno, offerto con le dovute pinzette.

Fonti

• Anthropic: la codifica agentica sta mettendo a dura prova la CI, ecco come abbiamo ridimensionato l’analisi dell’impatto dei test
• Analytics India Magazine: i lavori CI di Anthropic sono cresciuti di 25 volte in 6 mesi poiché Claude ha scritto l’80% del codice