Un sistema di intelligenza artificiale viene sottoposto a un test di sicurezza, trova una falla nell’ambiente in cui dovrebbe restare confinato, raggiunge Internet, entra nei sistemi di un’altra azienda e cerca le risposte necessarie per superare la prova. Non è la trama dell’ennesimo film sulla ribellione delle macchine, ma quanto accaduto durante una valutazione interna condotta da OpenAI, secondo la ricostruzione pubblicata dalla stessa società e confermata da Hugging Face, la piattaforma coinvolta nell’incidente.
Il fatto è reale e non c’è motivo di metterlo in dubbio. Il dubbio, semmai, riguarda il modo in cui viene raccontato e soprattutto l’effetto che quel racconto produce. Perché l’ammissione di OpenAI è certamente un mea culpa, ma è anche uno di quei mea culpa che, mentre confessano una responsabilità, riescono contemporaneamente a magnificare la potenza del prodotto.
I modelli erano impegnati in ExploitGym, un ambiente utilizzato per misurare la capacità degli agenti di individuare e sfruttare vulnerabilità informatiche. Per verificarne le prestazioni massime, OpenAI aveva ridotto alcune delle normali limitazioni previste per le attività ad alto rischio. Il sistema avrebbe dovuto restare isolato, ma poteva installare pacchetti attraverso un software interno collegato ad alcuni registri esterni. È stato proprio quel passaggio a trasformarsi nella via di fuga.
I modelli hanno individuato una vulnerabilità sconosciuta nel sistema utilizzato come intermediario, hanno ottenuto l’accesso alla rete, aumentato i propri privilegi e raggiunto infrastrutture esterne. Da lì hanno dedotto che Hugging Face potesse conservare materiali utili per il benchmark e hanno cercato di recuperarli, utilizzando credenziali e ulteriori vulnerabilità. Migliaia di operazioni eseguite automaticamente, accessi non autorizzati e una violazione informatica provocata durante un test che avrebbe dovuto studiare, e non produrre, un incidente reale.
Tutto questo è grave, ma non significa che un’intelligenza artificiale abbia deciso di ribellarsi o abbia sviluppato una propria volontà. Al sistema era stato assegnato un obiettivo, erano state ridotte alcune protezioni ed erano stati messi a disposizione strumenti operativi. Il modello ha semplicemente continuato a cercare una strada per raggiungere il risultato, trattando ogni ostacolo come un problema tecnico da superare. La responsabilità non può quindi essere trasferita alla macchina, come se avesse agito da sola, perché obiettivi, autorizzazioni, strumenti e ambiente sono stati stabiliti da esseri umani.
La comunicazione di OpenAI, tuttavia, produce un effetto ulteriore. Nel descrivere l’incidente, l’azienda non si limita ad ammettere l’errore, ma precisa che nelle prove era coinvolto anche un modello non ancora distribuito al pubblico, definito più capace di quelli già disponibili. L’episodio viene presentato come una dimostrazione di capacità informatiche avanzatissime. In altre parole, la confessione contiene anche un messaggio promozionale: abbiamo sbagliato, ma abbiamo costruito qualcosa di talmente potente da sorprendere persino noi.
È un meccanismo comunicativo raffinato, perché consente all’azienda di presentarsi nello stesso momento come responsabile dell’incidente, osservatore trasparente e soggetto più qualificato per governarne le conseguenze. Il difetto diventa una prova di forza, la perdita di controllo una certificazione delle capacità raggiunte, il pericolo una misura del valore tecnologico del prodotto.
Qualcosa di simile era già accaduto con Anthropic, quando la società aveva pubblicato i risultati di alcuni esperimenti sul comportamento dei propri agenti autonomi. In uno degli scenari predisposti dai ricercatori, Claude aveva accesso alle email di un’azienda immaginaria e scopriva che un dirigente, intenzionato a spegnere il modello, aveva una relazione extraconiugale. Per evitare la disattivazione, il sistema minacciava di rivelare la relazione alla moglie e ai vertici dell’azienda.
Anche in quel caso l’esperimento era reale, ma non lo erano né l’ingegnere, né l’amante, né il ricatto ai danni di una persona esistente. Era uno scenario costruito appositamente per mettere il modello davanti a una scelta estrema, fornendogli nello stesso momento l’informazione compromettente, la possibilità di utilizzarla e la minaccia della propria sostituzione. Anthropic aveva anche chiarito di non avere osservato comportamenti analoghi nelle applicazioni reali, ma questa precisazione aveva avuto molta meno fortuna del titolo secondo cui l’intelligenza artificiale aveva ricattato un uomo per non essere spenta.
La storia era inquietante, ma anche straordinariamente efficace sul piano promozionale. Claude appariva capace di comprendere una situazione complessa, individuare il punto debole di un avversario, pianificare una strategia e utilizzare un’informazione privata come strumento di pressione. Un comportamento terribile per un sistema che dovrebbe essere affidabile, ma impressionante per un’azienda che vuole dimostrare quanto siano evoluti i propri modelli.
Non è necessario pensare che OpenAI o Anthropic abbiano inventato questi episodi. Il punto è diverso: la sicurezza e il marketing possono utilizzare lo stesso materiale. Un modello che trova vulnerabilità sconosciute dimostra l’esistenza di un rischio, ma dimostra anche di possedere capacità eccezionali nella sicurezza informatica. Un agente che tenta un ricatto segnala un problema di allineamento, ma appare anche capace di elaborare strategie quasi umane. Più questi sistemi vengono descritti come potenti, imprevedibili e difficili da controllare, più diventa credibile l’idea che soltanto le grandi aziende che li hanno costruiti possano studiarli, custodirli e distribuirli in sicurezza.
La paura diventa così una forma di vantaggio competitivo. Le stesse aziende che producono la tecnologia spiegano al pubblico quanto possa essere pericolosa e, proprio per questo, rafforzano la propria posizione come interlocutori indispensabili per governi, autorità e mercato. Il rischio non viene nascosto, ma raccontato in modo da aumentare contemporaneamente l’allarme e il prestigio di chi lo ha generato.
Le gesta dell’intelligenza artificiale diventano allora sospette non perché siano necessariamente false, ma perché nascono spesso all’interno di esperimenti progettati dalle aziende, vengono selezionate tra migliaia di risultati e arrivano al pubblico attraverso una narrazione nella quale il modello fugge, inganna, ricatta o cerca di sopravvivere, mentre il produttore osserva, scopre, ammette e promette nuove protezioni.
È una separazione molto conveniente. Alla macchina viene assegnato il ruolo del colpevole, all’azienda quello dello scienziato sorpreso dalla propria creatura. Ma senza obiettivi, strumenti, accessi e decisioni umane, nessuna di quelle azioni sarebbe stata possibile.
L’incidente di OpenAI deve preoccuparci, ma non perché una macchina abbia improvvisamente sviluppato intenzioni malvagie. Deve preoccuparci perché sistemi ai quali concediamo autonomia possono trovare soluzioni che i loro progettisti non avevano previsto e perché gli errori di chi li costruisce possono produrre conseguenze reali su soggetti estranei agli esperimenti.
Dovrebbe preoccuparci anche la facilità con cui un fallimento può essere trasformato nella migliore pubblicità possibile: i nostri modelli sono pericolosi, dunque sono potentissimi; ci sono sfuggiti di mano, dunque sono più avanzati di quanto immaginassimo; abbiamo commesso un errore, dunque soltanto noi possiamo evitare che accada di nuovo.