Anthropic ha annunciato lo sviluppo di un sistema che impedisce al suo chatbot Claude di fornire assistenza nella progettazione di armi nucleari. L’azienda ha collaborato con NNSA e DOE per testare modelli in ambiente ad alto livello di sicurezza e progettare un “nuclear classifier” capace di identificare conversazioni pericolose.
Il filtro è stato costruito su una lista di indicatori di rischio nucleare sviluppata da NNSA e include conversazioni sulle fasi critiche di progettazione di armi. Durante i test in cloud AWS top-segreto sono stati effettuati esercizi di red-teaming per verificare vulnerabilità e affinare lo strumento.
Gli esperti restano però scettici sull’efficacia reale della misura: se Claude non è mai stato addestrato su dati sensibili alle armi, il criterio di intervento potrebbe non intercettare nuove modalità di uso improprio.
La partnership segna comunque un passo inedito nel rapporto tra industria dell’intelligenza artificiale e sicurezza nazionale. Il modello scelto prevede che il metodo venga condiviso con l’Frontier Model Forum affinché altre aziende possano adottarlo come standard di sicurezza.
Il vero nodo resta il bilanciamento tra accesso al sapere tecnico e restrizioni alla ricerca: se troppe barriere si frappongono tra scienza e sicurezza, si rischia di rallentare innovazione; se le protezioni sono troppo leggere, il rischio di proliferazione resta concreto.