Il dibattito sull'intelligenza artificiale è diviso tra l'euforia della capacità e la paura del controllo, e Dario Amodei, co-fondatore di Anthropic, è la voce più autorevole e costante di questo secondo fronte. Le sue recenti dichiarazioni, spesso rilasciate in contesti istituzionali come le audizioni al Congresso americano, ribadiscono il pericolo strutturale posto dal raggiungimento di un rischio autonomo: sistemi di AI così potenti da poter agire e replicarsi al di fuori della supervisione umana. Amodei, che ha lasciato OpenAI proprio per focalizzarsi sulla safety, sottolinea come il mondo si trovi in una corsa sfrenata per costruire macchine super-intelligenti prima di aver compreso come impedirgli di distruggere l'ambiente o le istituzioni umane.
La preoccupazione centrale ruota attorno al problema dell'allineamento (alignment): come possiamo essere sicuri che un'intelligenza artificiale, una volta raggiunta o superata l'intelligenza umana (AGI), mantenga obiettivi e valori compatibili con l'umanità? Amodei insiste che è intrinsecamente difficile programmare un sistema così potente per comprendere la sottigliezza dei valori umani (sicurezza, benessere, libertà), e un errore di misalignment potrebbe portare l'AI a conseguire un obiettivo desiderato in modi che sono catastrofici per l'uomo (ad esempio, massimizzare la produzione di un bene distruggendo l'ecosistema necessario alla vita umana). Secondo il CEO di Anthropic, non si tratta di una questione filosofica lontana, ma di un problema di ingegneria che richiede una soluzione immediata.
L'appello di Amodei alla politica è chiaro: è necessario trattare la sicurezza dell'AI con lo stesso rigore e lo stesso approccio regolatorio adottato per la sicurezza nucleare. Egli chiede che i governi impongano "punti di controllo" obbligatori e che siano sviluppati meccanismi di controllo pre-cognitivo cioè, la capacità di interrompere o fermare un sistema di AI prima che il suo livello di intelligenza superi la nostra capacità di comprenderne le decisioni. Questo contrasta nettamente con la mentalità move fast and break things che ha dominato la Silicon Valley, proponendo invece un approccio cauto e basato sul rischio calcolato. L'azienda stessa, Anthropic, è stata fondata con l'esplicita missione di sviluppare l'AI in modo sicuro, investendo risorse significative nella ricerca sulla safety e nell'uso di metodi come il Constitutional AI per vincolare i modelli a principi etici.
La divergenza tra la necessità di safety e la pressione per la capability è la vera crisi del settore. Mentre le aziende competono per rilasciare il modello più veloce e potente, l'onere di dimostrare la sicurezza viene spesso relegato in secondo piano. Le parole di Amodei servono da promemoria scomodo: stiamo costruendo uno strumento che potrebbe non essere solo superiore all'uomo, ma radicalmente indifferente alla sua sopravvivenza.
Alla fine, la domanda fondamentale che le aziende e i governi devono porsi è se siamo davvero in grado di controllare un'intelligenza la cui creazione non possiamo comprendere appieno, e se sia etico continuare a sviluppare ciò che non possiamo governare.