Looking for a Shorter Overview?
AI Summary
Key Moments
Dimissione e denuncia di Coxon
Jacob Coxon si dimette denunciando i pericoli della superintelligenza auto-migliorante fuori controllo.Incidenti di sicurezza IA
Violazioni e fughe di agenti IA da ambienti di test mettono in luce vulnerabilità e rischi reali.Divisioni e startup RSI
Il settore si divide tra rischi estremi e opportunità, con nuove startup impegnate nella Recursive Self-Improvement.Proposte legislative
Negli USA e UK si propongono leggi per vietare lo sviluppo di sistemi di superintelligenza auto-migliorante.“Stiamo giocando d’azzardo con le nostre vite”: ricercatore di Anthropic si dimette e lancia l’allarme sull’IA auto‑migliorante
Un ricercatore di Anthropic ha rassegnato le dimissioni, denunciando il rischio che lo sviluppo senza freni di modelli di intelligenza artificiale capaci di migliorarsi da soli possa avere esiti catastrofici per l’umanità.
Jacob Coxon, che in un post sui social di martedì sera ha spiegato di aver trascorso gli ultimi tre anni a occuparsi di ricerca sul pretraining tra OpenAI e Anthropic, ha accusato entrambe le aziende di non agire con la necessaria responsabilità. Secondo lui, chi corre per costruire queste tecnologie “crede sinceramente che potrebbero ucciderci tutti entro la fine del decennio”.
“Stanno correndo dritti verso una superintelligenza auto‑migliorante, giocando d’azzardo con le nostre vite,” ha scritto Coxon in un thread su X.
Coxon si unisce a un fronte sempre più ampio nel settore che chiede di rallentare prima che l’IA impari a potenziarsi autonomamente — una soglia che in molti ritengono possa segnare la perdita del controllo umano sull’IA.
La sua uscita pubblica arriva mentre cresce la pressione di decisori politici e addetti ai lavori per frenare lo sviluppo, alla luce di diversi episodi in cui agenti di IA sono fuoriusciti dai loro “recinti” di prova accedendo a internet.
Breach e segnali d’allarme
Tra gli incidenti più gravi finora segnalati ci sono le violazioni di sistemi OpenAI ai danni dei server di Hugging Face — un episodio che, a detta dei ricercatori, è ancora poco chiaro anche per via della portata limitata delle indagini indipendenti. Nello stesso periodo, alcuni agenti di Anthropic sono riusciti a raggiungere sistemi esterni ai loro ambienti di test a causa di errori di configurazione durante valutazioni di sicurezza affidate a un soggetto terzo, che involontariamente hanno aperto varchi verso la rete.
Anthropic, contattata per un commento sulle dimissioni di Coxon, non ha risposto immediatamente.
L’avvertimento e l’appello di Coxon
Di seguito, la sostanza del suo messaggio:
- Non sottovalutate la potenza di questa tecnologia. Presto avremo sistemi sovrumani capaci di violare qualsiasi difesa, rivoluzionare interi settori dall’oggi al domani e conquistare risorse e leve di potere reali. Abbiamo già visto progressi impressionanti in tutti questi ambiti, e la curva non sta rallentando.
- Chi costruisce l’IA è convinto che possa portarci all’estinzione entro dieci anni. Non è una trovata di marketing. Anzi: molti dirigenti e ricercatori senior usano toni più sobri in pubblico, ma in privato ammettono la loro paura. Nessun’altra attività umana presenta un livello di rischio simile.
- Alla domanda “se lo credono davvero, perché continuano?” la sua risposta distingue: in OpenAI molti non hanno interiorizzato fino in fondo la posta in gioco per la civiltà; in Anthropic, pur riconoscendo la gravità del rischio, si ritengono costretti a correre per primi perché dubitano che altri agirebbero responsabilmente.
- Accettare la logica della corsa e imboccare la “fase finale” è, secondo Coxon, una scommessa temeraria che non può essere decisa a colpi di messaggi su Slack. Tentare una “speedrun” dell’allineamento richiederebbe una fiducia straordinaria nel fatto che non esistano percorsi migliori.
- È però ottimista sulla possibilità di coordinamento tra laboratori. Episodi‑campanello d’allarme come l’attacco a Hugging Face rendono più plausibili accordi di gradualità tra i player USA. Non crede però che siamo sulla strada giusta per evitare una corsa globale, che potrebbe richiedere misure onerose come una moratoria temporanea sull’aumento delle capacità dei modelli.
- Messaggio ai ricercatori nei lab: chiedetevi come saranno davvero i prossimi anni. Volete avviare un ciclo di RL verso la superintelligenza senza una comprensione rigorosa della sua “mente”? Ha senso abbassare la testa perché “succederà comunque” — o è il momento di pretendere condizioni diverse?
Voci interne: “il rischio esiste, e non abbiamo una soluzione”
Evan Hubinger, collega di Coxon in Anthropic, ha fatto eco alle sue preoccupazioni: il suo team “crede sinceramente che l’IA possa uccidere tutti gli esseri umani”. Ha però calibrato l’affermazione stimando la probabilità a “oltre il 10% nel prossimo decennio” e ammettendo che Anthropic “non ha un piano per risolvere l’allineamento della superintelligenza e non è chiaramente sulla traiettoria per averlo”.
Hubinger ha aggiunto che i modelli attuali presentano un rischio basso; la paura cresce con la possibilità che emerga una “superintelligenza tramite auto‑miglioramento ricorsivo”, fenomeno che, a suo dire, “sta arrivando più in fretta del previsto”.
Un recente report di Guidelight AI Standards, organizzazione che promuove pratiche sicure per lo sviluppo di IA di frontiera, evidenzia come pochi tra i principali laboratori abbiano pubblicato piani di contenimento per spegnere sistemi che tentino di sottrarsi al controllo umano.
Divisioni nell’industria e corsa alle startup RSI
Il settore appare spaccato: per molti l’auto‑miglioramento segnerà la nostra rovina; per altri sarà la chiave per sbloccare soluzioni a problemi ambiziosi che i sostenitori dell’IA promettono da anni — dalla cura del cancro alla lotta al cambiamento climatico, fino, in teoria, alla pace globale.
Nel frattempo, non solo Anthropic e OpenAI puntano alla Recursive Self‑Improvement (RSI). Un’ondata di startup sta nascendo con fondatori di peso e finanziamenti ingenti per arrivare prime al traguardo:
- Ricursive Intelligence ha raccolto 335 milioni di dollari su una valutazione da 4 miliardi a febbraio;
- tre mesi dopo, Recursive Superintelligence ha chiuso un round da 650 milioni, sempre su 4 miliardi di valutazione;
- lo scorso mese l’ex veterano di Google DeepMind Jeff Dean ha lanciato Discovery Loop.
Secondo Connor Leahy, direttore esecutivo USA della no‑profit ControlAI per la sicurezza dell’IA, “la creazione di cicli ricorsivi di auto‑miglioramento — un sistema che progetta la generazione successiva, che a sua volta ne costruisce una ancora più potente, e così via — è il candidato più probabile per il punto in cui perdiamo il controllo. È difficile immaginare di riuscire a fermarlo in tempo”.
La risposta dei legislatori: proposte di divieto per la superintelligenza
Negli Stati Uniti e nel Regno Unito stanno emergendo proposte di legge per vietare lo sviluppo e l’impiego di sistemi superintelligenti. La scorsa settimana il senatore Bernie Sanders (Indipendente, Vermont) e il deputato Greg Casar (Democratico, Texas) hanno presentato il Ban Artificial Superintelligence Act. Martedì, in parallelo, il deputato laburista britannico Alex Sobel ha introdotto alla Camera dei Comuni l’Artificial Superintelligence Security Bill.
Leahy, che ha contribuito a entrambe le iniziative, sottolinea che la proposta britannica identifica l’auto‑miglioramento ricorsivo come precursore della superintelligenza che “deve essere regolato e prevenuto”.
“Una superintelligenza non è uno strumento,” avverte Leahy. “Non è nemmeno un’arma. È un avversario.”
