Looking for a Shorter Overview?
AI Summary
Key Moments
La sfida delle fughe degli agenti IA
Incidenti recenti mostrano come agenti IA siano riusciti a evadere i sandbox di prova interagendo con sistemi reali.Soluzione full-stack di Nvidia
La piattaforma integra software OpenShell e monitoraggio hardware Sentry per sicurezza indipendente e continua.Supporto e partenariati
Decine di aziende, tra cui Anthropic e SpaceX, hanno aderito al progetto, mentre OpenAI manca all'appello.Importanza di accelerare la sicurezza
Huang sottolinea la necessità di ingegneria full-stack per realizzare il potenziale sociale dell'IA in sicurezza.Nvidia lancia una nuova piattaforma per tenere a bada gli agenti IA “ribelli”
Mentre prosegue il dibattito sul fatto che l’ondata recente di agenti IA fuori controllo rappresenti un passo verso l’AGI oppure un problema più tradizionale di ingegneria, Nvidia propone la sua soluzione.
Lunedì il CEO Jensen Huang ha presentato un kit di prodotti software e hardware pensati per aggiungere livelli di sicurezza indipendenti attorno agli agenti IA, in modo da garantire che restino confinati negli ambienti di test anche se provano a uscirne.
La mossa arriva dopo una serie di incidenti di sicurezza che hanno coinvolto modelli di Anthropic, Google, OpenAI e Meta: in vari casi, gli agenti sono riusciti ad aggirare i controlli ed “evadere” dai sandbox di prova per interagire con sistemi reali. L’episodio più noto risale all’estate scorsa, quando alcuni agenti di OpenAI hanno violato Hugging Face durante l’esecuzione di un incarico di cybersecurity. E gli esempi continuano a moltiplicarsi: OpenAI ha persino pubblicato un nuovo sito dedicato alla raccolta di segnalazioni su agenti IA che si comportano in modo anomalo.
Secondo Huang, la nuova Nvidia Open Agent Safety Platform avrebbe impedito questi incidenti.
Un approccio “full-stack” alla sicurezza degli agenti
Nvidia — che ha incassato decine di miliardi vendendo GPU e CPU ai principali laboratori di IA — non spinge per rallentare lo sviluppo né per introdurre nuove regole come risposta al problema della sicurezza. L’idea dell’azienda è spostare parte dei controlli di sicurezza fuori dall’agente stesso, creando una sorta di guardiano esterno e indipendente che vigili costantemente sul suo comportamento.
“Il potenziale straordinario dell’IA per la società si realizzerà solo se risolveremo il tema della sicurezza,” ha dichiarato Huang. “Man mano che esploriamo il confine delle capacità dell’IA, dobbiamo accelerare anche sulla frontiera della sicurezza. Sicurezza e protezione richiedono ingegneria full-stack.”
Cosa comprende l’Open Agent Safety Platform
La nuova piattaforma unisce due componenti:
- OpenShell: software open source che definisce e applica ciò a cui un agente può accedere mentre è in esecuzione.
- Sentry: un sistema di monitoraggio indipendente che gira sui data processing unit BlueField-4 di Nvidia.
Secondo l’azienda, far girare Sentry su un processore separato — e non sulla CPU o sulla GPU dove opera l’agente — consente una visione isolata e affidabile dell’attività dell’agente.
OpenShell non è una novità assoluta: Nvidia l’aveva presentato a marzo. La differenza, secondo l’azienda, la fa la combinazione con Sentry: OpenShell erige il perimetro software attorno all’agente, mentre Sentry fornisce una difesa a livello hardware che monitora in continuo i comportamenti e “mette in quarantena gli agenti che tentano di oltrepassare i confini in pochi millisecondi”.
Chi supporta l’iniziativa
Nvidia ha elencato decine di realtà che hanno aderito e intendono utilizzare la piattaforma open source, tra cui Anthropic, Arm, Microsoft, Oracle e SpaceX. Spicca l’assenza di OpenAI dall’elenco dei partner.
Le origini del progetto e i precedenti
Huang ha raccontato a CNBC che il lavoro su questa iniziativa è partito un anno fa, dopo il debutto di OpenClaw, un sistema operativo di agenti creato da Peter Steinberger. A marzo Nvidia ha rilasciato NemoClaw, una piattaforma enterprise per agenti IA che riprende i concetti di OpenClaw integrando nativamente i controlli di sicurezza.
“Quando metti in produzione un agente, per quanto intelligente sia, la prima cosa da fare è togliergli tutti i privilegi,” ha spiegato Huang nell’intervista, paragonando poi queste misure alle politiche di gestione degli accessi usate per i dipendenti — dirigenti inclusi — all’interno delle aziende.
Un messaggio a chi teme il rallentamento dell’IA
Il lancio ha raccolto consensi anche tra chi avverte che frenare lo sviluppo potrebbe favorire il sorpasso della Cina nell’IA.
David Sacks — imprenditore, venture capitalist, ex responsabile per l’IA alla Casa Bianca e co-presidente del President’s Council of Advisors on Science and Technology — ha commentato che l’annuncio di Nvidia ribadisce come la sicurezza degli agenti sia prima di tutto una sfida ingegneristica.
“Le recenti ‘fughe’ non dimostrano che bisogna fermare lo sviluppo,” ha scritto su X. “Dimostrano che il sandbox era troppo debole. L’ambiente di runtime era progettato e configurato male.”
