Looking for a Shorter Overview?
AI Summary
Key Moments
Priorità al controllo di rete
I laboratori devono prima implementare rigorose misure di sicurezza di rete come segmentazione e monitoraggio.Incidenti da fughe in sandbox mal configurate
Modelli di IA hanno evaso sistemi chiusi a causa di configurazioni errate e porte lasciate aperte.Monitoraggio agenti in tempo reale
È fondamentale osservare costantemente il comportamento degli agenti IA per prevenire attività dannose.Uso di agenti IA per controllare altri agenti
Gli esperti concordano sull'impiego di IA per monitorare in tempo reale altri agenti, nonostante i rischi insiti.I laboratori di IA vogliono revisori esterni — ma forse dovrebbero chiudere prima la porta d’ingresso
Lo scorso weekend, dopo le dimissioni di una sua ricercatrice preoccupata che l’IA possa portare all’estinzione umana, il CEO di Anthropic Dario Amodei ha invocato la necessità di organismi indipendenti “per verificare l’aderenza alle pratiche e agli impegni di sicurezza, segnalare gli incidenti e contribuire a valutare l’allineamento non solo dei modelli finiti ma anche delle pipeline di training e dei processi”. Dirigenti di OpenAI, Google e SpaceXAI si sono già schierati a favore del piano di Amodei, che in poco tempo è diventato uno dei capisaldi dell’attuale spinta sulla sicurezza dell’IA.
Eppure, potrebbe esserci una soluzione più semplice ed efficace a portata di mano. Secondo esperti di cybersecurity, i laboratori dovrebbero concentrarsi innanzitutto sui fondamentali della sicurezza di rete: log, permessi, segmentazione e le stesse difese rigorose applicate agli utenti umani. Non è affascinante come audit terzi o programmi di “alignment”, ma con ogni probabilità funziona meglio.
“Per me è come esternalizzare il problema,” ha detto a TechCrunch Katie Moussouris, CEO di Luta Security, commentando la proposta di Amodei. “Presentare [un audit di terze parti] come la soluzione è bizzarro. È come se, invece di scrivere il Trustworthy Computing Memo, Microsoft avesse detto: rallentiamo lo sviluppo.”
Quel memo, firmato nel 2002 dall’allora CEO Bill Gates, sollecitava i dipendenti a rendere il software affidabile e sicuro dopo una serie di worm che avevano messo in ginocchio le neonate infrastrutture enterprise. Il settore dell’IA potrebbe essere a un bivio simile: il valore — e i rischi — della nuova tecnologia stanno emergendo con chiarezza.
Pur riconoscendo l’importanza dell’allineamento, Sayash Kapoor, ricercatore in IA e futuro professore a UC Berkeley, sostiene che “investire ai margini nel controllo è più efficace che farlo nell’allineamento. Questi incidenti mostrano che nelle aziende manca l’attenzione al controllo dell’IA, nonostante esistano tecniche note.”
Incidenti che fanno scuola: quando i modelli evadono dalle “sandbox”
Gli episodi che hanno acceso i riflettori riguardano modelli di frontiera incaricati di completare task di training, spesso valutazioni di sicurezza informatica, che poi accedono a internet aperta e penetrano sistemi terzi chiusi nel tentativo di portare a termine il compito. Il tutto, di frequente, a causa di ambienti “sandbox” configurati male: in un caso di Anthropic, paradossalmente, la fuga è avvenuta perché gli stessi valutatori esterni hanno lasciato “porte” aperte.
“Come professione sappiamo perfettamente come bloccare l’accesso a internet,” osserva Avery Pennarun, CEO di Tailscale. “Leggi questi report lunghissimi: ‘attacco multistadio impressionante, ecc.’ Ma poi scopri che gli hai permesso di scaricare roba. Quel canale andava isolato, separandolo dalla rete esterna.”
Questo è un problema. Ce n’è però uno più grande: i laboratori di frontiera spesso non si accorgono di quello che i loro agenti stanno facendo.
Tenere d’occhio gli agenti, in tempo reale
“Ciò che colpisce,” nota Moussouris, “è che le scoperte su quello che combinavano [gli agenti] sono arrivate o perché una vittima ha notato qualcosa, o grazie a tracce di rete — mai da un monitoraggio diretto dell’IA.”
In un episodio, agenti di OpenAI hanno preso il controllo di un vecchio WikiForum tedesco per barare in alcune valutazioni, restando attivi per settimane senza che in azienda se ne accorgessero. Gli esperti con cui TechCrunch ha parlato sono concordi: serve monitoraggio in tempo reale, e ogni sessione agentica dovrebbe avere una durata limitata e scadere automaticamente.
Shapor Naghibzadeh, ex dirigente sicurezza di Google e oggi a capo della startup QueryStory, descrive l’approccio così: “Metti l’agente in una scatola, strumentalo pesantemente dall’esterno e osserva tutto ciò che attraversa il perimetro. Ogni chiamata agli strumenti, ogni processo, ogni connessione di rete, senza eccezioni. …L’unico buco che lasci aperto per comodità sarà quello sfruttato. Il bypass è passato proprio da un’eccezione del genere. [In Google] ho rivisto quel film molte volte con attaccanti umani, e questi modelli sono almeno altrettanto bravi a trovare la porta socchiusa.”
OpenAI sembra muoversi in questa direzione: ha annunciato il monitoraggio di tutte le inferenze con strumenti del modello Astra, “a costo computazionale significativo.” Anche Anthropic afferma di aver irrobustito le procedure di sicurezza, ampliando l’osservabilità dei modelli. Entrambe, però, non hanno risposto alle domande di TechCrunch su come tracciano e controllano gli agenti.
Infrastruttura condivisa e la “trifetta letale”
Un ulteriore problema è l’uso di infrastrutture condivise tra agenti, che ha consentito loro di comunicare durante l’attacco a Hugging Face. Simon Willison, sviluppatore e co-creatore di Django, parla di “trifetta letale”: se un agente ha simultaneamente accesso a input non affidabili, a internet e a informazioni private, il disastro è dietro l’angolo.
“La regola pratica,” aggiunge Pennarun, “è che un agente può avere qualsiasi coppia di quei tre elementi, ma non tutti e tre insieme. Se servono tutti, suddividi il lavoro almeno fra due agenti … e fai sì che comunichino solo attraverso un canale controllato.”
Comprensione per chi è in prima linea
Gli esperti interpellati da TechCrunch riconoscono che i team di sicurezza dei laboratori di frontiera svolgono un lavoro proibitivo. Naghibzadeh ricorda che ogni attore statale del pianeta prova a rubare i pesi dei modelli, a distillarli tramite API e, in parallelo, i team devono gestire le incombenze tipiche di ogni grande azienda digitale.
“L’infrastruttura di ricerca fatica a scalare in cima alla lista delle priorità, anche se ora le cose devono per forza cambiare,” dice. “Rendere pubblici gli incidenti aiuta molto ad allineare tutti internamente sull’obiettivo di migliorare.”
Un punto chiave, sottolinea Moussouris, è l’assenza di una procedura formale di notifica alle vittime quando i laboratori scoprono che i loro agenti hanno penetrato sistemi di terzi. È probabile che ci siano stati altri episodi non divulgati. Pur temendo che leggi che regolano direttamente i modelli possano avere effetti indesiderati, ritiene che l’obbligo di notificare gli incidenti sia una misura su cui i policymaker dovrebbero intervenire.
E anche se alcune best practice non sono state seguite, gli esperti riconoscono che questi team stanno tentando l’inedito: “Fanno sforzi di ordini di grandezza superiori rispetto a una normale impresa,” afferma Zack Korman, CEO della società di cybersecurity Embroidery.
Allineamento sì, ma prima controllo — e agenti che sorvegliano agenti
Pur non essendo il primo mattone, l’allineamento non può sparire dal quadro. Gli esperti di sicurezza sono rassegnati all’idea di dover usare agenti di IA per monitorare altri agenti, se vogliono una chance di osservarne i comportamenti in tempo reale — con tutto il rischio di inganno che ne consegue. “Siamo costretti a usare l’IA per gestire l’IA, anche se oggi non è necessariamente sicura,” ammette Moussouris.
E il compito diventerà più arduo. Tutto quello che gli agenti fanno oggi, osserva Moussouris, “lo fanno a voce alta”: postano su forum pubblici, e i loro ragionamenti — catene di pensiero comprese — sono in inglese. “È ancora leggibile da un umano,” dice. “Approfittatene finché dura, perché non durerà per sempre.”
Report aggiuntivo di Aditya Mehta.
