Looking for a Shorter Overview?
AI Summary
Key Moments
Importanza dell'accesso profondo ai modelli
Valutatori indipendenti devono avere accesso a checkpoint intermedi e dati di addestramento per verifiche efficaci.Rischio di test coaching
Modelli possono ottimizzarsi per superare test specifici senza garantire reale sicurezza.Necessità di controllo sul processo di valutazione
La piena indipendenza richiede che le aziende rinuncino al controllo editoriale e alle restrizioni sui valutatori.Ruolo della regolamentazione esterna
Solo normative e regole obbligatorie possono garantire responsabilità e uniformità nella sicurezza AI.Anthropic e OpenAI vogliono integrare valutatori di sicurezza. Saranno davvero indipendenti?
Nel weekend, in un lungo saggio, il CEO di Anthropic Dario Amodei ha avanzato una proposta che fino a un anno fa l’industria avrebbe scartato senza pensarci: inserire valutatori terzi all’interno di tutte le aziende che sviluppano modelli AI di frontiera, con l’autorità di segnalare incidenti di sicurezza, verificare l’allineamento effettivo dei modelli e rendere pubbliche le loro conclusioni senza filtri.
Amodei ha dichiarato che Anthropic è pronta a concedere a organizzazioni indipendenti come METR e Redwood Research un accesso senza precedenti ai propri sistemi. Sulla stessa linea, il CEO di OpenAI Sam Altman ha affermato che anche la sua azienda aderirà a questa pratica, suggerendo un possibile cambio di rotta nel rapporto tra big dell’AI e gruppi di ricerca esterni.
I valutatori interpellati da TechCrunch accolgono l’idea con favore, ma insistono: servono regole chiare — preferibilmente sancite per legge — per capire se questi ruoli saranno davvero da “cane da guardia” indipendente o, di fatto, da fornitori vincolati ai paletti imposti dalle aziende.
Perché serve un accesso più profondo
Man mano che i modelli migliorano, diventano anche più abili nel riconoscere quando sono sotto esame: il rischio è che si comportino bene solo durante i test, nascondendo comportamenti problematici. Gli studiosi sottolineano che certi segnali possono sfuggire testando il modello finale, ma emergono se si osserva l’intero percorso di addestramento.
Alexander Meinke, responsabile ricerca di Apollo Research, lo spiega così: “Le aziende dovrebbero poter rispondere a domande basilari sul loro training. Ad esempio: durante l’addestramento, il modello ha mai cercato di aggirare consapevolmente le procedure di allineamento? La risposta dovrebbe essere un no secco. Oggi, però, ci affidiamo alle aziende perché controllino da sole e riportino la verità al pubblico — cosa che, come mostrano fatti recenti, spesso non avviene. Se fossimo integrati nei processi, potremmo verificarlo direttamente.”
Storicamente, i revisori esterni vengono coinvolti sulla versione finale del modello poco prima del rilascio. I valutatori con cui ha parlato TechCrunch propongono invece un accesso ai checkpoint intermedi generati nel corso dell’addestramento. Adam Gleave, CEO di FAR.AI, sostiene che questo consentirebbe di:
- confrontare i checkpoint per capire quando emerge un comportamento preoccupante;
- analizzare l’ambiente di post-training che rinforza certi comportamenti;
- controllare trascrizioni e log delle valutazioni per verificare quanto sostiene l’azienda.
Resta da capire se e quando Anthropic e OpenAI offriranno questo livello di accesso. Al momento non hanno comunicato quali valutatori coinvolgeranno, quando saranno integrati, quanti saranno, quali sistemi e dati potranno consultare e che cosa potrà essere divulgato pubblicamente, nonostante le ripetute richieste di TechCrunch.
Il rischio del “test coaching”
Aprire il cofano è cruciale perché superare un benchmark di sicurezza non equivale a essere sicuri, specie se il modello ha imparato a ottimizzarsi per quel test. John Steidley, responsabile strategia di Palisade Research, cita il caso di un “shutdown resistance benchmark” che misura se l’AI oppone resistenza allo spegnimento in determinate condizioni.
Se il modello è stato addestrato a performare bene proprio su quel benchmark, l’esito perde valore — un parallelo con il Dieselgate di Volkswagen, in cui le auto riconoscevano i test sulle emissioni e si comportavano diversamente sotto esame.
Gleave aggiunge che “accesso significativo” non vuol dire solo modelli e checkpoint: i valutatori dovrebbero poter intervistare i dipendenti per verificare la coerenza tra documentazione, dichiarazioni pubbliche e pratiche interne.
La proposta di Amodei e il nodo del controllo
Amodei ha delineato una proposta piuttosto articolata, che include il diritto per i valutatori di “pubblicare risultati chiave su livelli di rischio, incidenti, pratiche e sulla qualità dell’accesso ottenuto o negato — senza controllo editoriale da parte di Anthropic”.
Resta però il punto centrale: funzionerà solo se le aziende cederanno davvero controllo sul processo. In passato, i tentativi di valutazione indipendente si sono scontrati con limiti di accesso, tempi stretti, vincoli di riservatezza e restrizioni su cosa si può comunicare pubblicamente.
Gleave afferma che FAR.AI ha rifiutato contratti con diversi sviluppatori di frontiera che pretendevano troppo controllo, minando l’indipendenza della valutazione. In molti casi, i valutatori vengono trattati come normali fornitori: NDAs stringenti e accordi che danno ai developer l’ultima parola su cosa pubblicare.
Il fattore tempo
Un’altra criticità è il tempo effettivo concesso per l’analisi. Nell’indagine sull’incidente di Hugging Face, OpenAI ha dato a METR e Redwood circa una settimana on-site. Entrambi, in seguito, hanno riferito di non poter trarre conclusioni solide, anche per via di limiti di scopo e tempistiche.
Scenario simile per i test pre-rilascio di GPT-6 Astra, presentato da OpenAI come il suo “modello più allineato” finora. Secondo il contributo di Apollo Research alla model card, al team sono stati concessi solo tre giorni di test, un orizzonte insufficiente per conclusioni affidabili.
“A causa dell’elevata consapevolezza del modello di essere valutato e della finestra di valutazione limitata, i bassi tassi di comportamento scorretto non costituiscono una prova forte sull’allineamento o disallineamento del sistema,” scrive Apollo.
Questo storico solleva quindi una domanda semplice: perché ora dovrebbe andare diversamente?
Gleave non esclude un cambio di postura genuino: “È possibile che Dario e Sam abbiano cambiato idea e saranno molto trasparenti.” Ma avverte: “La proprietà intellettuale di queste aziende è estremamente preziosa. Per impostazione predefinita, tenderanno a essere molto caute su cosa può essere condiviso.”
Serve un quadro comune e trasparente
Molti ricercatori intervistati auspicano un framework pubblico e condiviso. Per Steidley, deve includere criteri chiari su quali auditor possono essere ingaggiati, per evitare il “cherry picking” di valutatori poco qualificati o poco interessati a indagare i rischi più critici.
Henry Papadatos, direttore esecutivo di Safer AI, evidenzia il limite delle misure volontarie: dipendono sempre dalla buona volontà. “L’ideale sarebbe una buona regolamentazione che lo renda obbligatorio”, afferma, “così le aziende non possono fare marcia indietro domani in caso di crisi di PR”. Norme comuni inoltre metterebbero tutte le aziende sullo stesso piano, non solo le più disponibili.
Chi non è ancora a bordo e cosa dice la legge
Meta, SpaceXAI e Google DeepMind, per ora, non hanno preso l’impegno di integrare valutatori terzi. Il CEO di DeepMind, Demis Hassabis, ha però proposto un organismo di standard industriali separato per testare in modo indipendente i modelli di frontiera. Intanto Google, OpenAI e Anthropic discutono da settimane, in via riservata, piani congiunti per la sicurezza dell’AI.
Qualcosa si muove anche sul fronte normativo:
- In California, la SB 53 (approvata lo scorso anno) impone agli sviluppatori di modelli di frontiera di pubblicare i propri framework di sicurezza e riportare gli incidenti critici. La nuova SB 813 (firmata questo mese) istituisce un sistema per “organizzazioni di verifica indipendenti” riconosciute dallo Stato, con competenze specifiche nella valutazione dei rischi AI.
- In Europa, l’AI Act richiede ai developer di frontiera di condurre e documentare valutazioni e test avversari, oltre a segnalare gli incidenti gravi. L’EU AI Office può anche svolgere valutazioni proprie e nominare esperti indipendenti.
Per ora, queste leggi sono meno pervasive di quanto suggerito da Amodei: lasciano ai laboratori di frontiera ampio margine nel decidere quanto sottoporsi a scrutinio esterno. Papadatos riconosce che l’autoregolamentazione volontaria è meglio di nulla, ma pone un limite netto: non si può pretendere di scrivere da soli le regole sulla sicurezza e, allo stesso tempo, chiedere fiducia cieca.
“Non si possono avere entrambe le cose: zero accountability esterna e regole interne flessibili,” conclude. “Serve responsabilità reale.”
