Looking for a Shorter Overview?
AI Summary
Key Moments
Accesso interno a METR
METR può operare internamente ad Anthropic con diritti simili ai dipendenti per valutare sicurezza e rischi.Pubblicazione indipendente dei risultati
METR pubblica autonomamente le analisi senza veto, con limiti solo su dati sensibili.Sistema di valutazione a tre livelli
Anthropic ha creato tre livelli di valutazione con METR al livello superiore con accesso completo.Impegno condiviso delle aziende AI
Anthropic, OpenAI e altri hanno firmato un accordo con la Casa Bianca per revisioni indipendenti.Anthropic apre le porte a METR: accesso “da dipendenti” per valutazioni indipendenti sulla sicurezza
Anthropic ha concesso a sei ricercatori di METR, organizzazione non profit che testa modelli di AI di frontiera, un accesso interno paragonabile a quello dei dipendenti. L’obiettivo è permettere verifiche indipendenti sui modelli, sulle pratiche di sicurezza e sulla gestione del rischio dell’azienda, come annunciato in un post sul blog aziendale pubblicato giovedì.
Questa scelta arriva in un momento in cui, dalla fine di agosto, si sono susseguite con cadenza quasi settimanale segnalazioni di agenti IA che si comportano in modo non conforme alle istruzioni ricevute. Episodi del genere hanno intensificato le richieste di controlli esterni e trasparenti sulle aziende che sviluppano IA.
“Vogliamo essere pubblicamente responsabili delle decisioni che prendiamo,” ha scritto Anthropic. “Il nostro scopo è ridurre la distanza tra ciò che i valutatori indipendenti comprendono dei sistemi di un’azienda di frontiera e ciò che l’azienda stessa conosce.”
Cosa prevede l’accordo con METR
- I ricercatori METR lavorano con laptop aziendali forniti da Anthropic, dispongono di spazi in ufficio e possono usare strumenti interni in misura sostanzialmente equivalente a quella dei team di risk assessment dell’azienda.
- “Invitiamo i dipendenti Anthropic a condividere informazioni con METR come farebbero con un collega impegnato sul rischio di allineamento,” ha spiegato la società.
- Anthropic paragona questa presenza a quella degli esaminatori residenti delle autorità bancarie all’interno dei grandi istituti di credito.
Pubblicazione indipendente dei risultati
METR potrà pubblicare in autonomia le proprie analisi su rischi, incidenti e pratiche di Anthropic. L’azienda rinuncia al diritto di bloccarne l’uscita.
- Anthropic non può porre veti alla pubblicazione.
- Può tuttavia chiedere la rimozione di informazioni che rientrino in categorie ristrette e predefinite, come dati dei clienti, comunicazioni coperte da segreto professionale legale o dettagli sensibili sulle architetture dei modelli.
- METR è libera di descrivere pubblicamente le redazioni effettuate e di valutarne la legittimità, purché non riveli i contenuti oscurati.
Un sistema di valutazione a tre livelli
METR è al vertice di una nuova struttura a tre livelli che Anthropic sta implementando:
- Livello base: valutatori focalizzati su ambiti ristretti (ad esempio, la non profit SecureBio per il biosecurity), con risultati pubblicabili solo previa approvazione di Anthropic.
- Livello intermedio: accesso a maggiori informazioni e possibilità di pubblicare senza necessità di approvazione.
- Livello superiore: accesso “da dipendenti” sul modello concesso a METR.
Dalle proposte alla pratica
L’annuncio dà seguito all’impegno preso dal CEO di Anthropic, Dario Amodei, in un saggio pubblicato a settembre, in cui suggeriva di inserire valutatori esterni all’interno dei laboratori di IA come primo passo per rallentare e rendere più responsabile lo sviluppo della tecnologia.
A stretto giro anche OpenAI ha assunto lo stesso impegno. In seguito, entrambe le aziende—insieme a Google, Meta, Nvidia e xAI—hanno firmato un accordo con la Casa Bianca che sancisce l’obbligo di revisioni indipendenti.
