Looking for a Shorter Overview?
AI Summary
Key Moments
Bonsai 2 27B compresso in 5,9 GB
PrismML riduce significativamente la dimensione di modelli LLM potenti rendendoli utilizzabili su dispositivi comuni.Tecnica di compressione con pesi ternari
Si usa una rappresentazione a tre valori per i pesi, riducendo la memoria senza compromettere la qualità.Alta qualità preservata
Bonsai 2 raggiunge il 98% dei punteggi di Qwen 27B, con una perdita minima rispetto al modello originale.IA locale, privata e gratuita
Eseguire modelli avanzati sul dispositivo aumenta privacy, riduce costi e migliora la reattività.PrismML punta sui mini LLM: perché il suo modello tascabile potrebbe cambiare il modo in cui usiamo l’IA
Se finora non avevi sentito parlare di PrismML, è il momento di rimediare. Non perché abbia raccolto finanziamenti stratosferici (per ora “solo” un seed da 22,25 milioni di dollari), ma per il calibro delle persone coinvolte e per una tecnologia che potrebbe ribaltare le regole del gioco.
L’idea alla base è semplice ma controcorrente: i modelli linguistici “intelligenti”, capaci di ragionamento, non devono per forza essere giganteschi. PrismML sta costruendo LLM di ragionamento così compatti da girare su PC e persino su smartphone. Si mormora perfino di discussioni con Apple, anche se il CEO Babak Hassibi a TechCrunch non ha voluto commentare.
Bonsai 2 27B: un 27 miliardi compresso in 5,9 GB
Giovedì PrismML ha presentato Bonsai 2 27B, l’ultimo nato della famiglia Bonsai. Il modello prende Qwen3.8 27B di Alibaba — uno dei modelli open source più usati — e lo riduce a 5,9 GB. In pratica, un taglio di memoria di 9-10 volte rispetto all’originale: abbastanza piccolo da entrare comodamente in un PC e, potenzialmente, anche in uno smartphone di fascia alta.
Chi c’è dietro PrismML
La startup nasce all’ombra di Caltech e vede alla guida Babak Hassibi, professore dell’istituto e specialista in tecniche di compressione. Tra i consiglieri figura Ion Stoica, cofondatore di Databricks e direttore del celebre Sky Computing Lab di Berkeley, da cui sono usciti progetti e startup come Letta e SGLang. Tra gli investitori compaiono Khosla Ventures, Cerberus Capital e la stessa Caltech.
Non sono i soli, ma dicono di essere diversi
La corsa alla compressione degli LLM non è certo una novità. Anche Multiverse Computing — fondata da un noto professore del Donostia International Physics Center — lavora su tecniche analoghe ed è ben finanziata. La differenza, sostiene Hassibi, è che il metodo di PrismML sacrifica pochissimo in termini di qualità: Bonsai 2 raggiunge il 98% dei punteggi aggregati di Qwen nei benchmark. È un passo avanti rispetto al primo Bonsai, uscito a marzo, che si fermava al 95%. Quel primo modello ha superato gli 11 milioni di download, mentre le varianti ancora più compatte hanno totalizzato altri 2,6 milioni, secondo l’azienda.
In breve: la traiettoria è in crescita. Arrivare al 100% di parità sui benchmark? Forse irrealistico — un po’ di perdita da compressione ci sarà sempre, ammette Hassibi.
Parità perfetta? Interessante, ma non è tutto
La verità è che la “parità al 100%” sui benchmark è una questione più accademica che pratica. Anche i modelli non compressi non sono infallibili, e i benchmark non rappresentano alla perfezione i compiti reali. In molti casi, un 2% di scostamento non cambia l’esperienza d’uso. Senza contare che l’accuratezza dipende anche dall’ambiente software in cui gira il modello, il cosiddetto harness: implementazione, prompt, tool, memoria e via dicendo possono spostare molto l’ago della bilancia.
Come funziona la compressione: dai 16 bit ai pesi ternari
Il cuore dell’approccio PrismML è la riduzione dei “pesi”, cioè i parametri che il modello apprende e memorizza in fase di training. Normalmente ogni peso usa 16 bit. La soluzione di PrismML, basata su pesi “ternari”, li porta a tre soli valori: +1, −1 o 0. Con meno informazioni da memorizzare per ciascun peso, l’impronta del modello si riduce drasticamente, senza affossarne il comportamento. Per chi vuole approfondire i dettagli tecnici, l’azienda rimanda alla pagina del progetto su Hugging Face.
Il prossimo passo: puntare ai modelli giganteschi
Il piano ora è portare la stessa tecnica su LLM molto più grandi. “I prossimi modelli che rilasceremo, idealmente nei prossimi mesi, saranno nell’ordine delle diverse centinaia di miliardi di parametri, e mi aspetto sarà più semplice preservarne l’intelligenza”, ha detto Hassibi a TechCrunch.
Secondo lui, più un modello è grande, più margine c’è per comprimerlo senza perdere capacità di ragionamento: insomma, in linea generale, con i modelli maxi è più realistico avvicinarsi al 100%.
Perché conta: IA potente, locale, privata e gratuita da usare
Quanto a impatto, Stoica è entusiasta: questi progressi rendono possibile eseguire modelli avanzati direttamente sui dispositivi degli utenti. “Avrai l’intelligenza a portata di mano, e sarà gratuita perché girerà sul device che hai già comprato. Sarà anche privata, perché non dovrai mandare i tuoi dati nel cloud.”
Se PrismML mantiene le promesse, potremmo presto vedere LLM capaci e reattivi funzionare in locale su laptop e smartphone, con benefici in termini di costi, latenza e privacy — senza rinunciare alle prestazioni che finora richiedevano infrastrutture molto più pesanti.
