Bonsai 2 27B porta il ragionamento AI su hardware locale

PrismML ha pubblicato Bonsai 2 27B, una versione fortemente compressa di un modello di ragionamento da 27 miliardi di parametri progettata per essere eseguita anche su hardware locale. La versione GGUF dichiarata dal team occupa circa 5,9 GB per il modello linguistico, rispetto a circa 54 GB della corrispondente rappresentazione FP16. L'obiettivo è ridurre drasticamente memoria e requisiti hardware senza sacrificare in misura significativa le capacità di ragionamento.

La tecnica utilizzata si basa su pesi ternari, cioè valori rappresentati con un insieme estremamente ristretto di stati, invece dei formati numerici ad alta precisione normalmente impiegati nei modelli. PrismML indica una rappresentazione teorica di circa 1,72 bit per peso e dichiara che Bonsai 2 conserva il 98,2% delle prestazioni aggregate del modello a piena precisione su una batteria di benchmark. Il dato deriva dalle misurazioni pubblicate dal produttore e deve quindi essere letto come risultato del relativo protocollo di valutazione, non come equivalenza generale in ogni applicazione reale.

Il modello è basato su Qwen3.8-27B e viene distribuito in differenti formati per ambienti GGUF e MLX. Nella versione GGUF più compatta, il footprint dichiarato rende possibile l'esecuzione su un normale computer portatile o su una singola GPU compatibile. È un passaggio rilevante perché una quota crescente dell'industria sta cercando di spostare alcune funzioni di intelligenza artificiale dal cloud verso dispositivi locali, riducendo costi di inferenza, latenza e trasferimento di dati sensibili.

La compressione, tuttavia, introduce compromessi. PrismML riconosce che le prestazioni non sono identiche a quelle del modello FP16 e che il vantaggio di memoria non si traduce automaticamente in maggiore velocità su ogni architettura hardware. Il formato ternario richiede infatti kernel specifici e operazioni di decompressione o elaborazione ottimizzate; su alcune GPU recenti il collo di bottiglia può spostarsi dalla banda di memoria al costo computazionale necessario per trattare i pesi compressi.

Il valore tecnologico di Bonsai 2 riguarda quindi soprattutto la densità di intelligenza per gigabyte. Se approcci di questo tipo manterranno prestazioni elevate anche su modelli più grandi, potranno favorire applicazioni AI private e offline, agenti eseguiti direttamente su workstation e dispositivi personali e architetture ibride in cui il cloud viene utilizzato solo per i compiti più pesanti. La disponibilità pubblica dei modelli e dei relativi formati consente inoltre a sviluppatori e ricercatori di verificare direttamente prestazioni, compatibilità e limiti dell'approccio.