Un modello linguistico locale, privato 100%, sul tuo smartphone!!

Devo dirlo, sono diventato matto...questa volta pensavo di mollare sul serio, ma poi stamattina il miracolo. (almeno per me). Ho fatto fine tuning e scritto tools per due modelli: un Qwen 3 da 1.5B e un altro da 4B quantizzati all'estremo. Il 4B è per smartphone con almeno 12Gb di RAM, mentre il piccolo è per la fascia media (occupa appena 2,5 GB di RAM)...sto creando un LoRa in bilingua per aiutare il piccolo a usare al meglio i tools, e lo sto distillando da un 32B, quindi meglio di uno fatto con lo stesso. Il 4B se la cava anche senza LoRA, ma entro domattina il piccolo dovrebbe essere diplomato (il teacher 32B ha fatto un ottimo lavoro).

Potete essere crudeli come sempre, l'importante è essere costruttivi...potete scaricare l'apk qui (il modello lavora anche offline!)

https://nothumanallowed.com/local

a breve anche il .exe per windows, dove con un buon pc funziona senza problemi (sul mio mac pro va una scheggia!)