3
Set
Eseguire grandi LLM in locale: le soluzioni per superare il limite della VRAMAntonio Cisternino
FreeToken, KTransformers e AirLLM puntano a eseguire grandi LLM su workstation con poca VRAM, spostando pesi ed esperti tra RAM, GPU e disco. Le architetture Mixture of Experts riducono i parametri attivi, ma velocità e casi d’uso restano molto diversi
L'articolo Eseguire grandi LLM in locale: le soluzioni per superare il limite della VRAM proviene da Agenda Digitale.
Read MoreAgenda Digitale
Condividi questo post
RELATED
Posts
Big Tech sotto pressione: le mosse dei democratici dopo le midtermAlessandra Talarico
Dopo la conquista di Camera e Senato alle elezioni americane, i democratici preparano audizioni dei vertici tecnologici, controlli sui modelli AI e regole sui data center. Le moratorie di Sanders, il FRONTIER Act bipartisan, la pressione delle comunità locali e...
COP31, chi paga la transizione: il nodo di reti, incentivi e bolletteMirella Castigli
Auto elettriche e pompe di calore possono ridurre consumi e dipendenza dai combustibili importati, ma l’investimento iniziale continua a frenare famiglie e imprese. La COP31 riporta al centro incentivi, tassazione dell’energia e infrastrutture, mentre cresce la pressione sui bilanci pubblici
L'articolo...
Attacchi ibridi in Europa: perché ora sono a rischio i serviziLuisa Franchina
Supermercati, sanità e trasporti mostrano quanto una manomissione digitale possa incidere sui servizi essenziali. Gli episodi europei richiamano l’attenzione su impianti connessi, fornitori e capacità di ripristino. Per istituzioni e imprese, la sfida è tradurre norme e investimenti in continuità...