NVIDIA Nemotron 3.5 Lightning kan køre lokalt via Ollama

NVIDIA Nemotron 3.5 Lightning er nu tilgængelig via Ollama og kan køre lokalt på egen hardware. Modellen har 30 milliarder parametre i alt, hvoraf 3 milliarder er aktive pr. token, i en hybrid mixture-of-experts-arkitektur. Den er bygget til agentopgaver som at læse filer, kalde værktøjer, sortere resultater og gentage trin der fejler. Modellen kører på NVIDIA RTX-pc'er, RTX PRO-arbejdsstationer, DGX Spark og DGX Station samt i datacentre og skyen. Konteksten går op til 1 million tokens. Til inferens bruges speculative decoding med multi-token prediction, kaldet DFlash eller DSpark, hvilket ifølge NVIDIA giver op til 4 gange højere gennemløb end sammenlignelige åbne modeller. Modellen er udviklet sammen med Nemotron Coalition og er trænet på åbne datasæt, så den kan efter-trænes til specifikke opgaver. Der findes også en udgave til Apple silicon, nemotron-3.5-lightning:30b-mlx. Modellen startes med kommandoen ollama run nemotron-3.5-lightning.