NVIDIA udgiver åbne AI-modeller til lokal kørsel på RTX- og DGX Spark-hardware

NVIDIA har offentliggjort talemodellen Nemotron 3.5 Transcribe, en åben model med cirka 4,3 milliarder aktive parametre, der transskriberer og oversætter lyd på 40 sprog, herunder syv indiske sprog, og identificerer talere. Modellen ligger nummer et på Hugging Face Open ASR og nummer to blandt åbne modeller på Artificial Analysis. Den er tilgængelig i formaterne BF16, FP8 og NVFP4 på Hugging Face og kan køre på RTX Spark, DGX Spark, Jetson AGX Thor og GeForce RTX 5090, med understøttelse i vLLM og NeMo-Speech.cpp. Samtidig er Nemotron 3.5 Bolt E4B frigivet, en model der kan køre med ned til 4 GB hukommelse og understøtter llama.cpp, vLLM, Ollama, Unsloth og LM Studio. DGX Spark med 64 GB hukommelse, bygget på GB10 Grace Blackwell-superchippen, er nu tilgængelig hos NVIDIAs partnere.