PyTorch 2.15 tilføjer understøttelse af FP8-formatet float8_e4m3fn i MPS-backenden, som bruges til at køre modeller på Apple Silicon-grafikkort. FP8-tensorer fylder halvt så meget som BF16, og funktionen F.scaled_mm kan gange dem sammen direkte på GPU'en. Mixture-of-experts-modeller afkoder 5 til 6,5 gange hurtigere end i version 2.14. På en M3 Ultra går Qwen3.6-35B-A3B fra 9,4 til 61,3 tokens i sekundet, mens LFM2.5-8B-A1B går fra 23,6 til 123,6 tokens i sekundet. Softmax over et ordforråd på 128.256 tokens falder fra 57 til 7 mikrosekunder. Videodekodning med Wan2.2's VAE brugte tidligere op til 270 GiB hukommelse under afkodning af en tile-baseret video; det tal falder nu til omkring 8 GiB. PyTorch 2.15 kræver macOS 15 og Python 3.11 eller nyere.
PyTorch 2.15 bringer FP8 og hurtigere lokal LLM-inferens til Mac
Artikel20. oktober 2026 kl. 02.00 Martin S. Nielsen
Foto: Hugging Face
PyTorch 2.15 tilføjer understøttelse af FP8-formatet float8_e4m3fn i MPS-backenden, som bruges til at køre modeller på Apple Silicon-grafikkort.
Kilde: Hugging Face
AI-genereret indhold
Annonce
Prisen er faldet
Faldet er målt af os på varens laveste pris inkl. fragt, ikke på butikkens egen førpris. Vi kan tjene provision, hvis du køber via et link.
Relaterede artikler
- Cloudflares beslutningsmodel Clef er nu tilgængelig på OllamaClef, en multimodal beslutningsmodel fra Cloudflare på 27 milliarder parametre, er nu tilgængelig på Ollama.
- Reflections åbne sprogmodel Beam er gratis tilgængelig via Ollama CloudReflection har udgivet sin første åbne sprogmodel, Beam, der nu er gratis tilgængelig i en begrænset periode g...
- TrueNAS 27 får RAIDZ-baserede special vdevs og første dataset tieringTrueNAS 27 tilføjer støtte for RAIDZ som layout til special vdevs i OpenZFS-baserede lagringspools.
- NVIDIA udvider Nemotron-familien med nye Super VL- og Bolt-modellerNVIDIA har udgivet Nemotron 3.5 Super VL, en åben model med 120 milliarder parametre til agentopgaver med bill...