Google har forbedret sit AI-runtime LiteRT til Raspberry Pi, så modeller fra Gemma-familien kan køre lokalt på enheden uden internetforbindelse. På en Raspberry Pi 5 med 8 GB RAM opnår modellen Gemma 4 E2B via LiteRT-LM 99 tokens i sekundet ved prefill og 9 tokens i sekundet ved decode, med et maksimalt hukommelsesforbrug på 1432 MB. LiteRT understøtter desuden GPU-acceleration via WebGPU (Vulkan) på Raspberry Pi 5's VideoCore VII-grafikkort til modeller som YOLO og Moonshine. Værktøjet LiteRT CLI fylder omkring 25 MB som download, mod cirka 1,44 GB for Ollama, fordi det kun installerer de runtime-moduler der passer til den konkrete hardware. Google oplyser desuden at LiteRT og Gemma-modeller snart kommer til Raspberry Pi AI HAT+ og AI HAT+ 2 via Hailo-acceleratorer.
Google har optimeret LiteRT til at køre Gemma-modeller lokalt på Raspberry Pi 5
Artikel11. august 2026 kl. 17.04 Martin S. Nielsen
Foto: Raspberry Pi
Google har forbedret sit AI-runtime LiteRT til Raspberry Pi, så modeller fra Gemma-familien kan køre lokalt på enheden uden internetforbindelse.
Kilde: Raspberry Pi
AI-genereret indhold
Annonce
Prisen er faldet
Faldet er målt af os på varens laveste pris inkl. fragt, ikke på butikkens egen førpris. Vi kan tjene provision, hvis du køber via et link.
Relaterede artikler
- LiteRT CLI kan nu køre Gemma og andre AI-modeller lokalt på Raspberry Pi 5Google har offentliggjort en vejledning til at installere og bruge LiteRT CLI på Raspberry Pi 5.
- 14MB-sprogmodel omsætter tekstkommandoer til handlinger på Raspberry Pi 5Cactus Compute har udgivet Needle 2, en funktionskaldende sprogmodel på 14MB, der kan køre lokalt på CPU'en i ...
- DGX Spark 64GB ruller ud fredag, kan samles i klynger på otte enhederNVIDIA DGX Spark 64GB ruller ud via partnere fra fredag den 23.
- Nvidia udgiver nye åbne Nemotron 3.5-modeller på Hugging FaceNVIDIA har udvidet sin portefølje af åbne modeller med nye familier til sprog, billeder og søgning.