Google har optimeret LiteRT til at køre Gemma-modeller lokalt på Raspberry Pi 5

Google har forbedret sit AI-runtime LiteRT til Raspberry Pi, så modeller fra Gemma-familien kan køre lokalt på enheden uden internetforbindelse. På en Raspberry Pi 5 med 8 GB RAM opnår modellen Gemma 4 E2B via LiteRT-LM 99 tokens i sekundet ved prefill og 9 tokens i sekundet ved decode, med et maksimalt hukommelsesforbrug på 1432 MB. LiteRT understøtter desuden GPU-acceleration via WebGPU (Vulkan) på Raspberry Pi 5's VideoCore VII-grafikkort til modeller som YOLO og Moonshine. Værktøjet LiteRT CLI fylder omkring 25 MB som download, mod cirka 1,44 GB for Ollama, fordi det kun installerer de runtime-moduler der passer til den konkrete hardware. Google oplyser desuden at LiteRT og Gemma-modeller snart kommer til Raspberry Pi AI HAT+ og AI HAT+ 2 via Hailo-acceleratorer.

Sammenlign priser

• Raspberry RPI4 PSU EU BLACK BULK
• Se priser på Mobil kabler og batterier