LiteRT CLI kan nu køre Gemma og andre AI-modeller lokalt på Raspberry Pi 5

Google har offentliggjort en vejledning til at installere og bruge LiteRT CLI på Raspberry Pi 5. Værktøjet, der udgives som en nightly-pakke og installeres via pakkehåndteringen uv, kan hente og afvikle sprogmodeller som Gemma 4 E2B samt klassiske machine learning-modeller som EfficientNet direkte fra Hugging Face. LiteRT understøtter nu eksperimentel GPU-acceleration via WebGPU, der kører oven på Raspberry Pi 5's V3DV Vulkan-driver og aktiveres med miljøvariablen V3D_WEBGPU_OVERRIDE=1. Understøttelsen er fortsat eksperimentel, og CPU'en yder på nuværende tidspunkt bedre end GPU'en på denne type arbejdsbelastning. LiteRT og Gemma-modeller ventes desuden snart integreret med Hailo AI-acceleratorer, så modelinferens kan afvikles på Raspberry Pi AI HAT+ og AI HAT+ 2.

Sammenlign priser

• Raspberry RPI4 PSU EU BLACK BULK
• Se priser på Mobil kabler og batterier