14MB-sprogmodel omsætter tekstkommandoer til handlinger på Raspberry Pi 5

Cactus Compute har udgivet Needle 2, en funktionskaldende sprogmodel på 14MB, der kan køre lokalt på CPU'en i en Raspberry Pi 5 uden brug for en dedikeret AI HAT. Modellen er ikke bygget til at chatte, men til at oversætte en kort tekstbesked om at tænde en lysdiode til et konkret funktionskald i Python, med svar på 78 millisekunder. Udviklere dekorerer egne Python-funktioner med @needle.tool, hvorefter Needle vælger den rette funktion og udfylder argumenterne ud fra funktionens navn, docstring og typeannotationer. I demoer blev modellen brugt til at tænde en LED, aflæse CPU-temperaturen via vcgencmd, gemme noter og tage billeder med rpicam-still. Et irrelevant spørgsmål som hovedstaden i Frankrig giver et tomt svar. Needles session fylder omkring 28MB, mens hele Python-processen topper mellem 43 og 46,4MB. Vægte og kode er tilgængelige på Hugging Face og GitHub under Apache 2.0-licensen. Eben Upton, CEO for Raspberry Pi, har udtalt: "Needle 2 is rather excellent".