Ollama tilføjer support til lokale beslutningsmodeller via ny API

Med version 0.35 af Ollama er det nu muligt at køre såkaldte beslutningsmodeller lokalt via det nye API-endpoint /v1/systemone, som er baseret på TypeSafes Jev API. Brugeren sender tekst som tilstand sammen med en række navngivne spørgsmål, og modellen svarer på dem alle i samme forespørgsel. Funktionen er tænkt til opgaver som triage af supporthenvendelser, routing mellem modeller og indholdsmoderation. Tre modeller er tilgængelige fra start: nimble, en open source-model på 9 milliarder parametre udviklet af Bespoke Labs, samt de eksperimentelle modeller tev1 på 4 milliarder parametre og tev1:0.8b på 0,8 milliarder parametre, begge fra Together AI. Ifølge Ollama brugte nimble i gennemsnit 91 millisekunder per beslutning, da den kørte lokalt på en M5 Max. Modellerne hentes med kommandoen ollama pull nimble. Ollama oplyser, at flere beslutningsmodeller er på vej, herunder modeller serveret via virksomhedens egen cloud-tjeneste.