Amazon-forskere udvikler HOPE til at beskære eksperter i MoE-sprogmodeller

Amazon har offentliggjort en metode kaldet HOPE (Higher-Order Pruning of Experts) til at reducere hukommelsesforbruget i Mixture-of-Experts-sprogmodeller. I MoE-modeller som Qwen3.5-122B fylder ekspert-MLP'er op mod 95 procent af parameterhukommelsen, selvom kun 8 ud af 256 eksperter pr. lag bruges til hvert token. Eksisterende beskæringsmetoder som REAP vurderer hver ekspert isoleret, men HOPE medregner samspillet mellem par af eksperter via en interaktionsmatrix, der afslører hvilke eksperter der samarbejder. Metoden er testet på Qwen3.5-122B, Qwen3.5-35B og GLM-4.5-Air med Tulu3- og SWE-Bench Pro-benchmarks. Ved 50 procents beskæring opnår HOPE en gennemsnitlig rang på 1,58 mod 2,42 for REAP. På Qwen3.5-35B-A3B scorer en HOPE-beskåret model 42,3 point på SWE-Bench Pro mod 41,8 for den ubeskårne model, mens REAP falder til 36,2. Amazon har udgivet en pakke til at køre metoden.