Nieuws

Onderzoekers trainen AI-model dat bijna volledige prestaties levert met slechts 12,5 procent van zijn experts

Het Allen Institute for AI en UC Berkeley hebben het EMO-model ontwikkeld, een mixture-of-experts model waarvan experts zich specialiseren in inhoudsdomeinen in plaats van woordtypen. Hierdoor kan het model driekwart van zijn experts verliezen met slechts een verlies van ongeveer één procentpunt in prestaties, wat MoE-modellen voor het eerst praktisch maakt voor geheugenbeperkte omgevingen.