Nieuws

Soofi-consortium brengt open hybride Mamba-Transformer-MoE-model Soofi S 30B-A3B uit voor Duits en Engels

Het Duitse onderzoeksconsortium Soofi heeft het voorgetrainde model Soofi S 30B-A3B uitgebracht, een open hybride Mamba-Transformer Mixture-of-Experts-model met 31,6 miljard parameters waarvan er 3,2 miljard per token actief zijn. Het model is getraind op Deutsche Telekom's Industrial AI Cloud in München en behaalt de hoogste geaggregeerde scores voor Engels en Duits onder vergelijkbare open basismodellen. De gewichten zijn beschikbaar op Hugging Face.