Nieuws

AntAngelMed: een open-source medische taalmodel met 103 miljard parameters en een 1/32-activatieverhouding MoE-architectuur

Een team onderzoekers uit China heeft AntAngelMed vrijgegeven, een groot open-source medisch taalmodel dat beschouwd wordt als het grootste en krachtigste van zijn soort. Het model heeft 103 miljard parameters, maar gebruikt een Mixture-of-Experts (MoE)-architectuur met een activatieverhouding van 1/32, waardoor slechts 6,1 miljard parameters actief zijn tijdens het verwerken van een query. Dit levert een efficiëntie van tot 7 keer ten opzichte van vergelijkbare dichte modellen. AntAngelMed ondergaat een drie-staps opleidingsproces en presteert uitstekend op medische evaluatiebenchmarks. Het model is beschikbaar via Hugging Face, ModelScope en GitHub.