Nieuws

MiniMax introduceert MiniMax Sparse Attention (MSA) voor efficiënte lange contextverwerking

MiniMax heeft MiniMax Sparse Attention (MSA) uitgebracht, een sparse attention methode die de kwadratische kosten van softmax attention bij lange contexten aanpakt. Het team testte MSA in een 109B-parameter Mixture-of-Experts-model en bracht een open-source inferentiekernel en het productmodel MiniMax-M3 uit. MSA is getraind met een 3T-token budget en biedt aanzienlijke snelheidswinsten bij lange contexten.