Nieuws

Memory-efficiënte Transformers bouwen met xFormers: verpakte sequenties, GQA, ALiBi, SwiGLU en causale aandacht

XFormers biedt een praktische toolkit voor het bouwen van snelle, geheugenefficiënte Transformermodellen op GPU's. De tutorial behandelt geheugenefficiënte aandacht, causale masking, verpakte sequenties, grouped-query attention en ALiBi-positionele biases. Het combineert deze technieken in een trainbaar GPT-stijlmodel met SwiGLU-lagen en gemengde precisie.