Nieuws

Google AI brengt DiffusionGemma uit, een 26B MoE open model dat tekstdiffusie gebruikt voor tot 4x snellere generatie

Google AI heeft DiffusionGemma uitgebracht, een experimenteel open model voor tekstgeneratie. Het model gebruikt tekstdiffusie in plaats van autoregressieve decodering, waardoor hele tekstblokken parallel worden gegenereerd. Op dedicated GPU's levert dit tot 4x snellere generatie op. DiffusionGemma is een 26B Mixture of Experts-model met 3,8B actieve parameters en ondersteunt multimodale invoer, een contextvenster van 256K tokens en 140+ talen.