Nieuws

Zyphra brengt ZAYA1-8B-Diffusion-Preview uit: eerste MoE-diffusiemodel omgezet van autoregressieve LLM

Zyphra heeft ZAYA1-8B-Diffusion-Preview uitgebracht, het eerste MoE-diffusiemodel dat is omgezet van een autoregressieve LLM. Het model behaalt tot 7,7x versnelling op AMD-hardware zonder significant prestatieverlies. De omzetting vereist geen training vanaf nul, maar gebruikt extra tussentraining. Het model genereert 16 tokens tegelijk in blokken en fungeert als zowel speculator als verifier in een enkele forward pass.