Nieuws

Textdiffusiemodellen als alternatief voor autoregressieve taalmodellen

Textdiffusiemodellen bieden een alternatief voor autoregressieve transformatoren zoals GPT-4, Claude en Llama. Waar autoregressieve modellen van links naar rechts genereren en last hebben van 'generation drift' en het omgekeerde volgordeprobleem, kunnen textdiffusiemodellen globale planning uitvoeren. In de visuele domein zijn diffusiemodellen zoals Midjourney en Stable Diffusion al dominant; voor tekst wordt deze aanpak nu serieus onderzocht.