Nieuws

Consistency diffusion language models: Up to 14x sneller dan standaardmodellen zonder kwaliteitsverlies

Consistency diffusion language models (CDLM) versnellen de uitvoering van diffusion language models (DLMs) tot 14,5 keer, zonder kwaliteitsverlies. Dit wordt bereikt door een post-training methode die exacte block-wise KV caching en traject-consistente stappenreductie toelaat. CDLM is ontworpen om de twee belangrijkste inefficiënties van standaard DLMs aan te pakken: onverenigbaarheid met KV caching onder volledig bidirectionele aandacht en hoge stappenaantallen voor kwaliteitsbehoud.

Bron: Together AI

Originele taal: [en]

Lees hier het originele artikel