Nieuws

EAGLE 3.1: Speculatief decoderen algoritme lost attention drift op in LLM-inferentie

EAGLE 3.1, een nieuwe versie van het speculatieve decoderingsalgoritme, lost het probleem van attention drift op. Door FC-normalisatie en post-norm hidden state feedback wordt de stabiliteit van de drafter verbeterd. In long-context workloads behaalt EAGLE 3.1 tot twee keer langere acceptatielengte dan EAGLE 3. De implementatie is backward-compatibel en beschikbaar in vLLM v0.22.0.