Nieuws

NVIDIA AI brengt Gated DeltaNet-2 uit: een lineaire aandachtlaag die wissen en schrijven ontkoppelt

NVIDIA heeft Gated DeltaNet-2 gepresenteerd, een lineaire aandachtlaag die de actieve geheugenbewerking opsplitst in twee kanaalsgewijze gates. Het model is getraind met 1,3B parameters op 100B FineWeb-Edu tokens en presteert beter dan Mamba-2, Gated DeltaNet, KDA en Mamba-3 in benchmarks. De grootste winsten worden behaald op RULER long-context retrieval.