Nieuws

DeepSeek bereikt 1 miljoen tokens met minder geheugen dankzij FlashMemory-DeepSeek-V4

Onderzoekers van Tencent, Tsinghua University en HKUST hebben FlashMemory-DeepSeek-V4 ontwikkeld, een techniek die het geheugengebruik bij ultra-lange contexten drastisch vermindert. De methode, Lookahead Sparse Attention (LSA) genaamd, voorspelt welke tokens relevant zijn en slaat alleen die op. Hierdoor kan DeepSeek contextvensters van 1 miljoen tokens verwerken met een fractie van het gebruikelijke geheugen.