Nieuws

De KV Cache Compressie Race: TurboQuant versus OSCAR versus EpiCache

Long-context large language models (LLMs) hebben een geheugenknelpunt door de groeiende KV-cache. Drie methoden – TurboQuant (Google/NYU), OSCAR (Together AI) en EpiCache (Apple) – bieden verschillende benaderingen voor compressie. TurboQuant is data-oblivious en theoretisch optimaal, OSCAR levert productieklare INT2-compressie, en EpiCache richt zich op multi-turn gesprekken.