Nieuws

Together AI's OSCAR vermindert KV-cachegeheugen met 8x — eerste 2-bit methode die niet instort bij 128K context

Together AI heeft op 25 mei 2026 OSCAR open-source uitgebracht, een 2-bit KV-cache methode die het geheugengebruik met 8x vermindert. In tegenstelling tot eerdere 2-bit methoden die boven de 32K context instorten, blijft OSCAR stabiel tot 128K context. De techniek is getest met Qwen3–8B.