Nieuws

Waarom langlopende LLM-apps een geheugenbeleid nodig hebben

In een synthetische benchmark met 10.000 beurten presteert op belangrijkheid gebaseerde selectie van context aanzienlijk beter dan schuifvensters voor langlopende LLM-apps. Schuifvensters behouden slechts 10,8% van de kritische feiten, terwijl op belangrijkheid gebaseerde selectie 90,7% behoudt. De auteur introduceert LLM-Context-Optimization-Engine als een inspecteerbare benchmarkharness om contextbeleid te vergelijken.