Nieuws

State Space Models worden serieus concurrent van Transformers

State Space Models (SSM) zijn in 2026 opgekomen als een serieus alternatief voor Transformers in de machine learning. Hoewel Transformers de afgelopen acht jaar de dominante architectuur zijn geweest, hebben ze een probleem met hun O(n²) tijdcomplexiteit, wat leidt tot hoge geheugengebruik en beperkingen bij lange contextvensters. SSM bieden in plaats daarvan lineaire tijdcomplexiteit, constante geheugengebruik bij inferentie en geen gebruik van key-value caches. Tot maart 2026 is aangetoond dat SSM steeds beter presteren op belangrijke aspecten zoals taalmodellering en redeneren.