Nieuws

De onverwachte terugkeer van RNN's

In een nieuw artikel wordt de terugkeer van Recurrent Neural Networks (RNN's) besproken na jaren van dominatie door Transformers. De RNN's werden in 2015 veel gebruikt vanwege hun efficiëntie en constante geheugenvoet tijdens inferentie. Toen Transformers in 2017 werden ingevoerd, verloren RNN's hun populariteit vanwege hun lagere paralleliseerbaarheid. Echter, de huidige RNN-generatie biedt grotere geheugenstanden, data-afhankelijke gate mechanisms en moderne trainingstechnieken, waardoor ze de perplexiteit van Transformers kunnen matchen zonder de hoge geheugenbelasting. Dit maakt RNN's weer interessant voor bepaalde toepassingen.