Nieuws

Sequentieel fitten: een ander perspectief op de spectrale bias van neurale netwerken

Uit onderzoek blijkt dat meerlaags perceptrons met hyperbolische tangensactivatie hoge-frequentie functies sequentieel fitten, beginnend vanaf de rand van het domein. Dit fenomeen, genaamd sequentieel fitten, verklaart de trage convergentie bij hoge frequenties. De studie toont aan dat het gedrag van de doelfunctie nabij de rand een significante invloed heeft op het leerproces, onafhankelijk van de frequentie-inhoud. De gevonden basis-functies zijn afgevlakte stapfuncties die iteratief worden opgebouwd.