Nieuws

Deep double descent

OpenAI onderzoekt het fenomeen van 'deep double descent', waarbij de prestaties van neurale netwerken, zoals CNNs, ResNets en transformers, eerst verbeteren, vervolgens verslechteren en uiteindelijk opnieuw verbeteren bij toenemende modelgrootte, hoeveelheid data of trainingsduur. Dit effect kan worden geminimaliseerd met behulp van regulatie. Hoewel het fenomeen algemeen voorkomt, is de onderliggende oorzaak nog niet volledig begrepen en wordt verdere studie als belangrijk onderzoeksdomein beschouwd.