Nieuws

Waarom de bias-variance tradeoff faalt voor 70B parameter Transformers

Een nieuw artikel onderzoekt waarom de klassieke bias-variance tradeoff niet opgaat voor grote modellen zoals 70B parameter Transformers. Door SGD naar platte minima te dwingen, blijkt de tradeoff te mislukken, wat leidt tot een nieuwe kijk op generalisatie in grote neurale netwerken.