Nieuws

Een korte geschiedenis van modeldistillatie

Het verhaal over knowledge distillation begint vaak in 2015 met Hinton et al., maar de echte geschiedenis gaat terug tot 2006. Dit artikel behandelt de drie fundamentele papers die de basis legden voor moderne distillatietechnieken zoals on-policy distillation en cross-architecture transfer.