Nieuws

NVIDIA introduceert X-Token: projectiegeleide cross-tokenizer kennisdistillatie die GOLD met +3,82 gemiddelde punten overtreft op Llama-3.2-1B

NVIDIA-onderzoekers hebben X-Token ontwikkeld, een logit-gebaseerde methode voor cross-tokenizer kennisdistillatie (KD) die als directe vervanging voor de standaard KD-verliesfunctie kan worden gebruikt zonder extra trainbare componenten. X-Token lost twee fundamentele problemen van de bestaande GOLD-methode op: onderdrukking van zeldzame tokens en te conservatieve matching. Op de Qwen3-4B-leraar wordt een gemiddelde verbetering van +3,82 punten behaald ten opzichte van GOLD, en op GSM8k stijgt de nauwkeurigheid van 2,56 naar 15,54. De methode ondersteunt ook multi-teacher distillatie en kiest automatisch de juiste verliesmodus via een dekkingsaudit.