Nieuws

CMU-onderzoekers stellen V-pretraining voor: feedback-gestuurde taakontwerper verbetert foundation modellen

Onderzoekers van Carnegie Mellon University introduceren V-pretraining, een methode die een aparte, leerbare taakontwerper gebruikt om zelfgesuperviseerde taken te construeren die zijn afgestemd op downstream-prestaties. De ontvanger (foundation model) wordt nog steeds alleen getraind met een zelfgesuperviseerd verlies op ongelabelde data, terwijl de ontwerper leert van een kleine set gelabelde voorbeelden. In taaltaken verbetert V-pretraining de GSM8K-score van Qwen2.5-0.5B van 22.20 naar 29.60 en bij visietaken stijgt de ADE20K mIoU van DINOv3-ViT-L van 51.33 naar 52.47. De aanpak volgt de 'Bitter Lesson' door niet alleen de schaal van de taak te vergroten, maar ook te leren welke voorspellingstaak nuttig is.