Nieuws

Experimenten met zwak-naar-sterk generalisatie

Het EleutherAI onderzoeksteam heeft experimenten uitgevoerd met zwak-naar-sterk generalisatie in open-source modellen zoals Qwen1.5 0.5B en Llama 3 8B. Ze ontdekten consistent zwak-naar-sterk generalisatie over 21 NLP datasets, maar andere aanpassingen zoals log-confidence loss lieten slechts geringe verbeteringen zien. De resultaten suggereren dat standaard zwak-naar-sterk training al veel van het kennisbestand van de sterke modellen kan benutten.