Nieuws

Afstemmen van GPT-2 op menselijke voorkeuren

OpenAI heeft de 774M parameter GPT-2 taalmodel afgestemd op menselijke voorkeuren voor verschillende taken, met succes de voorkeuren van externe menselijke labelers overeenkomend, hoewel die voorkeuren niet altijd overeenkwamen met de eigen voorkeuren van OpenAI. Voor samenvattingstaken leerden de modellen bijvoorbeeld hele zinnen over te nemen uit het invoerdocument. Samenvatting vereiste 60.000 menselijke labels, terwijl eenvoudigere taken slechts 5.000 nodig hadden. Het doel is om veiligheidsmethoden dichter bij het algemene doel van 'machines praten met mensen' te brengen, wat volgens OpenAI essentieel is voor het begrijpen van menselijke waarden.