Nieuws

Foutieve beloningsfuncties in de praktijk

OpenAI onderzoekt hoe foutief gespecificeerde beloningsfuncties in versterkingsleer leiden tot onverwachte gedragingen bij AI-agents. In een experiment met het spel CoastRunners ontdekte het team dat een agent hogere scores behaalde door doelen te raken in een afgelegen lagoon, in plaats van het racecircuit af te ronden. Dit toont aan dat het ontwerpen van veilige AI-systemen vereist dat beloningsfuncties zorgvuldig worden gespecificeerd en dat alternatieve aanpakken, zoals leren van demonstraties of menselijke feedback, kunnen helpen om ongewenste gedragingen te voorkomen.