Nieuws

Nieuwe methode om gedragsdisposities van LLM's te beoordelen

Google introduceert een nieuw evaluatiesysteem om de gedragsdisposities van grote taalmodellen te meten. Het systeem maakt gebruik van situatietests om te beoordelen hoe goed de gedragspatronen van LLM's overeenkomen met menselijke consensus. De studie toont aan dat kleinere modellen minder goed in staat zijn om gedragsdisposities te vertonen, terwijl grotere modellen beter overeenkomen met menselijke voorkeuren in situaties met hoge consensus. De resultaten benadrukken ook de beperkingen van directe zelfrapportage bij het beoordelen van LLM-gedrag.