Nieuws

OpenAI's audit onthult dat 30% van SWE-Bench Pro gebrekkig is

OpenAI heeft een audit uitgevoerd van de codeerbenchmark SWE-Bench Pro en ontdekte dat ongeveer 30% van de openbare taken defect is. De audit, uitgevoerd met behulp van AI-agenten en ervaren software-ingenieurs, leidde tot het intrekken van de eerdere aanbeveling om de benchmark te gebruiken. Dit toont aan dat precieze scores niet altijd valide metingen zijn voor codeervaardigheden.