Nieuws

Databricks benchmarkt codeeragents op miljoenenlijnen-codebase

Databricks heeft een interne benchmark gebouwd om AI-codeeragents te evalueren op hun eigen codebase van miljoenen regels code. Ze testten modellen van OpenAI, Anthropic en open-source modellen zoals GLM 5.2. De Pareto-grens voor codeertaken omvat modellen van meerdere aanbieders, en de tokenprijs blijkt een slechte indicator voor werkelijke kosten per taak. Ook de gebruikte harness, zoals Claude Code of Codex, heeft een grote invloed op efficiëntie.