Nieuws

Onderzoekers van CMU stellen BenchmarkCards voor om de kloof tussen evaluatie en inzet van LLM's in de gezondheidszorg te dichten

Uit onderzoek van Carnegie Mellon University blijkt dat de prestaties van LLM's in de gezondheidszorg sterk verschillen tussen evaluatie en daadwerkelijke inzet. Een studie vond een verschil van 61 procentpunt in nauwkeurigheid. De onderzoekers stellen dat dit komt door impliciete aannames in evaluatieprotocollen en introduceren BenchmarkCards om deze aannames expliciet te maken. Het raamwerk helpt praktijkmensen te bepalen wanneer benchmarkresultaten overdraagbaar zijn naar de praktijk.