Nieuws

Nieuwe methode om overconfidentie van grote taalmodellen te detecteren

MIT-onderzoekers hebben een nieuwe methode ontwikkeld om overconfidentie bij grote taalmodellen (LLMs) beter te detecteren. De methode vergelijkt antwoorden van een doelmodel met antwoorden van een groep vergelijkbare modellen, waardoor epistemische onzekerheid beter kan worden geschat. Deze totale onzekerheidsmeter (TU) combineert epistemische en aleatorische onzekerheid en presteert beter bij het identificeren van onbetrouwbare voorspellingen. De methode kan ook helpen bij het verbeteren van de prestaties van LLMs tijdens het trainen.