Nieuws

Taalmodellen kunnen uitleggen hoe neuronen in taalmodellen werken

OpenAI gebruikt GPT-4 om automatisch uitleggen hoe neuronen in grote taalmodellen werken en om deze uitleggen te beoordelen. Het bedrijf heeft een dataset vrijgegeven met deze (niet-ideale) uitleggen en scores voor elke neuron in GPT-2. De methode kan helpen bij het begrijpen van hoe modellen intern werken, maar heeft nog beperkingen, zoals het moeilijk zijn om complexe neurongedragingen volledig te beschrijven.