Nieuws

Attention Probes: een nieuwe methode voor het analyseren van taalmodellen

EleutherAI introduceert Attention Probes, een nieuwe methode om interne toestanden van taalmodellen te classificeren. In plaats van pooling gebruiken deze probes een aandachtlaag om verborgen toestanden te verzamelen. De methode toont betere prestaties dan bestaande technieken zoals last-token en mean probes, vooral bij het gebruik van meerdere aandachtshoofden en de LBFGS-optimizer. De code is beschikbaar op GitHub.