Nieuws

Ablatie van activatiefuncties in GPT-achtige taalmodellen

Een onderzoeksbijlage over de invloed van activatiefuncties in GPT-achtige taalmodellen met ongeveer 100 miljoen parameters. De experimenten werden uitgevoerd met 10.000 iteraties, maar de resultaten zijn niet volledig conclusief vanwege het beperkte aantal testen. De auteur deelt de resultaten voor eventuele verdere analyse.