Nieuws

Product Key Memory Sparse Coders

EleutherAI onderzoekt de prestaties van Product Key Memory (PKM) transcoders en vergelijkt ze met TopK transcoders. De resultaten tonen aan dat PKM transcoders sneller kunnen worden getraind voor bepaalde modellengroottes, maar bij grotere expansiefactoren presteren baseline modellen beter. De onderzoekers ontdekten ook dat PKM transcoders iets beter interpreteerbaar zijn dan TopK transcoders. Code en modellen zijn beschikbaar op GitHub en Hugging Face.