Nieuws

De stroom van aandacht

Een nieuw artikel op Towards AI geeft een geometrische interpretatie van transformer-aandacht, waarbij de invoerprompt wordt voorgesteld als een wolk van punten in een hoogdimensionale vectorruimte. Het legt uit hoe de aandacht elke tokencontextualiseert door middel van twee operatoren in één ruimte, wat leidt tot een herconfiguratie van de wolk. De auteur reduceert het QKV-mechanisme tot een bilineaire vorm en een lineaire operator, en biedt inzicht in de onderliggende dynamiek.