Nieuws

Aandacht bepaalt waar te kijken. Waarden bepalen wat terugkomt.

Dit artikel van Utkarsh Mittal legt stap voor stap uit hoe ruwe attentiescores worden omgezet in een contextuele inbedding in GPT-2. Aan de hand van een eenvoudige vier-woord zin worden de rekenkundige bewerkingen zoals exponentiëren, delen door de som en het nemen van een gewogen gemiddelde gedemonstreerd. Het benadrukt het verschil tussen de gewichten en de waarden in een transformerblok.