Nieuws

Generatieve modellering met sparse transformers

OpenAI heeft de Sparse Transformer ontwikkeld, een diep neurale netwerk dat nieuwe records stelt in het voorspellen van volgende elementen in een reeks, zoals tekst, beelden of geluid. Het netwerk gebruikt een verbeterde aandachtmechanisme om patronen te herkennen in reeksen die 30 keer langer zijn dan mogelijk was voorheen. De Sparse Transformer kan reeksen met tienduizenden elementen modelleren met honderden lagen, wat leidt tot state-of-the-art prestaties in meerdere domeinen.