Nieuws

Codinggids voor NVIDIA's Tile-gebaseerde GPU-programmering: van cuTile- en Triton-kernels tot Flash Attention

Deze tutorial behandelt tile-gebaseerde GPU-programmering met NVIDIA's cuTile en Triton. Je leert hoe je datatiles laadt, bewerkt en opslaat, met implementaties van vectoroptelling, fused GELU, rijgewijze softmax, getilde matrixvermenigvuldiging en flash attention. Alle resultaten worden vergeleken met PyTorch voor correctheid en prestatiemetingen.