Nieuws

MKernel: Een multi-GPU, multi-node gefuseerde kernelbibliotheek voor GPU-gestuurde communicatie

Onderzoekers van UC Berkeley hebben mKernel uitgebracht, een bibliotheek met persistente CUDA-kernels die intra-node NVLink-communicatie, inter-node RDMA en berekeningen in één kernel combineert. De bibliotheek pakt de overhead van hostgestuurde communicatie aan, die bij MoE-modellen tot 47% van de uitvoeringstijd kan kosten. mKernel zorgt voor fijnmazige overlap van berekeningen en communicatie op tile-niveau, zonder afhankelijk te zijn van NCCL of NVSHMEM.