Nieuws

ParallelKernelBench: Grensverleggende LLM's kunnen nog geen snelle multi-GPU-kernels schrijven

Together AI introduceert ParallelKernelBench (PKB), een benchmark die test of LLM's efficiënte multi-GPU CUDA-kernels kunnen genereren voor 87 praktijkproblemen. Het beste model lost minder dan een derde van de problemen op, maar enkele gegenereerde kernels presteren beter dan bestaande openbare implementaties. De benchmark onthult dat modellen moeite hebben met rankcoördinatie en communicatiemechanismen, wat aangeeft dat er nog aanzienlijke ruimte voor verbetering is.