Nieuws

AI-chipstartups krijgen tweede kans door inference

De focus in de AI-sector verschuift van het trainen van modellen naar het serveren ervan, wat nieuwe kansen biedt voor AI-chipstartups. Nvidia's aankoop van Groq en de samenwerkingen met AWS en Intel tonen hoe verschillende hardware-architecturen worden gebruikt voor prefill en decode. Lumai introduceert een optische inference-accelerator die met minder energie matrixvermenigvuldigingen uitvoert. Tenstorrent wil met zijn Galaxy Blackhole-platform een alternatief bieden voor de disaggregeerde aanpak. De sector ontwikkelt zich snel, met innovaties zoals wafer-scale accelerators van Cerebras en de plannen van Lumai voor exaOPS-prestaties in 2029.