Nieuws

Aurora: een open-source framework dat speculative decoding in real-time verbetert

Aurora is een open-source framework dat speculative decoding van een statische, offline opstelling verandert in een dynamisch, zelfverbeterend systeem dat direct leert van live-inferentie. Het biedt een 1,25x snelheidstoename ten opzichte van een goed getrainde statische speculator, zoals Qwen3 en Llama3. Het werkt zonder onderbrekingen in de productie en ondersteunt diverse gebruikersbehoeften door een RL-gebaseerde aanpak te gebruiken.