Nieuws

Waarom decennia-oude residuale verbindingen nog steeds alle AI aandrijven (en waarom dat een probleem is)

Diepgaand artikel over de rol van residuale verbindingen in neurale netwerken. DeepSeek-AI heeft een nieuwe methode genaamd Manifold-Constrained Hyper-Connections (mHC) voorgesteld die de beperkingen van bestaande technieken aanpakt. mHC stabiliseert de signaalvoortplanting en verbetert de prestaties, met slechts 6,7% overhead tijdens training. Het onderzoek toont aan dat zelfs fundamentele componenten van AI-architecturen nog aanzienlijk kunnen worden verbeterd.