Nieuws

8-bit quantisatie met Lightning Fabric

Lightning Fabric biedt een eenvoudige manier om 8-bit quantisatie toe te passen, wat het geheugengebruik van grote modellen zoals Llama 2 en SDXL verlaagt. Dit wordt gedaan door een modeflag in een plugin in te stellen. 8-bit quantisatie vereist een nieuwe representatieschema en kan invloed hebben op modelprestaties, vooral bij edge devices. De techniek is belangrijk voor productieomgevingen waarbij hardware met een kleinere geheugengebruik, zoals consumer-grade apparatuur, wordt gebruikt.