Nieuws

4-bit quantisatie met Lightning Fabric

Lightning Fabric introduceert een plugin voor 4-bit quantisatie, een techniek die het geheugengebruik van grote modellen zoals Llama 2 en SDXL aanzienlijk verlaagt. Met deze methode kunnen modellen met 65 miljard parameters worden gefinetuned op een enkele 48GB GPU, terwijl de prestaties van 16-bit behouden blijven. De implementatie is eenvoudig via het instellen van een mode-flag in de plugin.