Nieuws

Hoe DeepL de volgende generatie LLMs bouwt met FP8 voor training en inference

DeepL heeft FP8 ingezet voor training en inference van de volgende generatie LLMs, wat leidde tot een toename van doorvoer en modelkwaliteit. Met de hulp van NVIDIA's technologie zijn snellere trainingen en betere vertalingen mogelijk, terwijl de latentie laag blijft. FP8 maakt het mogelijk om grotere taalmodellen te bouwen met betere kwaliteit en hogere doorvoer.