Nieuws

Snellere dynamisch gedequantiseerde inferentie met XNNPack

TensorFlow heeft aangekondigd dat XNNPack, het CPU-backend van TensorFlow Lite, nu ondersteuning biedt voor dynamisch bereik gedequantisatie voor de Fully Connected en Convolution 2D operatoren. Dit leidt tot een vier keer hogere inferentieprestaties ten opzichte van de enkelvoudige precisie baseline. Dynamisch bereik gedequantiseerde modellen bieden een goede balans tussen prestaties en nauwkeurigheid, waardoor ze geschikt zijn voor oudere en lagere eindapparaten. De technologie wordt al gebruikt in producten zoals Gemini, Google Meet en Chrome OS en is beschikbaar voor open source gebruikers.