Nieuws

Databricks introduceert AI-servingplatform dat zich aanpast aan elk model

Databricks heeft Custom Model Serving aangekondigd, een volledig beheerd platform voor realtime inferentie dat zich automatisch aanpast aan elk model, van kleine scikit-learn-classifiers tot grote LLM's van 70 miljard parameters. Het platform haalt meer dan 300.000 QPS met sub-10ms latentie zonder handmatige tuning. Een innovatieve autoscaler combineert vraaggestuurde horizontale schaling met modelbewuste verticale schaling om kosten laag te houden en prestaties te garanderen. Het platform ondersteunt zero-downtime updates en warme node-pools om koude starts te minimaliseren.