Nieuws

GenAI-inferentie monitoren en debuggen met SageMaker gedetailleerde metrieken en Insights-dashboard op CloudWatch

Amazon SageMaker AI lanceert meer dan 100 gedetailleerde inferentie-metrieken voor het monitoren van generatieve AI-workloads. De metrieken omvatten GPU-gezondheid, token-level latentie, KV-cachedruk en verkeersverdeling. Ze worden weergegeven in een nieuw SageMaker Insights-dashboard in CloudWatch, dat prestaties, capaciteit en betrouwbaarheid visualiseert. Teams kunnen ook via een PromQL-eindpunt verbinding maken met eigen observability-tools zoals Grafana.