Nieuws

Disaggregated Prefill and Decode voor LLM-inferentie op SageMaker HyperPod

AWS introduceert Disaggregated Prefill and Decode (DPD) voor LLM-inferentie op SageMaker HyperPod. DPD scheidt prefill- en decode-fasen op aparte GPU-pools via EFA RDMA, waardoor interference wordt voorkomen en prestaties verbeteren. De implementatie gebruikt vLLM, LMCache en een intelligente router voor optimale routing van lange en korte prompts. Benchmarks tonen tot 66% verbetering in per-token latentie en tot 64% hogere doorvoer bij hoge concurrency.