Nieuws

AWS introduceert P-EAGLE voor parallel speculative decoding op Amazon SageMaker AI

AWS heeft P-EAGLE uitgevonden en open source bijgedragen, een methode die speculative decoding parallelliseert door alle draft-tokens in één keer te voorspellen. Dit levert tot 1,69x hogere doorvoer op dan EAGLE-3. Amazon SageMaker JumpStart ondersteunt nu native P-EAGLE voor modellen zoals Qwen3-Coder-30B-A3B-Instruct.