Nieuws

Versnel het laden van LLM-modellen en vergroot contextvensters met GPUDirect op Amazon FSx for Lustre en TurboQuant

AWS beschrijft hoe Amazon FSx for Lustre, gecombineerd met NVIDIA GPUDirect Storage, het laden van grote taalmodellen zoals Llama 3.1 405B versnelt van minuten naar seconden. Daarnaast wordt TurboQuant KV-cachecompressie genoemd die contextvensters tot 5x vergroot. De aanpak werkt op P5en- en P6-instanties met pre-geshardde en pre-gekwantiseerde checkpoints.