Nieuws

Snelle token-generatie wordt sleuteldifferentiator in heterogene AI-inferentie

Tijdens de RAISE Summit kondigde d-Matrix de Corsair-productielancering aan, een heterogene inferentie-oplossing die Nvidia Hopper- en Blackwell-GPU's combineert met d-Matrix-versnellers voor snelle token-generatie. Volgens d-Matrix worden 'fast tokens' tot tien keer duurder geprijsd dan standaard tokens, wat een nieuwe inkomstenstroom creëert voor inferentieproviders. Het bedrijf werkt ook aan een volgende generatie 3D-geheugenarchitectuur met vier DRAM-stapels bovenop de rekeneenheid.

Bron: SiliconANGLE AI

Originele taal: [en-US]

Lees hier het originele artikel