Nieuws

Together AI bereikt record-snelheden voor DeepSeek-R1-0528-inferentie op NVIDIA Blackwell

Together AI heeft record-snelheden bereikt bij de inferentie van het open-source model DeepSeek-R1-0528 op NVIDIA HGX B200. Met hun nieuwe inferentie-engine en geoptimaliseerde GPU-kernels bereikt Together AI een maximale decoderingssnelheid van ongeveer 334 tokens per seconde, wat een verbetering van 32 tokens per seconde is ten opzichte van andere oplossingen. Deze prestaties worden behaald zonder de kwaliteit van het model te beïnvloeden.