Nieuws

Hoe snel is 10 tokens per seconde echt?

Mike Veerman heeft een HTML-app ontwikkeld die LLM-tokenuitvoersnelheden simuleert van 5 tot 800 tokens per seconde. De tool helpt om een gevoel te krijgen bij advertised snelheden zoals '30 tokens per seconde'.