Nieuws

Daadwerkelijke kosten van lokale LLM-inferentie gemeten in euro's per miljoen tokens

Een data scientist heeft de GPU-energiekosten van acht lokale LLM's gemeten op een enkele RTX 3090. De resultaten tonen dat de kosten per miljoen tokens sterk variëren en niet simpelweg afhangen van het aantal parameters. Vijf modellen zijn goedkoper dan cloud-API's, maar drie duurder, waarbij effectieve doorvoersnelheid de belangrijkste factor is.