Nieuws

Mindbeam AI brengt open-source AI-inferentieframework Litespark-Inference uit voor CPU's

De startup Mindbeam AI heeft Litespark-Inference uitgebracht, een open-source framework dat ternary large language models efficiënt laat draaien op standaard consumentenprocessors. Het framework levert volgens benchmarks 17 tot 96 keer hogere doorvoer dan standaard PyTorch-implementaties en reduceert het geheugengebruik met meer dan 80%. De broncode is beschikbaar op GitHub en ondersteunt Apple Silicon, Intel- en AMD-processoren.