Nieuws

3 Agents, 3 LLMs, 1 Oude GPU: Techniek voor Parallelle Inferentie op Kaal Metaal

Een C++-daemon genaamd VRAM Conductor maakt het mogelijk om drie verschillende LLM's te draaien op een enkele 8 GB NVIDIA GTX 1080 GPU door laag-multiplexing en toelatingscontrole. De daemon gebruikt een VRAM-grootboek en een 90%-cap om geheugenuitputting te voorkomen, gebaseerd op principes uit 5G-netwerken. Het artikel toont dat de aanpak slaagt waar drie afzonderlijke llama-completion-processen falen.