Nieuws

Ik heb één model op 3 manieren gefinetuned: de run van $50.000 vergat meer dan die van $1.500

Een AI-onderzoeker vergeleek full fine-tuning, LoRA en QLoRA op een 8B model. De duurste variant met circa $50.000 aan H100-rekentijd presteerde slechter dan de goedkopere LoRA- en QLoRA-methodes. Het artikel analyseert de efficiëntie van verschillende fine-tuning technieken.