Nieuws

Kleine modellen slaan grote modellen bij langere teksten

Nieuwe onderzoek van Together.ai toont aan dat kleinere modellen zoals Llama-3-70B en Qwen-72B beter presteren op taken met lange contexten door gebruik te maken van een 'Divide & Conquer'-benadering. Deze methode verdeelt teksten in stukken en verwerkt deze parallel, waardoor de prestaties op lange teksten gelijk of beter zijn dan die van GPT-4o.