Nieuws

Yi-34B, Llama 2 en de werkelijkheid van LLM-training: een feitencheck van de New York Times

EleutherAI legt uit dat de bewering van de New York Times dat Yi-34B van 01.AI sterk afhankelijk is van Llama 2 van Meta, onjuist is. De structuur van Yi-34B is vergelijkbaar met die van Llama 2, maar dit komt doordat alle moderne grote taalmodellen dezelfde basisalgoritmen gebruiken. De belangrijkste verschillen tussen modellen liggen in de trainingsetData en de infrastructuur, niet in de architectuur. 01.AI heeft zelf een Chinese-Engelse dataset ontwikkeld en de benodigde infrastructuur opgebouwd, zonder gebruik te maken van specifieke technologieën van Meta.