Nieuws

Training van Azerbeidzjaanse taalmodellen op Amazon SageMaker AI

Azercell en het AWS Generative AI Innovation Center ontwikkelden een framework voor het trainen van een Azerbeidzjaans groot taalmodel op Amazon SageMaker AI. Het framework omvat een aangepaste tokenizer, continued pre-training met FSDP en Liger Kernel optimalisaties, en LoRA fine-tuning, resulterend in 2x hogere tokenefficiëntie en 23% hogere trainingsdoorvoer.