Nieuws

Mistral 7B: krachtigste 7B-model tot nu toe, beschikbaar onder Apache 2.0-licentie

Mistral AI heeft Mistral 7B uitgebracht, een taalmodel met 7,3 miljard parameters dat beter presteert dan Llama 2 13B op alle benchmarks en Llama 1 34B op veel benchmarks. Het model gebruikt Grouped-query attention en Sliding Window Attention voor snellere inferentie en langere sequenties. Mistral 7B wordt aangeboden onder de Apache 2.0-licentie zonder restricties.