Nieuws

Pile-T5: een nieuwe versie van het T5-model getraind op de Pile

EleutherAI heeft een nieuwe versie van het T5-model ontwikkeld, genaamd Pile-T5, die getraind is op de Pile en gebruikmaakt van de LLaMA-tokenizer. Het model is 2 miljoen stappen getraind op 2 triljoen tokens, wat dubbel is ten opzichte van het originele T5-model. Pile-T5 presteert aanzienlijk beter op codegerelateerde taken en toont verbeterde resultaten op benchmarks zoals SuperGLUE en CodeXGLUE.