Nieuws

Microgpt's 100.000-token contextvenster blijkt 14x duurder dan beweerd

Een analyse van microgpt, een open-source transformerimplementatie voor lange contexten, toont aan dat de geclaimde contextvenster van 100.000 tokens in werkelijkheid 14x meer kost dan de benchmarks suggereren. De auteur ontdekte een architectuurbeslissing in de multi-head attention die leidde tot overmatig tokenverbruik.