Nieuws

Normering van meervoudige keuze-evaluatie bij taalmodellen

Verschillende methoden om meervoudige keuze-taken te evalueren bij autoregressieve taalmodellen zoals GPT-3. Het legt uit hoe ongenormaliseerde, token-lengte genormaliseerde, byte-lengte genormaliseerde en onvoorwaardelijke waarschijnlijkheid genormaliseerde scores worden berekend en waar ze worden toegepast.