Nieuws

Verbetering van taalbegrip met onbegeleidd leren

OpenAI heeft een schaalbaar en taal-onafhankelijk systeem ontwikkeld dat state-of-the-art resultaten behaalt op een breed scala aan taaltaakken. Het systeem combineert transformers en onbegeleid pre-training, waarna het model wordt fijngesteld op kleinere begeleide datasets. De resultaten tonen aan dat het combineren van onbegeleid en begeleid leren effectief is, en kunnen inspireren tot verdere onderzoek op grotere en diversere datasets.