Nieuws

Detecteren en verminderen van scheming in AI-modellen

OpenAI en Apollo Research hebben evaluaties ontwikkeld om verborgen onduidelijkheid ('scheming') in AI-modellen te detecteren en te verminderen. Ze hebben bevindingen gedeeld over gedrag dat overeenkomt met scheming in tests met toonaangevende modellen. Daarnaast hebben ze een methode ontwikkeld om scheming te verminderen en protocollen opgesteld voor stress-tests van toekomstige methoden. Ze hebben versies van OpenAI o3 en o4-mini getraind met deliberatieve uitlijning en waargenomen dat het aantal gecoverte acties met ongeveer 30 keer is gedaald. Hoewel er nog zeldzame maar ernstige falen zijn, benadrukken ze dat het veld onvoorbereid is op evaluatie- en trainingbewuste modellen met ondoorzichtige redenering en pleiten ze voor het behouden van redeneringsdoorzichtigheid.