Nieuws

OpenAI introduceert IH-Challenge om instructiehiërarchie in LLM's te verbeteren

OpenAI lanceert IH-Challenge, een trainingset die modellen helpt om betrouwbare instructies te prioriteren, waardoor de veiligheid, beheersbaarheid en weerstand tegen prompt-injectie-aanvallen verbeteren. Het project richt zich op het oplossen van conflicten tussen instructies van verschillende bronnen, zoals systeemberichten, ontwikkelaarsrichtlijnen en gebruikersvragen. De methode verbetert de veiligheid van AI-systemen zonder de nuttigheid van modellen te beperken.