Nieuws

OpenAI deelt details over GPT-Red: geautomatiseerd red-teaming-model verslaat menselijke red-teamers met 84% tegen 13% bij prompt injectie

OpenAI heeft details gepubliceerd over GPT-Red, een intern geautomatiseerd red-teaming-model dat prompt injectie-kwetsbaarheden opspoort. Het model versloeg menselijke red-teamers met 84% tegen 13% in een indirecte prompt injectie-arena. GPT-Red ontdekte een nieuwe aanval genaamd Fake Chain-of-Thought en wordt getraind met self-play reinforcement learning. Het model blijft intern om misbruik te voorkomen.