Nieuws

Prompt Caching in de API

OpenAI introduceert Prompt Caching, een functie die ontwikkelaars helpt om kosten en vertragingen te verminderen bij hergebruik van ingevoerde tekens in AI-toepassingen. Ontwikkelaars krijgen automatisch een 50% korting op ingevoerde tekens die het model recent heeft gezien, en dit geldt voor de nieuwste versies van GPT-4o, GPT-4o mini, o1-preview en o1-mini. De functie is vanaf vandaag beschikbaar en werkt automatisch voor prompts langer dan 1.024 tekens.