Nieuws

AI-agentcrawlers hebben nu toestemming nodig: Cloudflare blokkeert ze vanaf september

Cloudflare blokkeert vanaf 15 september standaard AI-agentcrawlers op advertentiepagina's. Het bedrijf onderscheidt drie categorieën: Search, Agent en Training, waarbij Agent- en Training-crawlers worden geblokkeerd tenzij ze toestemming krijgen. Googlebot valt onder Search en blijft toegestaan, maar het blokkeren van Training treft ook Googlebot. Cloudflare hoopt dat deze verandering licentieovereenkomsten stimuleert in plaats van volledige blokkades.