OpenAI Verduidelijkt Updates van User-Agent Strings voor Crawlers
OpenAI heeft zijn documentatie bijgewerkt over hoe zijn webcrawlers hun user-agent strings kunnen wijzigen. Dit omvat variabele versienummers en een specifieke 'robots.txt' marker om het onderscheid in logbestanden te vergemakkelijken voor webmasters.