robots.txt закрывает сайт от ИИ-поиска — что изменить
Запрет обучения и запрет поискового обхода — разные настройки. По одному правилу User-agent: * нельзя делать вывод о намерениях владельца.
Что проверить
- Найдите запрещённого поискового бота и строку Disallow в отчёте.
- Проверьте, не перекрыт ли весь сайт общим правилом.
- Если запрет случайный, добавьте точечное разрешение для поискового робота, сохранив необходимые закрытые разделы.
- Запрет GPTBot для обучения можно оставить. Перепроверьте robots.txt после публикации.
Наблюдения в нашей выборке
Найдено у 1 из 31 сайтов, где это свойство измерено. Эта доля описывает только проверенные нами сайты.
- nytimes.com · проверен 30 октября в 22:42