Антибот не пускает ИИ-агентов: как проверить и исправить

Капча, JavaScript-проверка или отказ WAF могут мешать агенту читать сайт даже при открытом robots.txt.

Что проверить

  1. Найдите код ответа и название защиты в отчёте.
  2. Проверьте правила WAF и списки проверенных ботов у своего провайдера.
  3. Настраивайте точечные исключения по подтверждённым адресам ботов. Не отключайте защиту целиком.
  4. После изменения повторите проверку и сравните ответы.
Проверить свой сайт

Наблюдения в нашей выборке

Найдено у 18 из 42 сайтов, где это свойство измерено. Эта доля описывает только проверенные нами сайты.

  • nytimes.com · проверен 30 октября в 22:42
  • ozon.ru · проверен 30 октября в 22:43
  • wildberries.ru · проверен 30 октября в 22:43
  • 2gis.ru · проверен 30 октября в 22:44
  • avito.ru · проверен 30 октября в 23:01
  • hh.ru · проверен 30 октября в 22:45
  • mos.ru · проверен 30 октября в 22:46
  • cian.ru · проверен 31 октября в 20:23
  • lamoda.ru · проверен 30 октября в 22:46
  • 12storeez.com · проверен 30 октября в 22:47
  • gloria-jeans.ru · проверен 30 октября в 22:57
  • ostin.com · проверен 30 октября в 22:48
  • finn-flare.ru · проверен 30 октября в 22:52
  • snowqueen.ru · проверен 30 октября в 22:52
  • ekonika.ru · проверен 30 октября в 22:52

Другие причины