18из 42 измеренных сайтов · 43%
Антибот не пускает ИИ-агентов: как проверить и исправить
Капча, JavaScript-проверка или отказ WAF могут мешать агенту читать сайт даже при открытом robots.txt.
Что мешает ИИ читать сайты
Наблюдения по 42 сайтам с завершёнными достоверными проверками. Это наша выборка, а не репрезентативная статистика Рунета.
Последние проверки сайтов в выборке: 15 октября в 23:47 — 31 октября в 20:23. Служебные повторные прогоны не увеличивают число сайтов: один домен учитывается один раз.
1из 31 измеренных сайтов · 3%
robots.txt закрывает сайт от ИИ-поиска — что изменить
Запрет обучения и запрет поискового обхода — разные настройки. По одному правилу User-agent: * нельзя делать вывод о намерениях владельца.
6из 28 измеренных сайтов · 21%
ИИ видит пустую страницу: проверка JavaScript-контента
HTTP 200 означает успешную загрузку ответа, но внутри может быть только оболочка приложения. Смотрите на полученное содержание.
0из 1 измеренных сайтов · 0%
Сайт открывается, но ограничивает использование текста в поиске
nosnippet, max-snippet и data-nosnippet управляют показом фрагментов в поддерживающих их поисковых системах. Ограничение может быть намеренным.
Как читать эти числа
Сайты выбирают посетители и команда AI Crawl. Не включаем скрытые, неудачные и недостоверные отчёты. Один сайт может иметь несколько разных ограничений. Для новых проверок доступны дополнительные измерения; их отсутствие в старом отчёте не означает отсутствие проблемы.
В частности, настройки фрагментов измерены у 1 из 42 сайтов.
Полная методика →