Как мы проверяем сайты

AI Crawl показывает, как сайт видят ИИ-агенты: поисковые роботы ChatGPT, Claude, Perplexity, Яндекса и Google, а также агенты, которые открывают страницы по запросу пользователя.

Что делает проверка

1. Читает robots.txt под честной подписью нашего сканера. Если владелец запретил нам обход, страницы сайта мы не открываем и разбираем только правила.
2. Открывает главную как обычный браузер — это эталон для сравнения.
3. Открывает главную под подписью каждого из 15 ботов и сравнивает ответ с эталоном: код ответа, заглушки антибот-систем, капчи, урезанный контент.
4. Разбирает robots.txt отдельно для каждого из 17 ботов и токенов.
5. Рендерит страницу в браузере и сравнивает с сырым HTML — так видно, сколько контента появляется только после JavaScript.
6. Проверяет title, description, schema.org, sitemap, llms.txt и отдаёт ли сайт Markdown для агентов.

Главное ограничение

Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Многие антиботы пропускают Googlebot и YandexBot по IP-адресам — для них реальная картина может быть лучше. Точную картину дают только логи вашего сервера.

Проверка идёт с сервера в России. Если сайт ограничивает доступ по географии, из других стран результат может отличаться.

Наш сканер

Сканер представляется как:

AICrawl/1.0 (+https://ai-crawl.app/about)

Мы проверяем только главную страницу и служебные файлы — без массового обхода. Подписи ИИ-ботов используются только для одного запроса к главной. Капчи и защиту не обходим, а только фиксируем. Запросы к сайту идут по одному, с паузой между ними.

Как убрать страницу о своём сайте

Запретите наш сканер в robots.txt — новые проверки страниц сайта прекратятся:

User-agent: AICrawl
Disallow: /

Чтобы убрать уже опубликованный отчёт, напишите на hi@ai-crawl.app с адреса на домене сайта или добавьте в корень сайта файл, который мы попросим. Удалим в течение суток.

Как считается балл

• Доступ для ботов — 40. Боты ИИ-поиска и агенты по запросу пользователя весят втрое больше, чем боты для обучения и обычные поисковики.
• Правила robots.txt — 20. С теми же весами.
• Контент без JavaScript — 20. Сколько текста бот видит без выполнения скриптов.
• Разметка — 10. Title, description, язык, canonical, schema.org.
• Служебные файлы — 10. robots.txt, sitemap, llms.txt, Markdown для агентов.

Запрет обучения моделей — нормальный выбор владельца. Он немного снижает балл, но в отчёте помечен как мелочь.