Отчёт · 30 октября 2026 г.

Как ИИ-агенты видят finn-flare.ru

finn-flare.ru закрыт антибот-защитой от любых автоматических клиентов: ни один из 12 ИИ-ботов не получил страницу. Поисковики, вероятно, проходят по IP-адресам.

Проверена главная: finn-flare.ru Обновлено 30 октября в 22:52 Проверок: 2
21/100
Видимость для ИИ-агентов
Доступ для ботов
0/40
Правила robots.txt
20/20
Контент без JavaScript
0/20
Разметка
1/10
Служебные файлы
0/10
можно будет 31 октября в 04:52 Проверить другой сайт →

Главные проблемы

  1. Серьёзно

    Сайт закрыт от любых автоматических клиентов

    Защита сайта отказывает и программным запросам (ответ 503), и браузеру без интерфейса (ответ 503). ИИ-агенты, которые открывают страницы по запросу пользователя, почти наверняка тоже получают отказ. Поисковых роботов такие системы обычно пропускают по IP-адресам — это мы проверить не можем.

    Как исправить. Если ИИ-ассистенты должны читать сайт, добавьте их в исключения антибота. У крупных систем защиты есть списки проверенных ботов (verified bots).

  2. Серьёзно

    robots.txt отвечает ошибкой сервера

    Запрос robots.txt вернул 503. Google и многие боты в этом случае считают, что обход запрещён целиком.

    Как исправить. Сделайте так, чтобы /robots.txt отдавался с кодом 200 (или 404, если файла нет).

  3. Важно

    Хостинг ограничивает частоту запросов

    На 15 из 15 запросов сервер сначала ответил 503 («слишком много запросов»). Боты, которые обходят сайт активно, будут получать такие отказы и могут заходить реже.

    Как исправить. Проверьте лимиты частоты на хостинге или в nginx (limit_req) и ослабьте их для поисковых и ИИ-ботов.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Ботrobots.txtДоступ к главнойОтвет сервера
Поисковики
GooglebotGoogle
Разрешенонет файла
Ошибка соединения
503
YandexBotЯндекс
Разрешенонет файла
Ошибка соединения
503
BingbotMicrosoft
Разрешенонет файла
Ошибка соединения
503
ИИ-поиск
Разрешенонет файла
Ошибка соединения
503
Разрешенонет файла
Ошибка соединения
503
Разрешенонет файла
Ошибка соединения
503
PerplexityBotPerplexity
Разрешенонет файла
Ошибка соединения
503
Агенты по запросу пользователя
Разрешенонет файла
Ошибка соединения
503
Claude-UserAnthropic
Разрешенонет файла
Ошибка соединения
503
Perplexity-UserPerplexity
Разрешенонет файла
Ошибка соединения
503
Обучение моделей
GPTBotOpenAI
Разрешенонет файла
Ошибка соединения
503
ClaudeBotAnthropic
Разрешенонет файла
Ошибка соединения
503
CCBotCommon Crawl
Разрешенонет файла
Ошибка соединения
503
BytespiderByteDance
Разрешенонет файла
Ошибка соединения
503
Разрешенонет файла
Ошибка соединения
503
Разрешенонет файла
нет своего робота
Разрешенонет файла
нет своего робота

Для сравнения обычный браузер получил: ответ 503.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил бот, со страницей после рендера в браузере.

Без JavaScript35 слов
В браузере—

Не удалось сравнить.

Разметка главной

Так главную видит бот — без JavaScript.

Title
нет
Description
нет
Язык
en
Canonical
нет
Schema.org
нет
Meta robots
не задано

Служебные файлы

robots.txt
нет ответ 503
Sitemap
нет ответ 503
Markdown для агентов
нет на запрос Markdown сайт отдаёт HTML
llms.txt
нет необязательный файл для языковых моделей

История проверок

ДатаБаллИИ-ботов видят
30 октября в 22:52210
15 октября в 23:509312

Как мы проверяли

Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.

Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.

Другие проверенные сайты

Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.