Отчёт · 30 октября 2026 г.

Как ИИ-агенты видят cian.ru

1 из 12 ИИ-ботов могут открыть главную cian.ru и им это разрешено. Серьёзных проблем: 1.

Проверена главная: www.cian.ru Обновлено 30 октября в 22:59 Проверок: 4
35/100
Видимость для ИИ-агентов
Доступ для ботов
3/40
Правила robots.txt
20/20
Контент без JavaScript
20/20
Разметка
9/10
Служебные файлы
0/10
можно будет 31 октября в 04:59 Проверить другой сайт →

Главные проблемы

  1. Серьёзно

    ИИ-ассистенты не могут открыть сайт

    Браузеру главная открывается, а ИИ-агентам нет: ChatGPT-User, Claude-User, Perplexity-User, YandexAdditionalBot, OAI-SearchBot, Claude-SearchBot, PerplexityBot — заблокирован (ответ 403). Когда пользователь спросит ChatGPT, Claude или Perplexity о вашем сайте, они не смогут его прочитать.

    Как исправить. Найдите правило, которое режет запросы по User-Agent: в WAF, антиботе, настройках хостинга или nginx — и добавьте исключение для нужных ботов.

  2. Важно

    Сайт не пускает тех, кто только называет себя поисковиком

    Запросы с подписями поисковых роботов без их IP-адресов отклонены: Googlebot, Bingbot — получает капчу (Yandex SmartCaptcha). Скорее всего, защита сверяет подлинность ботов по IP — тогда настоящие Googlebot и YandexBot проходят. Проверьте в Яндекс Вебмастере и Google Search Console, что ошибок обхода нет.

    Как исправить. Если в панелях вебмастера есть ошибки доступа, добавьте поисковых роботов в исключения защиты.

  3. Важно

    Не найдена карта сайта

    Мы не нашли рабочий sitemap (в robots.txt он не указан, /sitemap.xml не отвечает). Ботам сложнее находить страницы.

    Как исправить. Создайте sitemap.xml и укажите его в robots.txt строкой «Sitemap: …».

  4. Мелочь

    Боты для обучения моделей заблокированы на уровне сервера

    GPTBot, ClaudeBot, Bytespider — заблокирован (ответ 403); CCBot — получает капчу (Yandex SmartCaptcha). Если это сознательное решение — всё в порядке, на ответы ИИ-поиска это почти не влияет.

    Как исправить. Если блокировка случайная, проверьте правила антибота. Если нет — лучше дополнительно закрыть этих ботов в robots.txt: так правило будет явным.

  5. Мелочь

    robots.txt не отдаётся сканеру

    Запрос /robots.txt получил ответ 403. Боты, которым robots.txt недоступен, обычно считают, что ограничений нет, — но и ваших правил они не узнают.

    Как исправить. Отдавайте robots.txt всем без проверок антибота.

Ещё 2 замечания
  • Нет Markdown-версии для ИИ-агентов. Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.
  • Нет llms.txt. Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Ботrobots.txtДоступ к главнойОтвет сервера
Поисковики
GooglebotGoogle
Разрешенонет файла
Получает капчу
200 · Yandex SmartCaptcha
YandexBotЯндекс
Разрешенонет файла
Видит страницу
200
BingbotMicrosoft
Разрешенонет файла
Получает капчу
200 · Yandex SmartCaptcha
ИИ-поиск
Разрешенонет файла
Заблокирован
403
Разрешенонет файла
Заблокирован
403
Разрешенонет файла
Заблокирован
403
PerplexityBotPerplexity
Разрешенонет файла
Заблокирован
403
Агенты по запросу пользователя
Разрешенонет файла
Заблокирован
403
Claude-UserAnthropic
Разрешенонет файла
Заблокирован
403
Perplexity-UserPerplexity
Разрешенонет файла
Заблокирован
403
Обучение моделей
GPTBotOpenAI
Разрешенонет файла
Заблокирован
403
ClaudeBotAnthropic
Разрешенонет файла
Заблокирован
403
CCBotCommon Crawl
Разрешенонет файла
Получает капчу
200 · Yandex SmartCaptcha
BytespiderByteDance
Разрешенонет файла
Заблокирован
403
Разрешенонет файла
Видит страницу
200
Разрешенонет файла
нет своего робота
Разрешенонет файла
нет своего робота

Для сравнения обычный браузер получил: ответ 200, 1779 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил meta-externalagent, со страницей после рендера в браузере.

Без JavaScript1779 слов
В браузере49 слов

Контент доступен без JavaScript.

Разметка главной

Так главную видит meta-externalagent — без JavaScript.

Title
Циан - база недвижимости в Москве и по всей РФ | Продажа, аренда квартир и другой недвижимости
Description
Циан - база объявлений об аренде и продаже недвижимости в Москве и по всей РФ. Описание объектов, фото, контакты продавца, ипотека.
Язык
ru
Canonical
нет
Schema.org
LodgingBusiness
Meta robots
не задано

Служебные файлы

robots.txt
нет ответ 403
Sitemap
нет ответ 403
Markdown для агентов
нет на запрос Markdown сайт отдаёт HTML
llms.txt
нет необязательный файл для языковых моделей

История проверок

ДатаБаллИИ-ботов видят
30 октября в 22:59351
30 октября в 22:26351
15 октября в 23:33321
15 октября в 23:32321

Как мы проверяли

Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.

Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.

Другие проверенные сайты

Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.