Отчёт · 30 октября 2026 г.

Как ИИ-агенты видят brandshop.ru

Все 12 проверенных ИИ-ботов могут открыть главную brandshop.ru и им это разрешено. Серьёзных проблем не нашли.

Проверена главная: brandshop.ru Обновлено 30 октября в 22:55 Проверок: 2

97/100

Видимость для ИИ-агентов

Доступ для ботов: 40/40
Правила robots.txt: 20/20
Контент без JavaScript: 20/20
Разметка: 10/10
Служебные файлы: 7/10

Главные проблемы

Мелочь
Нет Markdown-версии для ИИ-агентов

Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.

Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.
Мелочь
Нет llms.txt

Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Бот	robots.txt	Доступ к главной	Ответ сервера
Поисковики
GooglebotGoogle	Разрешеногруппа Googlebot	Видит страницу	200
YandexBotЯндекс	Разрешеногруппа Yandex	Видит страницу	200
BingbotMicrosoft	Разрешенообщее правило	Видит страницу	200
ИИ-поиск
YandexAdditionalBotЯндекс	Разрешеногруппа Yandex	Видит страницу	200
OAI-SearchBotOpenAI	Разрешенообщее правило	Видит страницу	200
Claude-SearchBotAnthropic	Разрешенообщее правило	Видит страницу	200
PerplexityBotPerplexity	Разрешенообщее правило	Видит страницу	200
Агенты по запросу пользователя
ChatGPT-UserOpenAI	Разрешенообщее правило	Видит страницу	200
Claude-UserAnthropic	Разрешенообщее правило	Видит страницу	200
Perplexity-UserPerplexity	Разрешенообщее правило	Видит страницу	200
Обучение моделей
GPTBotOpenAI	Разрешенообщее правило	Видит страницу	200
ClaudeBotAnthropic	Разрешенообщее правило	Видит страницу	200
CCBotCommon Crawl	Разрешенообщее правило	Видит страницу	200
BytespiderByteDance	Разрешенообщее правило	Видит страницу	200
meta-externalagentMeta	Разрешенообщее правило	Видит страницу	200
Google-ExtendedGoogle	Разрешенообщее правило	нет своего робота
Applebot-ExtendedApple	Разрешенообщее правило	нет своего робота

Для сравнения обычный браузер получил: ответ 200, 765 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Без JavaScript765 слов

В браузере939 слов

Контент доступен без JavaScript.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title: Интернет-магазин модной одежды и обуви BRANDSHOP
Description: Мультибрендовый магазин одежды, обуви и аксессуаров премиум класса ➤ интернет-магазин стильной и модной одежды в Москве
Язык: ru
Canonical: https://brandshop.ru
Schema.org: Organization
Meta robots: index, follow

Служебные файлы

robots.txt: есть 664 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot
Sitemap: есть индекс карт, 4 ссылки, указан в robots.txt
Markdown для агентов: нет на запрос Markdown сайт отдаёт HTML
llms.txt: нет необязательный файл для языковых моделей

Показать robots.txt

User-agent: Yandex
Disallow: /login/
Disallow: /register/
Disallow: /oferta/
Disallow: /privacy/
Disallow: /*search
Disallow: /*?
Disallow: /*route=
Disallow: */goods/*/*/?page=*
Allow: /*?page=


User-agent: Googlebot
Disallow: /login/
Disallow: /register/
Disallow: /oferta/
Disallow: /privacy/
Disallow: /*search
Disallow: /*?
Disallow: /*route=
Disallow: */goods/*/*/?page=*
Allow: /*?page=


User-agent: *
Disallow: /login/
Disallow: /register/
Disallow: /oferta/
Disallow: /privacy/
Disallow: /*search
Disallow: /*?
Disallow: /*route=
Disallow: */goods/*/*/?page=*
Allow: /*?page=

Sitemap: https://brandshop.ru/sitemap.xml

История проверок

Дата	Балл	ИИ-ботов видят
30 октября в 22:55	97	12
15 октября в 23:51	96	12

Как мы проверяли

Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.

Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.

Другие проверенные сайты

Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.