Отчёт · 30 октября 2026 г.

Как ИИ-агенты видят mascotte.ru

Все 12 проверенных ИИ-ботов могут открыть главную mascotte.ru и им это разрешено. Серьёзных проблем не нашли.

Проверена главная: mascotte.ru Обновлено 30 октября в 22:55 Проверок: 2

94/100

Видимость для ИИ-агентов

Доступ для ботов: 40/40
Правила robots.txt: 20/20
Контент без JavaScript: 20/20
Разметка: 7/10
Служебные файлы: 7/10

Главные проблемы

Мелочь
Нет структурированных данных

На главной нет разметки schema.org (JSON-LD). Она помогает ИИ понять, что это за организация и что она предлагает.

Как исправить. Добавьте JSON-LD: Organization или LocalBusiness, для магазина — Product.
Мелочь
Нет Markdown-версии для ИИ-агентов

Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.

Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.
Мелочь
Нет llms.txt

Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Бот	robots.txt	Доступ к главной	Ответ сервера
Поисковики
GooglebotGoogle	Разрешенообщее правило	Видит страницу	200
YandexBotЯндекс	Разрешенообщее правило	Видит страницу	200
BingbotMicrosoft	Разрешенообщее правило	Видит страницу	200
ИИ-поиск
YandexAdditionalBotЯндекс	Разрешенообщее правило	Видит страницу	200
OAI-SearchBotOpenAI	Разрешенообщее правило	Видит страницу	200
Claude-SearchBotAnthropic	Разрешенообщее правило	Видит страницу	200
PerplexityBotPerplexity	Разрешенообщее правило	Видит страницу	200
Агенты по запросу пользователя
ChatGPT-UserOpenAI	Разрешенообщее правило	Видит страницу	200
Claude-UserAnthropic	Разрешенообщее правило	Видит страницу	200
Perplexity-UserPerplexity	Разрешенообщее правило	Видит страницу	200
Обучение моделей
GPTBotOpenAI	Разрешенообщее правило	Видит страницу	200
ClaudeBotAnthropic	Разрешенообщее правило	Видит страницу	200
CCBotCommon Crawl	Разрешенообщее правило	Видит страницу	200
BytespiderByteDance	Разрешенообщее правило	Видит страницу	200
meta-externalagentMeta	Разрешенообщее правило	Видит страницу	200
Google-ExtendedGoogle	Разрешенообщее правило	нет своего робота
Applebot-ExtendedApple	Разрешенообщее правило	нет своего робота

Для сравнения обычный браузер получил: ответ 200, 655 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Без JavaScript655 слов

В браузере410 слов

Контент доступен без JavaScript.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title: MASCOTTE — официальный интернет-магазин | Купить обувь, одежду, сумки и аксессуары
Description: Интернет-магазин Mascotte: стильная обувь, сумки, одежда для женщин, мужчин и детей. ✔ Бесплатная доставка по России ✔ Примерка перед оплатой ✔ Оплата частями ✔ Легкий возврат ✔ Скидки до 70% постоянным покупателям.
Язык: ru
Canonical: https://mascotte.ru
Schema.org: нет
Meta robots: index, follow

Служебные файлы

robots.txt: есть 2972 байт, ИИ-боты отдельно не упомянуты
Sitemap: есть индекс карт, 4 ссылки, указан в robots.txt
Markdown для агентов: нет на запрос Markdown сайт отдаёт HTML
llms.txt: нет необязательный файл для языковых моделей

Показать robots.txt

User-Agent: *
Disallow: */index.php
Disallow: /bitrix/
Disallow: /order/
Disallow: /orders/
Disallow: /order/success/
Disallow: /hook/
Disallow: /payanyway/
Disallow: /profile/
Disallow: /pages/
Disallow: /vozvrat/
Disallow: */filter/*
Disallow: */feed
Disallow: */rss
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_*=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*PAGEN
Disallow: /*print_course=
Disallow: /*action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /*?barcode=
Disallow: /*?bxajaxid=
Disallow: /*&bxajaxid=
Disallow: /*?view_result=
Disallow: /*&view_result=
Disallow: /*?yhid=
Disallow: /*?mailtrackingid=
Disallow: /*print=
Disallow: /*?new=Y
Disallow: /*?edit=
Disallow: *?preview=
Disallow: *captcha
Disallow: *?FILTER*=
Disallow: *?ei=
Disallow: *?ext=
Disallow: *?p=
Disallow: *?a=
Disallow: *?q=
Disallow: *?sorting=
Disallow: *?tags=
Disallow: *?fl_checkpoint=
Disallow: *?erid=
Disallow: *?k50id=
Disallow: *?giclickid=
Disallow: *?adrclid=
Disallow: *B_ORDER=
Disallow: *BRAND=
Disallow: *CLEAR_CACHE=
Disallow: *ELEMENT_ID=
Disallow: *price_from=
Disallow: *price_to=
Disallow: *PROPERTY_TYPE=
Disallow: *PROPERTY_WIDTH=
Disallow: *PROPERTY_HEIGHT=
Disallow: *PROPERTY_DIA=
Disallow: *PROPERTY_OPENING_COUNT=
Disallow: *PROPERTY_SELL_TYPE=
Disallow: *PROPERTY_MAIN_TYPE=
Disallow: *PROPERTY_PRICE[*]=
Disallow: *S_LAST=
Disallow: *SECTION_ID=
Disallow: *SECTION[*]=
Disallow: *SHOWALL=
Disallow: *SHOW_ALL=
Disallow: *SHOWBY=
Disallow: *SORT=
Disallow: *SPHRASE_ID=
Disallow: *TYPE=
Disallow: *openstat=
Disallow: *from=
Disallow: *utm=
Disallow: *confirm_code=
Disallow: *sender_subscription=
Disallow: /search/
Disallow: /franchising/

Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Allow: */upload/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Host: mascotte.ru
Sitemap: https://mascotte.ru/sitemap.xml

User-Agent: Yandex
Clean-param: gclid&yclid&ymclid&_openstat&frommarket&utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_email&utm_nooverride&utm_referrer&from&utm&yhid&mailtrackingid&adv&disableGlobalInfoCollect&srsltid&lang&fl_checkpoint&confirm_code&sender_subscription&searchbooster&sorting&reload&referrer&confirm_code&sender_subscription&ah&wbraid&etext&sub1&q&ybaip&ycylid&subid&retargeting&adtarget&yprqee&erid&MNT_TRANSACTION_ID&MNT_ID&MNT_OPERATION_ID&clid&src_pof

История проверок

Дата	Балл	ИИ-ботов видят
30 октября в 22:55	94	12
15 октября в 23:51	30	0

Как мы проверяли

Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.

Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.

Другие проверенные сайты

Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.