Отчёт · 30 октября 2026 г.

Как ИИ-агенты видят street-beat.ru

Все 12 проверенных ИИ-ботов могут открыть главную street-beat.ru и им это разрешено. Серьёзных проблем не нашли.

Проверена главная: street-beat.ru Обновлено 30 октября в 22:56 Проверок: 2

97/100

Видимость для ИИ-агентов

Доступ для ботов: 40/40
Правила robots.txt: 20/20
Контент без JavaScript: 20/20
Разметка: 10/10
Служебные файлы: 7/10

Главные проблемы

Мелочь
Нет Markdown-версии для ИИ-агентов

Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.

Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.
Мелочь
Нет llms.txt

Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Бот	robots.txt	Доступ к главной	Ответ сервера
Поисковики
GooglebotGoogle	Разрешеногруппа Googlebot	Видит страницу	200
YandexBotЯндекс	Разрешеногруппа Yandex	Видит страницу	200
BingbotMicrosoft	Разрешенообщее правило	Видит страницу	200
ИИ-поиск
YandexAdditionalBotЯндекс	Разрешеногруппа Yandex	Видит страницу	200
OAI-SearchBotOpenAI	Разрешенообщее правило	Видит страницу	200
Claude-SearchBotAnthropic	Разрешенообщее правило	Видит страницу	200
PerplexityBotPerplexity	Разрешенообщее правило	Видит страницу	200
Агенты по запросу пользователя
ChatGPT-UserOpenAI	Разрешенообщее правило	Видит страницу	200
Claude-UserAnthropic	Разрешенообщее правило	Видит страницу	200
Perplexity-UserPerplexity	Разрешенообщее правило	Видит страницу	200
Обучение моделей
GPTBotOpenAI	Разрешенообщее правило	Видит страницу	200
ClaudeBotAnthropic	Разрешенообщее правило	Видит страницу	200
CCBotCommon Crawl	Разрешенообщее правило	Видит страницу	200
BytespiderByteDance	Разрешенообщее правило	Видит страницу	200
meta-externalagentMeta	Разрешенообщее правило	Видит страницу	200
Google-ExtendedGoogle	Разрешенообщее правило	нет своего робота
Applebot-ExtendedApple	Разрешенообщее правило	нет своего робота

Для сравнения обычный браузер получил: ответ 200, 0 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Без JavaScript308 слов

В браузере429 слов

Контент доступен без JavaScript.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title: Сеть фирменных магазинов кроссовок и кед Street Beat
Description: Магазин одежды и обуви Street Beat предлагает большую коллекцию кроссовок и кед от ведущих спортивных брендов
Язык: ru
Canonical: https://street-beat.ru/
Schema.org: Organization
Meta robots: noyaca

Служебные файлы

robots.txt: есть 9230 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot
Sitemap: есть индекс карт, 9 ссылок, указан в robots.txt
Markdown для агентов: нет на запрос Markdown сайт отдаёт HTML
llms.txt: нет необязательный файл для языковых моделей

Показать robots.txt

User-Agent: Yandex
Crawl-delay: 5
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&k50id&ref&yagla&uid&COLORS&k&amp&etext&yycleed&ypppil&ypppel&yprqee&yqpil&advert&hs&miniapp&referrer&yadiscount&extdata&ctime&ybaip&url&promocode&12413423936&11922833506&guardToken&sort&order
Clean-param: subid2&traf&mmfrom&otp&sa&tab&tag&yandex-source&from&q&LT&v&count&b&PROPERY_BRAND&source&amp&etext&yycleed&ypppil&ypppel&yprqee&yqpil&advert&hs&miniapp&referrer&yadiscount&extdata&ctime&ybaip&url&promocode&12413423936&11922833506&guardToken&sort&order
Allow: /upload/
Allow: /d/
Allow: /kepki;shapki/
Allow: /templates/*.css
Allow: /templates/*.js
Disallow: */amp
Disallow: *;*
Disallow: /*?page_size=
Disallow: /*?sort=
Disallow: /index.php
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*PAGEN
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /ajax/
Disallow: /local/
Disallow: /reports/
Disallow: /service_scripts/
Disallow: /search/
Disallow: /shopslist.php?show=
Disallow: /sizetable.php?brand=
Disallow: */?fv
Disallow: /*?shops=
Disallow: /*?from=text
Disallow: /*?[]=
Disallow: /*&page_size=
Disallow: /*&sort=
Disallow: /*&order=
Disallow: */?q=
Disallow: /*&props=
Disallow: /*&max_price=
Disallow: /*&min_price=
Disallow: /*&page_count=
Disallow: /*?material[]=
Disallow: /*priceTo=*
Disallow: /*rk.php?goto=*
Disallow: /*props=*
Disallow: /*?section=
Disallow: /*&section=
Disallow: /*?SECTION_ID=
Disallow: /*&SECTION_ID=
Disallow: /*?SECTION_CODE=
Disallow: /*&SECTION_CODE=
Disallow: */classic/*
Disallow: */exclusive/*
Disallow: */for_game/*
Disallow: */hype/*
Disallow: */initiative/*
Disallow: */light/*
Disallow: */madeusa/*
Disallow: */raznoe/*
Disallow: */reebok_performance/*
Disallow: */release/*
Disallow: */unisex/*
Disallow: /*?MAIN_COLOR=
Disallow: /*&MAIN_COLOR=
Disallow: /*?PROPERTY_BRAND=
Disallow: /*&PROPERTY_BRAND=
Disallow: /*?iitt=
Disallow: /*&iitt=
Disallow: /*?material=
Disallow: /*&material=
Disallow: /*?material[]=
Disallow: /*?material%5B%5D=
Disallow: *send*
Disallow: /*?brand=
Disallow: /*&brand=
Disallow: *f-1.3_le*
Disallow: /*?id=
Disallow: /*&id=
Disallow: /*?post_page=
Disallow: /*&post_page=
Disallow: */h/*
Disallow: /*?color=
Disallow: /*&color=
Disallow: */acryl/*
Disallow: *jordan=&onitsuka-tiger*
Disallow: */*available_shops=
Disallow: /*/*/*/*/*/*/*/
Disallow: /*/*/*/*/*/*/*/*/
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /*.png
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.jxr
Allow: /*.jp2
Allow: /*.webp
Allow: /*.gif
Allow: /local/templates/streetbeat_vue3/frontend/dist/
Allow: /local/templates/streetbeat_vue/frontend/dist/
Allow: */sandals;sandalii/$
Allow: */sandals;sandalii/*/$
Allow: */for_running;training/$
Allow: */for_running;training/*/$
Allow: */ryukzaki;sumki/$
Allow: */ryukzaki;sumki/*/$
Allow: */shorty;skirts-i-dresses/$
Allow: */shorty;skirts-i-dresses/*/$
Sitemap: https://street-beat.ru/sitemap/sitemap.xml


User-Agent: Googlebot
Crawl-delay: 5
Allow: /upload/
Allow: /d/
Allow: /kepki;shapki/
Allow: /templates/*.css
Allow: /templates/*.js
Disallow: *;*
Disallow: /*?page_size=
Disallow: /*?sort=
Disallow: /index.php
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*PAGEN
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /ajax/
Disallow: /local/
Disallow: /reports/
Disallow: /service_scripts/
Disallow: /search/
Disallow: /shopslist.php?show=
Disallow: /sizetable.php?brand=
Disallow: */?fv
Disallow: /*?shops=
Disallow: /*?from=text
Disallow: /*?[]=
Disallow: /*&page_size=
Disallow: /*&sort=
Disallow: /*&order=
Disallow: */?q=
Disallow: /*&props=
Disallow: /*&max_price=
Disallow: /*&min_price=
Disallow: /*&page_count=
Disallow: /*?material[]=
Disallow: /*priceTo=*
Disallow: /*rk.php?goto=*
Disallow: /*props=*
Disallow: /*?section=
Disallow: /*&section=
Disallow: /*?SECTION_ID=
Disallow: /*&SECTION_ID=
Disallow: /*?SECTION_CODE=
Disallow: /*&SECTION_CODE=
Disallow: */classic/*
Disallow: */exclusive/*
Disallow: */for_game/*
Disallow: */hype/*
Disallow: */initiative/*
Disallow: */light/*
Disallow: */madeusa/*
Disallow: */raznoe/*
Disallow: */reebok_performance/*
Disallow: */release/*
Disallow: */unisex/*
Disallow: /*?MAIN_COLOR=
Disallow: /*&MAIN_COLOR=
Disallow: /*?PROPERTY_BRAND=
Disallow: /*&PROPERTY_BRAND=
Disallow: /*?iitt=
Disallow: /*&iitt=
Disallow: /*?material=
Disallow: /*&material=
Disallow: /*?material[]=
Disallow: /*?material%5B%5D=
Disallow: *send*
Disallow: /*?brand=
Disallow: /*&brand=
Disallow: *f-1.3_le*
Disallow: /*?id=
Disallow: /*&id=
Disallow: /*?post_page=
Disallow: /*&post_page=
Disallow: */h/*
Disallow: /*?color=
Disallow: /*&color=
Disallow: */acryl/*
Disallow: *jordan=&onitsuka-tiger*
Disallow: */*available_shops=
Disallow: /*/*/*/*/*/*/*/
Disallow: /*/*/*/*/*/*/*/*/
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /*.png
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.jxr
Allow: /*.jp2
Allow: /*.webp
Allow: /*.gif
Allow: /local/templates/streetbeat_vue3/frontend/dist/
Allow: /local/templates/streetbeat_vue/frontend/dist/
Allow: */sandals;sandalii/$
Allow: */sandals;sandalii/*/$
Allow: */for_running;training/$
Allow: */for_running;training/*/$
Allow: */ryukzaki;sumki/$
Allow: */ryukzaki;sumki/*/$
Allow: */shorty;skirts-i-dresses/$
Allow: */shorty;skirts-i-dresses/*/$
Sitemap: https://street-beat.ru/sitemap/sitemap.xml

User-Agent: *
Crawl-delay: 5
Allow: /upload/
Allow: /d/
Allow: /templates/*.js
Allow: /kepki;shapki/
Disallow: *;*
Disallow: /*?page_size=
Disallow: /*?sort=
Disallow: /index.php
Disallow: /bitrix/
Disallow: /*show_include_exec_time=
Disallow: /*show_page_exec_time=
Disallow: /*show_sql_stat=
Disallow: /*bitrix_include_areas=
Disallow: /*clear_cache=
Disallow: /*clear_cache_session=
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /*ORDER_BY
Disallow: /*PAGEN
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*print_course=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*register=
Disallow: /*forgot_password=
Disallow: /*change_password=
Disallow: /*login=
Disallow: /*logout=
Disallow: /*auth=
Disallow: /*backurl=
Disallow: /*back_url=
Disallow: /*BACKURL=
Disallow: /*BACK_URL=
Disallow: /*back_url_admin=
Disallow: /ajax/
Disallow: /local/
Disallow: /reports/
Disallow: /service_scripts/
Disallow: /search/
Disallow: /shopslist.php?show=
Disallow: /sizetable.php?brand=
Disallow: */?fv
Disallow: /*?shops=
Disallow: /*?from=text
Disallow: /*?[]=
Disallow: /*&page_size=
Disallow: /*&sort=
Disallow: /*&order=
Disallow: */?q=
Disallow: /*&props=
Disallow: /*&max_price=
Disallow: /*&min_price=
Disallow: /*&page_count=
Disallow: /*?material[]=
Disallow: /*priceTo=*
Disallow: /*rk.php?goto=*
Disallow: /*props=*
Disallow: /*?section=
Disallow: /*&section=
Disallow: /*?SECTION_ID=
Disallow: /*&SECTION_ID=
Disallow: /*?SECTION_CODE=
Disallow: /*&SECTION_CODE=
Disallow: */classic/*
Disallow: */exclusive/*
Disallow: */for_game/*
Disallow: */hype/*
Disallow: */initiative/*
Disallow: */light/*
Disallow: */madeusa/*
Disallow: */raznoe/*
Disallow: */reebok_performance/*
Disallow: */release/*
Disallow: */unisex/*
Disallow: /*?MAIN_COLOR=
Disallow: /*&MAIN_COLOR=
Disallow: /*?PROPERTY_BRAND=
Disallow: /*&PROPERTY_BRAND=
Disallow: /*?iitt=
Disallow: /*&iitt=
Disallow: /*?material=
Disallow: /*&material=
Disallow: /*?material[]=
Disallow: /*?material%5B%5D=
Disallow: *send*
Disallow: /*?brand=
Disallow: /*&brand=
Disallow: *f-1.3_le*
Disallow: /*?id=
Disallow: /*&id=
Disallow: /*?post_page=
Disallow: /*&post_page=
Disallow: */h/*
Disallow: /*?color=
Disallow: /*&color=
Disallow: */acryl/*
Disallow: *jordan=&onitsuka-tiger*
Disallow: */*available_shops=
Disallow: /*/*/*/*/*/*/*/
Disallow: /*/*/*/*/*/*/*/*/
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /*.png
Allow: /*.jpg
Allow: /*.jpeg
Allow: /*.jxr
Allow: /*.jp2
Allow: /*.webp
Allow: /*.gif
Allow: /local/templates/streetbeat_vue3/frontend/dist/
Allow: /local/templates/streetbeat_vue/frontend/dist/
Allow: */sandals;sandalii/$
Allow: */sandals;sandalii/*/$
Allow: */for_running;training/$
Allow: */for_running;training/*/$
Allow: */ryukzaki;sumki/$
Allow: */ryukzaki;sumki/*/$
Allow: */shorty;skirts-i-dresses/$
Allow: */shorty;skirts-i-dresses/*/$
Sitemap: https://street-beat.ru/sitemap/sitemap.xml

История проверок

Дата	Балл	ИИ-ботов видят
30 октября в 22:56	97	12
15 октября в 23:51	96	12

Как мы проверяли

Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.

Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.

Другие проверенные сайты

Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.