Как ИИ-агенты видят 2moodstore.com
Все 12 проверенных ИИ-ботов могут открыть главную 2moodstore.com и им это разрешено. Серьёзных проблем не нашли.
- Доступ для ботов
- 40/40
- Правила robots.txt
- 20/20
- Контент без JavaScript
- 10/20
- Разметка
- 7/10
- Служебные файлы
- 7/10
Главные проблемы
-
Важно
Часть контента видна только после JavaScript
Без JavaScript 332 слов, после рендера — 553 (60%). Остальное ИИ-боты, скорее всего, не увидят.
Как исправить. Проверьте, какие блоки подгружаются скриптами, и отдавайте важный текст сразу в HTML.
-
Мелочь
Нет meta description
Нет краткого описания страницы — его часто используют как сниппет.
Как исправить. Добавьте <meta name="description">.
-
Мелочь
Нет Markdown-версии для ИИ-агентов
Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.
Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.
-
Мелочь
Нет llms.txt
Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.
Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.
Доступ по ботам
Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.
| Бот | robots.txt | Доступ к главной | Ответ сервера |
|---|---|---|---|
| Поисковики | |||
GooglebotGoogle |
Разрешенообщее правило |
Видит страницу |
200 |
YandexBotЯндекс |
Разрешенообщее правило |
Видит страницу |
200 |
BingbotMicrosoft |
Разрешенообщее правило |
Видит страницу |
200 |
| ИИ-поиск | |||
YandexAdditionalBotЯндекс |
Разрешенообщее правило |
Видит страницу |
200 |
OAI-SearchBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-SearchBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
PerplexityBotPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Агенты по запросу пользователя | |||
ChatGPT-UserOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-UserAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
Perplexity-UserPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Обучение моделей | |||
GPTBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
ClaudeBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
CCBotCommon Crawl |
Разрешенообщее правило |
Видит страницу |
200 |
BytespiderByteDance |
Разрешенообщее правило |
Видит страницу |
200 |
Разрешенообщее правило |
Видит страницу |
200 |
|
Google-ExtendedGoogle |
Разрешенообщее правило |
нет своего робота |
|
Applebot-ExtendedApple |
Разрешенообщее правило |
нет своего робота |
|
Для сравнения обычный браузер получил: ответ 200, 332 слов.
JavaScript: что видит бот без браузера
GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.
Часть контента — только после JavaScript — бот видит 60% текста.
Разметка главной
Так главную видит YandexAdditionalBot — без JavaScript.
- Title
- 2MOOD — интернет-магазин женской одежды
- Description
- нет
- Язык
- ru
- Canonical
- нет
- Schema.org
- Organization
- Meta robots
- не задано
Служебные файлы
- robots.txt
- есть 1127 байт, ИИ-боты отдельно не упомянуты
- Sitemap
- есть индекс карт, 2 ссылки, указан в robots.txt
- Markdown для агентов
- нет на запрос Markdown сайт отдаёт HTML
- llms.txt
- нет необязательный файл для языковых моделей
Показать robots.txt
User-Agent: * Allow: */upload/ Allow: /api/v1/*? Allow: /api/v1/ Allow: /api/v1/products Allow: /bitrix/*.js Allow: /bitrix/*.css Allow: /local/*.js Allow: /local/*.css Allow: /local/*.jpg Allow: /local/*.jpeg Allow: /local/*.png Allow: /local/*.gif Allow: *.json Allow: *?page= Disallow: /*?sort= Disallow: /*?variant= Disallow: /*?pr_prod_strat= Disallow: /*?q= Disallow: */filter/ Disallow: /register/ Disallow: /auth/ Disallow: /bitrix/ Disallow: /*?theme_preview= Disallow: /*?show_page_exec_time= Disallow: /*?logout= Disallow: /*?bitrix_include_areas= Disallow: *& Disallow: *?block= Disallow: *?etext= Disallow: /?back_url_admin=* Disallow: /*?__cf_chl_tk=* Disallow: /?spm=* Disallow: /?trk=* Disallow: /personal/ Disallow: *?recommended_code= Disallow: *?y_ref= Disallow: *?digiSearch= Disallow: *? Disallow: /cart/ Disallow: /collection/outlet/ Disallow: /checkout/ Clean-param: offer&disableGlobalInfoCollect&recommended_by&erid&fl_checkpoint&source&rees46_testmode&trk&mail_code&recommended_code&utm_referrer&utm_link_map Sitemap: https://www.2moodstore.com/sitemap.xml
История проверок
| Дата | Балл | ИИ-ботов видят |
|---|---|---|
| 30 октября в 22:53 | 84 | 12 |
| 15 октября в 23:50 | 84 | 12 |
Как мы проверяли
Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.
Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.
Другие проверенные сайты
- 84 sohoshop.ruИИ видят 12 из 12 · 30 окт
- 83 rendez-vous.ruИИ видят 8 из 12 · 30 окт
- 85 kinopoisk.ruИИ видят 10 из 12 · 30 окт
- 83 2gis.ruИИ видят 12 из 12 · 30 окт
- 41 sberbank.ruИИ видят 1 из 12 · 30 окт
- 94 pikabu.ruИИ видят 12 из 12 · 30 окт
- 97 ingate.ruИИ видят 12 из 12 · 30 окт
- 91 amdg.ruИИ видят 12 из 12 · 30 окт
Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.