Как ИИ-агенты видят sela.ru
Все 12 проверенных ИИ-ботов могут открыть главную sela.ru и им это разрешено. Серьёзных проблем не нашли.
- Доступ для ботов
- 40/40
- Правила robots.txt
- 20/20
- Контент без JavaScript
- 20/20
- Разметка
- 5/10
- Служебные файлы
- 7/10
Главные проблемы
-
Мелочь
Нет заголовка H1
В HTML главной нет H1.
Как исправить. Добавьте один H1 с главной темой страницы.
-
Мелочь
Нет структурированных данных
На главной нет разметки schema.org (JSON-LD). Она помогает ИИ понять, что это за организация и что она предлагает.
Как исправить. Добавьте JSON-LD: Organization или LocalBusiness, для магазина — Product.
-
Мелочь
Нет llms.txt
Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.
Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.
Доступ по ботам
Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.
| Бот | robots.txt | Доступ к главной | Ответ сервера |
|---|---|---|---|
| Поисковики | |||
GooglebotGoogle |
Разрешеногруппа Googlebot |
Видит страницу |
200 |
YandexBotЯндекс |
Разрешеногруппа Yandex |
Видит страницу |
200 |
BingbotMicrosoft |
Разрешенообщее правило |
Видит страницу |
200 |
| ИИ-поиск | |||
YandexAdditionalBotЯндекс |
Разрешеногруппа Yandex |
Видит страницу |
200 |
OAI-SearchBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-SearchBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
PerplexityBotPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Агенты по запросу пользователя | |||
ChatGPT-UserOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-UserAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
Perplexity-UserPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Обучение моделей | |||
GPTBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
ClaudeBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
CCBotCommon Crawl |
Разрешенообщее правило |
Видит страницу |
200 |
BytespiderByteDance |
Разрешенообщее правило |
Видит страницу |
200 |
Разрешенообщее правило |
Видит страницу |
200 |
|
Google-ExtendedGoogle |
Разрешенообщее правило |
нет своего робота |
|
Applebot-ExtendedApple |
Разрешенообщее правило |
нет своего робота |
|
Для сравнения обычный браузер получил: ответ 200, 612 слов.
JavaScript: что видит бот без браузера
GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.
Контент доступен без JavaScript.
Разметка главной
Так главную видит YandexAdditionalBot — без JavaScript.
- Title
- SELA – интернет-магазин одежды для женщин, мужчин, новорожденных и детей от российского производителя
- Description
- Российский лайфстайл бренд одежды для всей семьи. Создает коллекции одежды для женщин, мужчин и детей 2-14 лет. Доставка по всей России.
- Язык
- ru
- Canonical
- нет
- Schema.org
- нет
- Meta robots
- не задано
Служебные файлы
- robots.txt
- есть 6264 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot
- Sitemap
- есть 10000 ссылок, указан в robots.txt
- llms.txt
- нет необязательный файл для языковых моделей
Показать robots.txt
User-agent: * Allow: /eshop/cart/$ Disallow: /eshop/cart/ Disallow: */?* Allow: */?page=* Disallow: /eshop/search/ Disallow: /eshop/bonus/api/ Disallow: /eshop/my/ Disallow: /eshop/tag/ Disallow: *&sort= Disallow: */?sort= Disallow: */?stock= Disallow: */*?price_min Disallow: */*?price_max Disallow: */*?page=*mindbox Disallow: */*?page=*price_min= Disallow: */*?page=*price_max= Disallow: */?page=*sex* Disallow: */?page=*added=no* Disallow: */?page=*genderorder* Disallow: */?page=*digiSearch=true* Disallow: */?page=*stock=eshop* Disallow: */?page=*age* Disallow: */?page=*sort* Disallow: */?page=*order* Disallow: */?color Disallow: */*size Disallow: */?sale= Disallow: */?store Disallow: /?sex= Disallow: */?product= Disallow: */index.php Disallow: /eshop/checkout/ Disallow: /eshop/favorite/ Disallow: /login/ Disallow:/signup/ Disallow: /webasyst/ Disallow: */*utm_source Disallow: */*from=adwords Disallow: */*_openstat Disallow: */*?admitad Disallow: */*?yagla= Disallow: */*?partner Disallow: /forgotpassword/ Disallow: */?fid Disallow: */?sku Disallow: /flexdiscount/* Disallow: /?added= Disallow: */?email= Disallow: /?insider Disallow: /?subid= Disallow: /?tpclid= Disallow: /?yhid= Disallow: */?age Disallow: /?as-tracking= Disallow: */?ad= Disallow: */*external_browser_redirect=true Disallow: */?digiSearch= Disallow: */?added= Disallow: /?giclickid= Disallow: /online/checkout/ Disallow: */*mindbox Disallow: */?device= Disallow: */*yadclid= Disallow: */*ysclid= Disallow: /?pm-test-form= Disallow: */*track/ Disallow: /?digiPreview= Disallow: */?category= Disallow: /?erid= Disallow: /?utm_hclid= Disallow: */?srsltid= Disallow: */referal/* Disallow: */*sort=* Disallow: */*category= Disallow: /search/?query= Disallow: */*adrclid= Disallow: */*referrer=reattribution Disallow: /eshop/kids/girl/verkhnyaya-odezhda/uteplennye-bryuki/ Disallow: /eshop/kids/girl/verkhnyaya-odezhda/kombinezony/ Disallow: */*tel Allow: /search/$ Crawl-delay: 5 User-agent: Googlebot Allow: /eshop/cart/$ Disallow: /eshop/cart/ Disallow: */?* Allow: */?page=* Disallow: /eshop/search/ Disallow: /eshop/bonus/api/ Disallow: /eshop/my/ Disallow: /eshop/tag/ Disallow: *&sort= Disallow: */?sort= Disallow: */?stock= Disallow: */*?price_min Disallow: */*?price_max Disallow: */*?page=*mindbox Disallow: */*?page=*price_min= Disallow: */*?page=*price_max= Disallow: */?page=*sex* Disallow: */?page=*added=no* Disallow: */?page=*genderorder* Disallow: */?page=*digiSearch=true* Disallow: */?page=*stock=eshop* Disallow: */?page=*age* Disallow: */?page=*sort* Disallow: */?page=*order* Disallow: */?color Disallow: */*size Disallow: */?sale= Disallow: */?store Disallow: /?sex= Disallow: */?product= Disallow: */index.php Disallow: /eshop/checkout/ Disallow: /eshop/favorite/ Disallow: /login/ Disallow:/signup/ Disallow: /webasyst/ Disallow: */*utm_source Disallow: */*from=adwords Disallow: */*_openstat Disallow: */*?admitad Disallow: */*?yagla= Disallow: */*?partner Disallow: /forgotpassword/ Disallow: */?fid Disallow: */?sku Disallow: /flexdiscount/* Disallow: /?added= Disallow: */?email= Disallow: /?insider Disallow: /?subid= Disallow: /?tpclid= Disallow: /?yhid= Disallow: */?age Disallow: /?as-tracking= Disallow: */?ad= Disallow: */*external_browser_redirect=true Disallow: */?digiSearch= Disallow: */?added= Disallow: /?giclickid= Disallow: /online/checkout/ Disallow: */*mindbox Disallow: */?device= Disallow: */*yadclid= Disallow: */*ysclid= Disallow: /?pm-test-form= Disallow: */*track/ Disallow: /?digiPreview= Disallow: */?category= Disallow: /?erid= Disallow: /?utm_hclid= Disallow: */?srsltid= Disallow: */*sort=* Disallow: */*category= Disallow: /search/?query= Disallow: */*adrclid= Disallow: */*referrer=reattribution Disallow: /eshop/kids/girl/verkhnyaya-odezhda/uteplennye-bryuki/ Disallow: /eshop/kids/girl/verkhnyaya-odezhda/kombinezony/ Disallow: */*tel Allow: /search/$ User-agent: Yandex Allow: /eshop/cart/$ Disallow: /eshop/cart/ Disallow: */?* Allow: */?page=* Disallow: /eshop/search/ Disallow: /eshop/bonus/api/ Disallow: /eshop/my/ Disallow: /eshop/tag/ Disallow: *&sort= Disallow: */?sort= Disallow: */?stock= Disallow: */*?price_min Disallow: */*?price_max Disallow: */*?page=*mindbox Disallow: */*?page=*price_min= Disallow: */*?page=*price_max= Disallow: */?page=*sex* Disallow: */?page=*added=no* Disallow: */?page=*genderorder* Disallow: */?page=*digiSearch=true* Disallow: */?page=*stock=eshop* Disallow: */?page=*age* Disallow: */?page=*sort* Disallow: */?page=*order* Disallow: */?color Disallow: */*size Disallow: */?sale= Disallow: */?store Disallow: /?sex= Disallow: */?product= Disallow: */index.php Disallow: /eshop/checkout/ Disallow: /eshop/favorite/ Disallow: /login/ Disallow:/signup/ Disallow: /webasyst/ Disallow: */*utm_source Disallow: */*from=adwords Disallow: */*_openstat Disallow: */*?admitad Disallow: */*?yagla= Disallow: */*?partner Disallow: /forgotpassword/ Disallow: */?fid Disallow: */?sku Disallow: /flexdiscount/* Disallow: /?added= Disallow: */?email= Disallow: /?insider Disallow: /?subid= Disallow: /?tpclid= Disallow: /?yhid= Disallow: */?age Disallow: /?as-tracking= Disallow: */?ad= Disallow: */*external_browser_redirect=true Disallow: */?digiSearch= Disallow: */?added= Disallow: /?giclickid= Disallow: /online/checkout/ Disallow: */*mindbox Disallow: */?device= Disallow: */*yadclid= Disallow: */*ysclid= Disallow: /?pm-test-form= Disallow: */*track/ Disallow: /?digiPreview= Disallow: */?category= Disallow: /?erid= Disallow: /?utm_hclid= Disallow: */?srsltid= Disallow: */referal/* Disallow: */*sort=* Disallow: */*category= Disallow: /search/?query= Disallow: */*adrclid= Disallow: */*referrer=reattribution Disallow: /eshop/kids/girl/verkhnyaya-odezhda/uteplennye-bryuki/ Disallow: /eshop/kids/girl/verkhnyaya-odezhda/kombinezony/ Disallow: */*tel Allow: /search/$ Clean-param: city /shops/ Clean-param: position /eshop/kids/minion/ user-agent: Amazonbot Disallow: / Sitemap: https://www.sela.ru/sitemap-shop.xml
Как мы проверяли
Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.
Проверяли с сервера в России. Наш сканер представляется как AgentScanner/1.0 (+http://localhost:3000/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.
Другие проверенные сайты
- 91 amdg.ruИИ видят 12 из 12 · 30 окт
- 93 askent.ruИИ видят 12 из 12 · 30 окт
- 93 oodji.comИИ видят 12 из 12 · 30 окт
- 91 gosuslugi.ruИИ видят 12 из 12 · 30 окт
- 41 sberbank.ruИИ видят 1 из 12 · 30 окт
- 94 pikabu.ruИИ видят 12 из 12 · 30 окт
- 97 ingate.ruИИ видят 12 из 12 · 30 окт
- 30 avito.ruИИ видят 0 из 12 · 30 окт
Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.