Как ИИ-агенты видят oodji.com
Все 12 проверенных ИИ-ботов могут открыть главную oodji.com и им это разрешено. Серьёзных проблем не нашли.
- Доступ для ботов
- 40/40
- Правила robots.txt
- 20/20
- Контент без JavaScript
- 20/20
- Разметка
- 6/10
- Служебные файлы
- 7/10
Главные проблемы
-
Мелочь
Нет структурированных данных
На главной нет разметки schema.org (JSON-LD). Она помогает ИИ понять, что это за организация и что она предлагает.
Как исправить. Добавьте JSON-LD: Organization или LocalBusiness, для магазина — Product.
-
Мелочь
Нет Markdown-версии для ИИ-агентов
Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.
Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.
-
Мелочь
Нет llms.txt
Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.
Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.
Доступ по ботам
Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.
| Бот | robots.txt | Доступ к главной | Ответ сервера |
|---|---|---|---|
| Поисковики | |||
GooglebotGoogle |
Разрешенообщее правило |
Видит страницу |
200 |
YandexBotЯндекс |
Разрешенообщее правило |
Видит страницу |
200 |
BingbotMicrosoft |
Разрешенообщее правило |
Видит страницу |
200 |
| ИИ-поиск | |||
YandexAdditionalBotЯндекс |
Разрешенообщее правило |
Видит страницу |
200 |
OAI-SearchBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-SearchBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
PerplexityBotPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Агенты по запросу пользователя | |||
ChatGPT-UserOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-UserAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
Perplexity-UserPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Обучение моделей | |||
GPTBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
ClaudeBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
CCBotCommon Crawl |
Разрешенообщее правило |
Видит страницу |
200 |
BytespiderByteDance |
Разрешенообщее правило |
Видит страницу |
200 |
Разрешенообщее правило |
Видит страницу |
200 |
|
Google-ExtendedGoogle |
Разрешенообщее правило |
нет своего робота |
|
Applebot-ExtendedApple |
Разрешенообщее правило |
нет своего робота |
|
Для сравнения обычный браузер получил: ответ 200, 461 слов.
JavaScript: что видит бот без браузера
GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.
Контент доступен без JavaScript.
Разметка главной
Так главную видит YandexAdditionalBot — без JavaScript.
- Title
- Интернет магазин одежды для женщин и мужчин. Купить одежду oodji с бесплатной доставкой по России
- Description
- oodji – официальный интернет магазин одежды для женщин и мужчин. Огромный выбор одежды на любой вкус, включая большие размеры. Доставка по России.
- Язык
- ru
- Canonical
- нет
- Schema.org
- нет
- Meta robots
- index, follow
Служебные файлы
- robots.txt
- есть 2993 байт, ИИ-боты отдельно не упомянуты
- Sitemap
- есть индекс карт, 3 ссылки, указан в robots.txt
- Markdown для агентов
- нет на запрос Markdown сайт отдаёт HTML
- llms.txt
- нет необязательный файл для языковых моделей
Показать robots.txt
# robots.txt for Oodji (Main Site) # Purpose: Allow key pages; block service, duplicate & filtered pages. User-agent: * # Allow all CSS and JS files (for proper rendering) Allow: /*.css$ Allow: /*.css?*$ Allow: /*.js$ Allow: /*.js?*$ # Disallow Bitrix system folders and user/account pages Disallow: /bitrix/ Disallow: /_auto/ Disallow: /auth/ Disallow: /*/auth.php Disallow: /personal/ Disallow: /*/personal/ Disallow: /ajax/ Disallow: /cart/ Disallow: /order/ Disallow: /collections/ Disallow: /resize/ Disallow: /me/ Disallow: /ru/ # Disallow search results, print versions, and any URL with parameters (filters, etc.) Disallow: /*search Disallow: /*print= Disallow: /*? Disallow: /*% # Disallow registration, login, password and other user action URLs (Bitrix specific) Disallow: /*register=yes Disallow: /*forgot_password=yes Disallow: /*change_password=yes Disallow: /*login=yes Disallow: /*logout=yes Disallow: /*auth=yes Disallow: /*action=ADD_TO_COMPARE_LIST Disallow: /*action=DELETE_FROM_COMPARE_LIST Disallow: /*action=ADD2BASKET Disallow: /*action=BUY Disallow: /*print_course=Y Disallow: /*bitrix_*= Disallow: /*backurl=* Disallow: /*BACKURL=* Disallow: /*back_url=* Disallow: /*BACK_URL=* Disallow: /*back_url_admin=* # Disallow old or duplicate content sections Disallow: /*news/2012/ Disallow: /*news/2013/ Disallow: /*news/2014/ Disallow: /*news/2015/ Disallow: /*news/2016/ Disallow: /*news/2017/ Disallow: /*news/2018/ Disallow: /*news/page/ Disallow: /kids_collection/ Disallow: /*index Disallow: /*www.oodji.com/page Disallow: /mobile_include/ Disallow: /sale Disallow: /ie/ Disallow: /support/ Disallow: /partners/ Disallow: /delivery_of_goods/index_inc.php Disallow: /payment_for_goods/index_inc_m.php Disallow: /about/index_inc_m.php Disallow: /shop/sizes/ Disallow: /*/about/Apps/ Disallow: /*/video/ # Disallow pagination and filtered listing pages Disallow: /*/1/ Disallow: /*/2/ Disallow: /*/3/ Disallow: /*size_S Disallow: /*size_M Disallow: /*size_L Disallow: /*size_XL Disallow: /*/size_*-- Disallow: /*/priceasc Disallow: /*/pricedesc Disallow: /*/newdesc Disallow: /*/popnewsizes Disallow: /*/price_min-*-max Disallow: /en/ Disallow: /en/*/page # Sitemap and Host (for Yandex) directives Sitemap: https://www.oodji.com/sitemap.xml Host: www.oodji.com # robots.txt for CDN Domain (f97o6kd8uk.a.trbcdn.net) # Purpose: Allow indexing of static assets (CSS, JS, images); block any HTML content. # Allow all static file types (CSS, JS, images, fonts, etc.) Allow: /*.css$ Allow: /*.css?*$ Allow: /*.js$ Allow: /*.js?*$ Allow: /*.jpg$ Allow: /*.jpeg$ Allow: /*.png$ Allow: /*.gif$ Allow: /*.svg$ Allow: /*.jpg*?$ Allow: /*.jpeg*?$ Allow: /*.png*?$ Allow: /*.gif*?$ Allow: /*.svg*?$ Allow: /*.ico$ Allow: /*.woff$ Allow: /*.woff2$ Allow: /*.ttf$ Allow: /*.woff?*$ Allow: /*.woff2?*$ Allow: /*.ttf?*$ Allow: /*resize*$
История проверок
| Дата | Балл | ИИ-ботов видят |
|---|---|---|
| 30 октября в 22:55 | 93 | 12 |
| 15 октября в 23:50 | 95 | 12 |
Как мы проверяли
Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.
Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.
Другие проверенные сайты
- 93 askent.ruИИ видят 12 из 12 · 30 окт
- 94 pikabu.ruИИ видят 12 из 12 · 30 окт
- 94 mascotte.ruИИ видят 12 из 12 · 30 окт
- 92 sela.ruИИ видят 12 из 12 · 15 окт
- 41 sberbank.ruИИ видят 1 из 12 · 30 окт
- 97 ingate.ruИИ видят 12 из 12 · 30 окт
- 91 amdg.ruИИ видят 12 из 12 · 30 окт
- 30 avito.ruИИ видят 0 из 12 · 30 окт
Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.