Как ИИ-агенты видят lime-shop.com
Все 12 проверенных ИИ-ботов могут открыть главную lime-shop.com и им это разрешено. Серьёзных проблем не нашли.
- Доступ для ботов
- 40/40
- Правила robots.txt
- 20/20
- Контент без JavaScript
- 20/20
- Разметка
- 3/10
- Служебные файлы
- 7/10
Главные проблемы
-
Важно
Нет тега title
У главной нет заголовка страницы — ИИ и поисковикам сложнее понять, о чём сайт.
Как исправить. Добавьте осмысленный <title>.
-
Мелочь
Нет структурированных данных
На главной нет разметки schema.org (JSON-LD). Она помогает ИИ понять, что это за организация и что она предлагает.
Как исправить. Добавьте JSON-LD: Organization или LocalBusiness, для магазина — Product.
-
Мелочь
Нет Markdown-версии для ИИ-агентов
Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.
Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.
-
Мелочь
Нет llms.txt
Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.
Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.
Доступ по ботам
Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.
| Бот | robots.txt | Доступ к главной | Ответ сервера |
|---|---|---|---|
| Поисковики | |||
GooglebotGoogle |
Разрешенообщее правило |
Видит страницу |
200 |
YandexBotЯндекс |
Разрешенообщее правило |
Видит страницу |
200 |
BingbotMicrosoft |
Разрешенообщее правило |
Видит страницу |
200 |
| ИИ-поиск | |||
YandexAdditionalBotЯндекс |
Разрешенообщее правило |
Видит страницу |
200 |
OAI-SearchBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-SearchBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
PerplexityBotPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Агенты по запросу пользователя | |||
ChatGPT-UserOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-UserAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
Perplexity-UserPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Обучение моделей | |||
GPTBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
ClaudeBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
CCBotCommon Crawl |
Разрешенообщее правило |
Видит страницу |
200 |
BytespiderByteDance |
Разрешенообщее правило |
Видит страницу |
200 |
Разрешенообщее правило |
Видит страницу |
200 |
|
Google-ExtendedGoogle |
Разрешенообщее правило |
нет своего робота |
|
Applebot-ExtendedApple |
Разрешенообщее правило |
нет своего робота |
|
Для сравнения обычный браузер получил: ответ 200, 7 слов.
JavaScript: что видит бот без браузера
GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.
Контент доступен без JavaScript.
Разметка главной
Так главную видит YandexAdditionalBot — без JavaScript.
- Title
- нет
- Description
- Everyday clothing for women, men, and children available at the LIMÉ online store. Featuring minimalist accessories, footwear, and underwear.
- Язык
- нет
- Canonical
- https://limestore.com/
- Schema.org
- нет
- Meta robots
- не задано
Служебные файлы
- robots.txt
- есть 857 байт, ИИ-боты отдельно не упомянуты
- Sitemap
- есть 10965 ссылок, указан в robots.txt
- Markdown для агентов
- нет на запрос Markdown сайт отдаёт HTML
- llms.txt
- нет необязательный файл для языковых моделей
Показать robots.txt
User-Agent: * Disallow: /*search* Disallow: /*order* Disallow: /*cart* Disallow: /product* Disallow: /*refund* Disallow: /*rt=add_to_cart* Disallow: /*?* Allow: /*?menu* Allow: /*?page* Allow: /*?utm_source* Allow: /*?roistat* Allow: /*?referrer* Allow: /*.js Allow: /*.css Allow: /*.jpg Allow: /*.png Allow: /*.webp Clean-param: etext&s_trk&payment_link&erid&fallback&menu / Clean-param: utm_source&yrclid&roistat&is_channel&gcmlg&utm_medium&utm_content&utm_term&utm_campaign / Clean-param: yqppel&yprqee&yhic&appmetrica_tracking_id&ym_tracking_id / Clean-param: m-message-key-id&m-message-click-id / Clean-param: id&referrer&clckid&subid&gad_source / Clean-param: modal&token&email / Clean-param: gtm_debug / Clean-param: block&gcmes&q&peer_id&roistat_pos&shem&disableGlobalInfoCollect&utm_notification_id / Sitemap: https://limestore.com/sitemap.xml
История проверок
| Дата | Балл | ИИ-ботов видят |
|---|---|---|
| 30 октября в 22:51 | 90 | 12 |
| 15 октября в 23:49 | 91 | 12 |
Как мы проверяли
Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.
Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.
Другие проверенные сайты
- 91 amdg.ruИИ видят 12 из 12 · 30 окт
- 91 gosuslugi.ruИИ видят 12 из 12 · 30 окт
- 88 befree.ruИИ видят 11 из 12 · 30 окт
- 92 sela.ruИИ видят 12 из 12 · 15 окт
- 41 sberbank.ruИИ видят 1 из 12 · 30 окт
- 94 pikabu.ruИИ видят 12 из 12 · 30 окт
- 97 ingate.ruИИ видят 12 из 12 · 30 окт
- 30 avito.ruИИ видят 0 из 12 · 30 окт
Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.