Как ИИ-агенты видят 12storeez.com
12storeez.com закрыт антибот-защитой ServicePipe от любых автоматических клиентов: ни один из 12 ИИ-ботов не получил страницу. Поисковики, вероятно, проходят по IP-адресам.
- Доступ для ботов
- 0/40
- Правила robots.txt
- 20/20
- Контент без JavaScript
- 0/20
- Разметка
- 0/10
- Служебные файлы
- 0/10
Главные проблемы
-
Серьёзно
Сайт закрыт от любых автоматических клиентов
Антибот-защита ServicePipe отказывает и программным запросам (ответ 403), и браузеру без интерфейса (ответ 200). ИИ-агенты, которые открывают страницы по запросу пользователя, почти наверняка тоже получают отказ. Поисковых роботов такие системы обычно пропускают по IP-адресам — это мы проверить не можем.
Как исправить. Если ИИ-ассистенты должны читать сайт, добавьте их в исключения антибота. У крупных систем защиты есть списки проверенных ботов (verified bots).
-
Мелочь
robots.txt не отдаётся сканеру
Запрос /robots.txt получил ответ 403. Боты, которым robots.txt недоступен, обычно считают, что ограничений нет, — но и ваших правил они не узнают.
Как исправить. Отдавайте robots.txt всем без проверок антибота.
Доступ по ботам
Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.
| Бот | robots.txt | Доступ к главной | Ответ сервера |
|---|---|---|---|
| Поисковики | |||
GooglebotGoogle |
Разрешенонет файла |
Заблокирован |
403 |
YandexBotЯндекс |
Разрешенонет файла |
Заблокирован |
403 |
BingbotMicrosoft |
Разрешенонет файла |
Заблокирован |
403 |
| ИИ-поиск | |||
YandexAdditionalBotЯндекс |
Разрешенонет файла |
Заблокирован |
403 |
OAI-SearchBotOpenAI |
Разрешенонет файла |
Заблокирован |
403 |
Claude-SearchBotAnthropic |
Разрешенонет файла |
Заблокирован |
403 |
PerplexityBotPerplexity |
Разрешенонет файла |
Заблокирован |
403 |
| Агенты по запросу пользователя | |||
ChatGPT-UserOpenAI |
Разрешенонет файла |
Заблокирован |
403 |
Claude-UserAnthropic |
Разрешенонет файла |
Заблокирован |
403 |
Perplexity-UserPerplexity |
Разрешенонет файла |
Заблокирован |
403 |
| Обучение моделей | |||
GPTBotOpenAI |
Разрешенонет файла |
Заблокирован |
403 |
ClaudeBotAnthropic |
Разрешенонет файла |
Заблокирован |
403 |
CCBotCommon Crawl |
Разрешенонет файла |
Заблокирован |
403 |
BytespiderByteDance |
Разрешенонет файла |
Заблокирован |
403 |
Разрешенонет файла |
Заблокирован |
403 |
|
Google-ExtendedGoogle |
Разрешенонет файла |
нет своего робота |
|
Applebot-ExtendedApple |
Разрешенонет файла |
нет своего робота |
|
Для сравнения обычный браузер получил: ответ 403.
JavaScript: что видит бот без браузера
GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил бот, со страницей после рендера в браузере.
Не удалось сравнить.
Разметка главной
Так главную видит бот — без JavaScript.
- Title
- нет
- Description
- нет
- Язык
- нет
- Canonical
- нет
- Schema.org
- нет
- Meta robots
- не задано
Служебные файлы
- robots.txt
- нет ответ 403
- Sitemap
- нет ответ 403
- Markdown для агентов
- нет на запрос Markdown сайт отдаёт HTML
- llms.txt
- нет необязательный файл для языковых моделей
История проверок
| Дата | Балл | ИИ-ботов видят |
|---|---|---|
| 30 октября в 22:47 | 20 | 0 |
| 15 октября в 23:47 | 22 | 0 |
Как мы проверяли
Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.
Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.
Другие проверенные сайты
- 20 gloria-jeans.ruИИ видят 0 из 12 · 30 окт
- 21 finn-flare.ruИИ видят 0 из 12 · 30 окт
- 24 snowqueen.ruИИ видят 0 из 12 · 30 окт
- 24 lamoda.ruИИ видят 0 из 12 · 30 окт
- 41 sberbank.ruИИ видят 1 из 12 · 30 окт
- 94 pikabu.ruИИ видят 12 из 12 · 30 окт
- 97 ingate.ruИИ видят 12 из 12 · 30 окт
- 91 amdg.ruИИ видят 12 из 12 · 30 окт
Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.