Все 7 проверенных поисковых и пользовательских ИИ-ботов могут открыть главную maxma.com и им это разрешено. В выполненных проверках серьёзных препятствий не обнаружено.
Проверка показывает ответы сайта на подписи ботов. Это технический доступ, а не вероятность рекомендации или измерение присутствия в ответах.
URL: https://maxma.com/ · HTTP 200, 553 слов · robots.txt, строка 20: Allow: /
URL: https://maxma.com/ · HTTP 200, 553 слов · robots.txt, строка 20: Allow: / · Запрос пользователя: robots.txt не определяет возможность загрузки
Измерен доступ к главной. Внутренние страницы проверяются отдельно ниже.
URL: https://maxma.com/ · HTTP 200, 553 слов · robots.txt, строка 20: Allow: /
URL: https://maxma.com/ · HTTP 200, 553 слов · robots.txt, строка 20: Allow: /
Измерен доступ к главной. Внутренние страницы проверяются отдельно ниже.
URL: https://maxma.com/ · HTTP 200, 553 слов · robots.txt, строка 20: Allow: /
URL: https://maxma.com/ · HTTP 200, 553 слов · robots.txt, строка 20: Allow: / · Запрос пользователя: robots.txt не определяет возможность загрузки
Измерен доступ к главной. Внутренние страницы проверяются отдельно ниже.
URL: https://maxma.com/ · HTTP 200, 553 слов · robots.txt, строка 12: Allow: /
Измерен доступ к главной. Внутренние страницы проверяются отдельно ниже.
URL: https://maxma.com/ · HTTP 200, 553 слов · robots.txt, строка 2: Allow: /
URL: https://maxma.com/ · HTTP 200, 553 слов · robots.txt, строка 2: Allow: /
Измерен доступ к главной. Внутренние страницы проверяются отдельно ниже.
URL: https://maxma.com/ · HTTP 200, 553 слов · robots.txt, строка 16: Allow: /
Измерен доступ к главной. Внутренние страницы проверяются отдельно ниже.
Передайте результаты тому, кто настраивает сайт: конкретные ответы сервера, ограничения и действия для перепроверки.
Проблем не нашли.
Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.
| Бот | robots.txt | Доступ к главной | Ответ сервера |
|---|---|---|---|
| Поисковики | |||
GooglebotGoogle |
Разрешеногруппа Googlebot |
Видит страницу |
200 |
YandexBotЯндекс |
Разрешеногруппа Yandex |
Видит страницу |
200 |
BingbotMicrosoft |
Разрешеногруппа bingbot |
Видит страницу |
200 |
| ИИ-поиск | |||
YandexAdditionalBotЯндекс |
Разрешеногруппа Yandex |
Видит страницу |
200 |
OAI-SearchBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-SearchBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
PerplexityBotPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Агенты по запросу пользователя | |||
ChatGPT-UserOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-UserAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
Perplexity-UserPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Обучение моделей · не влияет на балл | |||
GPTBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
ClaudeBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
CCBotCommon Crawl |
Разрешенообщее правило |
Видит страницу |
200 |
BytespiderByteDance |
Разрешенообщее правило |
Видит страницу |
200 |
Разрешенообщее правило |
Видит страницу |
200 |
|
Google-ExtendedGoogle |
Разрешенообщее правило |
нет своего робота |
|
Applebot-ExtendedApple |
Разрешенообщее правило |
нет своего робота |
|
Для сравнения обычный браузер получил: ответ 200, 553 слов.
Текст ИИ-бота не сохранён: в старых проверках текст не сохранялся либо бот не получил страницу. После успешной перепроверки здесь появится реальный текст ответа.
Главная проверяется под разными подписями ботов. До трёх внутренних страниц — только под подписью OAI-SearchBot. Эта выборка не описывает весь сайт.
| Страница | Проверка | Результат |
|---|---|---|
| https://maxma.com/ | Главная, все подписи | См. результаты по сервисам |
В этой проверке внутренние страницы ещё не проверялись.
GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.
Контент доступен без JavaScript.
Так главную видит YandexAdditionalBot — без JavaScript.
llms.txt, Markdown и schema.org показаны для справки. Их отсутствие не снижает балл и не доказывает отсутствие сайта в ответах.
User-agent: Yandex Allow: / Disallow: /ru Clean-param: ref&etext&roistat&roistat_pos&roistat_referrer&utm_source&utm_medium&utm_campaign&utm_content&utm_term&&yadiscount&erid User-agent: YandexDirect Allow: / Disallow: /ru Clean-param: ref&etext&roistat&roistat_pos&roistat_referrer&utm_source&utm_medium&utm_campaign&utm_content&utm_term&&yadiscount&erid User-agent: Googlebot Allow: / Disallow: /ru User-agent: bingbot Allow: / Disallow: /ru User-agent: * Allow: / Disallow: /ru Disallow: /request-demo Disallow: /reestr Host: https://maxma.com/ Sitemap: https://maxma.com/sitemap.xml
Для сравнения нужны две проверки с сохранёнными подробными результатами. Старые строки истории содержат только балл — по ним нельзя восстановить изменения доступа.
Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.
Место проверки: не сохранено для этого старого скана. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Главная проверяется под подписями ботов, до трёх внутренних страниц — под подписью OAI-SearchBot. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.
Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.