Как ИИ-агенты видят hh.ru

Главные проблемы

1. Серьёзно

   ИИ-ассистенты не могут открыть сайт

   Браузеру главная открывается, а ИИ-агентам нет: ChatGPT-User, Claude-User, Perplexity-User, OAI-SearchBot, Claude-SearchBot, PerplexityBot — упирается в проверку антибота. Когда пользователь спросит ChatGPT, Claude или Perplexity о вашем сайте, они не смогут его прочитать.

   Как исправить. Сайт защищает DDoS-Guard. Добавьте в его настройках исключение для нужных ботов (в Cloudflare: Security → Bots и правила WAF).

2. Важно

   Сайт пускает только тех, кто представился ботом

   Защита DDoS-Guard отказывает обычным автоматическим клиентам и браузеру без интерфейса, но по подписи пропускает Googlebot, YandexBot, YandexAdditionalBot. Остальным ботам — отказ.

   Как исправить. Проверьте правила защиты: каких ботов вы пропускаете по User-Agent и всех ли нужных включили.

3. Важно

   Сайт не пускает тех, кто только называет себя поисковиком

   Запросы с подписями поисковых роботов без их IP-адресов отклонены: Bingbot — упирается в проверку антибота. Скорее всего, защита сверяет подлинность ботов по IP — тогда настоящие Googlebot и YandexBot проходят. Проверьте в Яндекс Вебмастере и Google Search Console, что ошибок обхода нет.

   Как исправить. Если в панелях вебмастера есть ошибки доступа, добавьте поисковых роботов в исключения защиты.

4. Мелочь

   Боты для обучения моделей заблокированы на уровне сервера

   GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent — упирается в проверку антибота. Если это сознательное решение — всё в порядке, на ответы ИИ-поиска это почти не влияет.

   Как исправить. Если блокировка случайная, проверьте правила антибота. Если нет — лучше дополнительно закрыть этих ботов в robots.txt: так правило будет явным.

5. Мелочь

   robots.txt не отдаётся сканеру

   Запрос /robots.txt получил ответ 451. Боты, которым robots.txt недоступен, обычно считают, что ограничений нет, — но и ваших правил они не узнают.

   Как исправить. Отдавайте robots.txt всем без проверок антибота.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Для сравнения обычный браузер получил: ответ 200.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Не удалось сравнить.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title

Работа в Москве, поиск персонала и публикация вакансий - hh.ru

Description

hh.ru — сервис, который помогает найти работу и подобрать персонал в Москве более 20 лет! Создавайте резюме и откликайтесь на вакансии. Набирайте сотрудников и публикуйте вакансии.

Язык

ru

Canonical

https://hh.ru/

Schema.org

WebSite, Organization

Meta robots

не задано

Служебные файлы

robots.txt

нет ответ 451

Sitemap

нет ответ 451

Markdown для агентов

нет на запрос Markdown сайт отдаёт HTML

llms.txt

нет необязательный файл для языковых моделей

История проверок

Другие проверенные сайты

• 35 cian.ruИИ видят 1 из 12 · 30 окт
• 41 sberbank.ruИИ видят 1 из 12 · 30 окт
• 41 tinkoff.ruИИ видят 1 из 12 · 30 окт
• 32 dzen.ruИИ видят 0 из 12 · 30 окт
• 94 pikabu.ruИИ видят 12 из 12 · 30 окт
• 97 ingate.ruИИ видят 12 из 12 · 30 окт
• 91 amdg.ruИИ видят 12 из 12 · 30 окт
• 30 avito.ruИИ видят 0 из 12 · 30 окт