Как ИИ-агенты видят habr.com

Главные проблемы

1. Важно

   Часть контента видна только после JavaScript

   Без JavaScript 1891 слов, после рендера — 2860 (66%). Остальное ИИ-боты, скорее всего, не увидят.

   Как исправить. Проверьте, какие блоки подгружаются скриптами, и отдавайте важный текст сразу в HTML.

2. Мелочь

   Нет meta description

   Нет краткого описания страницы — его часто используют как сниппет.

   Как исправить. Добавьте <meta name="description">.

3. Мелочь

   Нет структурированных данных

   На главной нет разметки schema.org (JSON-LD). Она помогает ИИ понять, что это за организация и что она предлагает.

   Как исправить. Добавьте JSON-LD: Organization или LocalBusiness, для магазина — Product.

4. Мелочь

   Нет Markdown-версии для ИИ-агентов

   Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.

   Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.

5. Мелочь

   Нет llms.txt

   Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

   Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Для сравнения обычный браузер получил: ответ 200, 1891 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Часть контента — только после JavaScript — бот видит 66% текста.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title

Публикации / Моя лента / Хабр

Description

нет

Язык

ru

Canonical

https://habr.com/ru/feed/

Schema.org

нет

Meta robots

не задано

Служебные файлы

robots.txt

есть 1624 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot

Sitemap

есть индекс карт, 23 ссылки

Markdown для агентов

нет на запрос Markdown сайт отдаёт HTML

llms.txt

нет необязательный файл для языковых моделей

User-agent: Yandex
Disallow: /search/
Disallow: /ru/search/
Disallow: /en/search/
Disallow: /ru/companies/*/fans/
Disallow: /en/companies/*/fans/
Disallow: /ru/companies/*/workers/
Disallow: /en/companies/*/workers/
Disallow: /ru/users/*/followers/
Disallow: /en/users/*/followers/
Disallow: /ru/users/*/following/
Disallow: /en/users/*/following/
Clean-param: utm_source&utm_medium&utm_term&utm_campaign /

User-agent: Googlebot
Disallow: /search/
Disallow: /ru/search/
Disallow: /en/search/
Disallow: /*?*utm_source=
Disallow: /*?*utm_medium=
Disallow: /*?*utm_term=
Disallow: /*?*utm_campaign=
Disallow: /ru/companies/*/fans/
Disallow: /en/companies/*/fans/
Disallow: /ru/companies/*/workers/
Disallow: /en/companies/*/workers/
Disallow: /ru/users/*/followers/
Disallow: /en/users/*/followers/
Disallow: /ru/users/*/following/
Disallow: /en/users/*/following/

User-agent: Slurp
Crawl-delay: 8
Disallow: /search/
Disallow: /ru/search/
Disallow: /en/search/
Disallow: /*?*utm_
Disallow: /ru/companies/*/fans/
Disallow: /en/companies/*/fans/
Disallow: /ru/companies/*/workers/
Disallow: /en/companies/*/workers/
Disallow: /ru/users/*/followers/
Disallow: /en/users/*/followers/
Disallow: /ru/users/*/following/
Disallow: /en/users/*/following/

User-agent: *
Crawl-delay: 10
Disallow: /search/
Disallow: /ru/search/
Disallow: /en/search/
Disallow: /*?*utm_
Disallow: /ru/companies/*/fans/
Disallow: /en/companies/*/fans/
Disallow: /ru/companies/*/workers/
Disallow: /en/companies/*/workers/
Disallow: /ru/users/*/followers/
Disallow: /en/users/*/followers/
Disallow: /ru/users/*/following/
Disallow: /en/users/*/following/

История проверок

Другие проверенные сайты

• 83 rendez-vous.ruИИ видят 8 из 12 · 30 окт
• 83 2gis.ruИИ видят 12 из 12 · 30 окт
• 83 vc.ruИИ видят 12 из 12 · 30 окт
• 84 sohoshop.ruИИ видят 12 из 12 · 30 окт
• 41 sberbank.ruИИ видят 1 из 12 · 30 окт
• 94 pikabu.ruИИ видят 12 из 12 · 30 окт
• 97 ingate.ruИИ видят 12 из 12 · 30 окт
• 91 amdg.ruИИ видят 12 из 12 · 30 окт