Отчёт · 30 октября 2026 г.

Как ИИ-агенты видят dzen.ru

Ни один из 12 проверенных ИИ-ботов не видит главную dzen.ru: доступ закрыт сервером или правилами robots.txt. Серьёзных проблем: 1.

Проверена главная: dzen.ru Обновлено 30 октября в 22:46 Проверок: 4

32/100

Видимость для ИИ-агентов

Доступ для ботов: 1/40
Правила robots.txt: 20/20
Контент без JavaScript: 14/20
Разметка: 6/10
Служебные файлы: 7/10

Главные проблемы

Серьёзно
ИИ-ассистенты не могут открыть сайт

Браузеру главная открывается, а ИИ-агентам нет: ChatGPT-User, Claude-User, Perplexity-User, OAI-SearchBot, Claude-SearchBot, PerplexityBot — уводит на страницу входа; YandexAdditionalBot — получает урезанную страницу. Когда пользователь спросит ChatGPT, Claude или Perplexity о вашем сайте, они не смогут его прочитать.

Как исправить. Найдите правило, которое режет запросы по User-Agent: в WAF, антиботе, настройках хостинга или nginx — и добавьте исключение для нужных ботов.
Важно
Сайт отвечает медленно

Главная загружалась 12.2 с. У агентов, которые открывают страницу по запросу пользователя, короткие таймауты.

Как исправить. Ускорьте ответ сервера: кеширование, CDN, облегчение главной.
Мелочь
Боты для обучения моделей заблокированы на уровне сервера

GPTBot, ClaudeBot, CCBot, Bytespider, meta-externalagent — уводит на страницу входа. Если это сознательное решение — всё в порядке, на ответы ИИ-поиска это почти не влияет.

Как исправить. Если блокировка случайная, проверьте правила антибота. Если нет — лучше дополнительно закрыть этих ботов в robots.txt: так правило будет явным.
Мелочь
Нет структурированных данных

На главной нет разметки schema.org (JSON-LD). Она помогает ИИ понять, что это за организация и что она предлагает.

Как исправить. Добавьте JSON-LD: Organization или LocalBusiness, для магазина — Product.
Мелочь
Нет Markdown-версии для ИИ-агентов

Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.

Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.

Ещё 1 замечание

Нет llms.txt. Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Бот	robots.txt	Доступ к главной	Ответ сервера
Поисковики
GooglebotGoogle	Разрешеногруппа Googlebot	Видит страницу	200
YandexBotЯндекс	Разрешеногруппа Yandex	Получает урезанную страницу	200 · 218 слов против 692
BingbotMicrosoft	Разрешенообщее правило	Получает урезанную страницу	200 · 8 слов против 692
ИИ-поиск
YandexAdditionalBotЯндекс	Разрешеногруппа Yandex	Получает урезанную страницу	200 · 77 слов против 692
OAI-SearchBotOpenAI	Разрешенообщее правило	Уводит на страницу входа	200
Claude-SearchBotAnthropic	Разрешенообщее правило	Уводит на страницу входа	200
PerplexityBotPerplexity	Разрешенообщее правило	Уводит на страницу входа	200
Агенты по запросу пользователя
ChatGPT-UserOpenAI	Разрешенообщее правило	Уводит на страницу входа	200
Claude-UserAnthropic	Разрешенообщее правило	Уводит на страницу входа	200
Perplexity-UserPerplexity	Разрешенообщее правило	Уводит на страницу входа	200
Обучение моделей
GPTBotOpenAI	Разрешенообщее правило	Уводит на страницу входа	200
ClaudeBotAnthropic	Разрешенообщее правило	Уводит на страницу входа	200
CCBotCommon Crawl	Разрешенообщее правило	Уводит на страницу входа	200
BytespiderByteDance	Разрешенообщее правило	Уводит на страницу входа	200
meta-externalagentMeta	Разрешенообщее правило	Уводит на страницу входа	200
Google-ExtendedGoogle	Разрешенообщее правило	нет своего робота
Applebot-ExtendedApple	Разрешенообщее правило	нет своего робота

Для сравнения обычный браузер получил: ответ 200, 692 слов (только настоящим браузером).

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил бот, со страницей после рендера в браузере.

Без JavaScript692 слов

В браузере—

Не удалось сравнить.

Разметка главной

Так главную видит бот — без JavaScript.

Title: Дзен — главная новостная информационная платформа, которая помогает миллионам людей узнавать, что происходит в мире.
Description: Дзен объединяет всё самое важное. Национальная, региональная и городская повестка, актуальные новости ведущих СМИ и нишевых авторов — всё собрано в единой ленте.
Язык: нет
Canonical: https://dzen.ru/
Schema.org: нет
Meta robots: index, follow, nosnippet, noyaca

Служебные файлы

robots.txt: есть 9794 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot
Sitemap: есть индекс карт, 386 ссылок, указан в robots.txt
Markdown для агентов: нет на запрос Markdown сайт отдаёт HTML
llms.txt: нет необязательный файл для языковых моделей

Показать robots.txt

User-agent: Yandex
Allow: /
Allow: /.well-known/assetlinks.json
Allow: /*?utm_sourse=55

Disallow: /about*?*
Disallow: /away
Disallow: /top$
Disallow: /search
Disallow: /money
Disallow: /onboarding
Disallow: /news/top
Disallow: /news/smi
Disallow: /news/search
Disallow: /t/
Disallow: /user/
Disallow: /embed/
Disallow: /*/url
Disallow: /video/games/tags/
Disallow: /*sso_failed=
Disallow: /*erid=
Disallow: /*?utm*
Disallow: /games
Disallow: /subscriptions-manager?channel=

Disallow: /articles?
Disallow: /video?
Disallow: /discussions

Clean-param: &_csrf
Clean-param: &action
Clean-param: &amp
Clean-param: &ampplace
Clean-param: &amupr_id
Clean-param: &appsearch_header
Clean-param: &autoplay
Clean-param: &backoffice
Clean-param: &branding
Clean-param: &briefEditorPublicationId
Clean-param: &bx_sender_conversion_id
Clean-param: &clid
Clean-param: &collection
Clean-param: &comment-request
Clean-param: &comments_data
Clean-param: &content
Clean-param: &contour
Clean-param: &country_code
Clean-param: &device_id
Clean-param: &encoded_pulse_user_id
Clean-param: &encoded_pulse_user_info
Clean-param: &epik
Clean-param: &etext=
Clean-param: &experiment
Clean-param: &f
Clean-param: &family
Clean-param: &fan
Clean-param: &favid
Clean-param: &feed_exp
Clean-param: &feed_filter_source
Clean-param: &firstchars
Clean-param: &flight_id
Clean-param: &from
Clean-param: &from_block
Clean-param: &from_cloud
Clean-param: &from_floors_promo
Clean-param: &from_page
Clean-param: &from_parent_id
Clean-param: &from_parent_type
Clean-param: &from_site
Clean-param: &ga_client_id
Clean-param: &hide_interest_header
Clean-param: &id
Clean-param: &integration
Clean-param: &interview_id
Clean-param: &invite
Clean-param: &item_id
Clean-param: &lang
Clean-param: &link
Clean-param: &loop
Clean-param: &lr
Clean-param: &modal
Clean-param: &mt_click_id
Clean-param: &mt_link_id
Clean-param: &mute
Clean-param: &no_ad
Clean-param: &noredir
Clean-param: &nw
Clean-param: &p
Clean-param: &page
Clean-param: &parent_rid
Clean-param: &persistent_id
Clean-param: &place
Clean-param: &play_on_visible
Clean-param: &pulse_user_id
Clean-param: &query
Clean-param: &ref
Clean-param: &referrer
Clean-param: &referrer_clid
Clean-param: &referrer_place
Clean-param: &repostId
Clean-param: &rid
Clean-param: &rubric
Clean-param: &secdata
Clean-param: &service
Clean-param: &share_to
Clean-param: &sid
Clean-param: &sortby
Clean-param: &source
Clean-param: &sso_failed
Clean-param: &stid
Clean-param: &story
Clean-param: &t
Clean-param: &text
Clean-param: &to
Clean-param: &token
Clean-param: &train
Clean-param: &tst
Clean-param: &tt
Clean-param: &tv
Clean-param: &utr
Clean-param: &uuid
Clean-param: &vertical
Clean-param: &via
Clean-param: &vid
Clean-param: &video_id
Clean-param: &wan
Clean-param: &web_uid
Clean-param: &web_yandexuid
Clean-param: &wizard
Clean-param: &yandexClientId

User-agent: Googlebot
Allow: /
Allow: /.well-known/assetlinks.json
Allow: /list/*

Allow: /a/*_csrf
Allow: /a/*action
Allow: /a/*amp
Allow: /a/*ampplace
Allow: /a/*amupr_id
Allow: /a/*appsearch_header=
Allow: /a/*autoplay=
Allow: /a/*backoffice=
Allow: /a/*branding=
Allow: /a/*briefEditorPublicationId=
Allow: /a/*bx_sender_conversion_id=
Allow: /a/*cachebust=
Allow: /a/*clid=
Allow: /a/*collection=
Allow: /a/*country_code=
Allow: /a/*erid=
Allow: /a/*experiment=
Allow: /a/*feed_exp=
Allow: /a/*from_cloud=
Allow: /a/*from_page=
Allow: /a/*invite=
Allow: /a/*loop=
Allow: /a/*pulse_user_id=
Allow: /a/*sso_failed=
Allow: /a/*t=
Allow: /a/*to=
Allow: /a/*token=
Allow: /a/*utm_referrer=
Allow: /a/*utm_source=
Allow: /a/*?etext=

Allow: /b/*_csrf
Allow: /b/*action
Allow: /b/*amp
Allow: /b/*ampplace
Allow: /b/*amupr_id
Allow: /b/*appsearch_header=
Allow: /b/*autoplay=
Allow: /b/*backoffice=
Allow: /b/*branding=
Allow: /b/*briefEditorPublicationId=
Allow: /b/*bx_sender_conversion_id=
Allow: /b/*cachebust=
Allow: /b/*clid=
Allow: /b/*collection=
Allow: /b/*country_code=
Allow: /b/*erid=
Allow: /b/*experiment=
Allow: /b/*feed_exp=
Allow: /b/*from_cloud=
Allow: /b/*from_page=
Allow: /b/*invite=
Allow: /b/*loop=
Allow: /b/*pulse_user_id=
Allow: /b/*sso_failed=
Allow: /b/*t=
Allow: /b/*to=
Allow: /b/*token=
Allow: /b/*utm_referrer=
Allow: /b/*utm_source=
Allow: /b/*?etext=

Allow: /list/*_csrf
Allow: /list/*action
Allow: /list/*amp
Allow: /list/*ampplace
Allow: /list/*amupr_id
Allow: /list/*appsearch_header=
Allow: /list/*autoplay=
Allow: /list/*backoffice=
Allow: /list/*branding=
Allow: /list/*briefEditorPublicationId=
Allow: /list/*bx_sender_conversion_id=
Allow: /list/*cachebust=
Allow: /list/*clid=
Allow: /list/*collection=
Allow: /list/*country_code=
Allow: /list/*erid=
Allow: /list/*experiment=
Allow: /list/*feed_exp=
Allow: /list/*from_cloud=
Allow: /list/*from_page=
Allow: /list/*invite=
Allow: /list/*loop=
Allow: /list/*pulse_user_id=
Allow: /list/*sso_failed=
Allow: /list/*t=
Allow: /list/*to=
Allow: /list/*token=
Allow: /list/*utm_referrer=
Allow: /list/*utm_source=
Allow: /list/*?etext=

Allow: /video/watch/*_csrf
Allow: /video/watch/*action
Allow: /video/watch/*amp
Allow: /video/watch/*ampplace
Allow: /video/watch/*amupr_id
Allow: /video/watch/*appsearch_header=
Allow: /video/watch/*autoplay=
Allow: /video/watch/*backoffice=
Allow: /video/watch/*branding=
Allow: /video/watch/*briefEditorPublicationId=
Allow: /video/watch/*bx_sender_conversion_id=
Allow: /video/watch/*cachebust=
Allow: /video/watch/*clid=
Allow: /video/watch/*collection=
Allow: /video/watch/*country_code=
Allow: /video/watch/*erid=
Allow: /video/watch/*experiment=
Allow: /video/watch/*feed_exp=
Allow: /video/watch/*from_cloud=
Allow: /video/watch/*from_page=
Allow: /video/watch/*invite=
Allow: /video/watch/*loop=
Allow: /video/watch/*pulse_user_id=
Allow: /video/watch/*sso_failed=
Allow: /video/watch/*t=
Allow: /video/watch/*to=
Allow: /video/watch/*token=
Allow: /video/watch/*utm_referrer=
Allow: /video/watch/*utm_source=
Allow: /video/watch/*?etext=

Allow: /shorts/*_csrf
Allow: /shorts/*action
Allow: /shorts/*amp
Allow: /shorts/*ampplace
Allow: /shorts/*amupr_id
Allow: /shorts/*appsearch_header=
Allow: /shorts/*autoplay=
Allow: /shorts/*backoffice=
Allow: /shorts/*branding=
Allow: /shorts/*briefEditorPublicationId=
Allow: /shorts/*bx_sender_conversion_id=
Allow: /shorts/*cachebust=
Allow: /shorts/*clid=
Allow: /shorts/*collection=
Allow: /shorts/*country_code=
Allow: /shorts/*erid=
Allow: /shorts/*experiment=
Allow: /shorts/*feed_exp=
Allow: /shorts/*from_cloud=
Allow: /shorts/*from_page=
Allow: /shorts/*invite=
Allow: /shorts/*loop=
Allow: /shorts/*pulse_user_id=
Allow: /shorts/*sso_failed=
Allow: /shorts/*t=
Allow: /shorts/*to=
Allow: /shorts/*token=
Allow: /shorts/*utm_referrer=
Allow: /shorts/*utm_source=
Allow: /shorts/*?etext=

Disallow: /about*?*
Disallow: /away
Disallow: /top$
Disallow: /search
Disallow: /money
Disallow: /onboarding
Disallow: /news/top
Disallow: /news/smi
Disallow: /news/search
Disallow: /t/
Disallow: /user/
Disallow: /embed/
Disallow: /*/url
Disallow: /video/games/tags/
Disallow: /*_csrf
Disallow: /*action
Disallow: /*amp
Disallow: /*ampplace
Disallow: /*amupr_id
Disallow: /*appsearch_header=
Disallow: /*autoplay=
Disallow: /*backoffice=
Disallow: /*branding=
Disallow: /*briefEditorPublicationId=
Disallow: /*bx_sender_conversion_id=
Disallow: /*cachebust=
Disallow: /*clid=
Disallow: /*collection=
Disallow: /*country_code=
Disallow: /*erid=
Disallow: /*experiment=
Disallow: /*feed_exp=
Disallow: /*from_cloud=
Disallow: /*from_page=
Disallow: /*invite=
Disallow: /*loop=
Disallow: /*pulse_user_id=
Disallow: /*sso_failed=
Disallow: /*t=
Disallow: /*to=
Disallow: /*token=
Disallow: /*utm_referrer=
Disallow: /*utm_source=
Disallow: /games
Disallow: /*?etext=
Disallow: /subscriptions-manager?channel=

Disallow: /articles?
Disallow: /video?

User-Agent: *
Allow: /
Allow: /.well-known/assetlinks.json
Disallow: /about*?*
Disallow: /away
Disallow: /embed/
Disallow: /games
Disallow: /money
Disallow: /news/search
Disallow: /news/smi
Disallow: /news/top
Disallow: /onboarding
Disallow: /search
Disallow: /subscriptions-manager?channel=
Disallow: /t/
Disallow: /top$
Disallow: /user/
Disallow: /*/url
Disallow: /video/games/tags/
Disallow: /*erid=
Disallow: /*?etext=
Disallow: /*sso_failed=
Disallow: /*?sso_failed=
Disallow: /*to=

Sitemap: https://dzen.ru/sitemaps/brief_v2/sitemap.xml
Sitemap: https://dzen.ru/sitemaps/channels_v2/sitemap.xml
Sitemap: https://dzen.ru/sitemaps/gif_long_v2/sitemap.xml
Sitemap: https://dzen.ru/sitemaps/gif_short_v2/sitemap.xml
Sitemap: https://dzen.ru/sitemaps/image_v2/sitemap.xml
Sitemap: https://dzen.ru/sitemaps/native_v2/sitemap.xml
Sitemap: https://dzen.ru/sitemaps/slug-factory/sitemap.xml
Sitemap: https://dzen.ru/sitemaps/suite_v2/sitemap.xml
Sitemap: https://dzen.ru/sitemaps/tv/sitemap.xml
Sitemap: https://dzen.ru/sitemaps/news-archive/sitemap.xml
Sitemap: https://dzen.ru/sitemaps/news-region/sitemap.xml
Sitemap: https://dzen.ru/sitemaps/news-rubric/sitemap.xml
Sitemap: https://dzen.ru/sitemaps/meta-channel_v2/sitemap.xml

Sitemap: https://dzen.ru/sitemaps/brief_v2/sitemap.xml.gz
Sitemap: https://dzen.ru/sitemaps/channels_v2/sitemap.xml.gz
Sitemap: https://dzen.ru/sitemaps/gif_long_v2/sitemap.xml.gz
Sitemap: https://dzen.ru/sitemaps/gif_short_v2/sitemap.xml.gz
Sitemap: https://dzen.ru/sitemaps/image_v2/sitemap.xml.gz
Sitemap: https://dzen.ru/sitemaps/native_v2/sitemap.xml.gz
Sitemap: https://dzen.ru/sitemaps/slug-factory/sitemap.xml.gz
Sitemap: https://dzen.ru/sitemaps/suite_v2/sitemap.xml.gz
Sitemap: https://dzen.ru/sitemaps/tv/sitemap.xml.gz
Sitemap: https://dzen.ru/sitemaps/news-archive/sitemap.xml.gz
Sitemap: https://dzen.ru/sitemaps/news-region/sitemap.xml.gz
Sitemap: https://dzen.ru/sitemaps/news-rubric/sitemap.xml.gz
Sitemap: https://dzen.ru/sitemaps/meta-channel_v2/sitemap.xml.gz

История проверок

Дата	Балл	ИИ-ботов видят
30 октября в 22:46	32	0
15 октября в 23:36	30	0
15 октября в 23:33	30	0
15 октября в 23:30	30	0

Как мы проверяли

Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.

Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.

Другие проверенные сайты

Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.

Главные проблемы

ИИ-ассистенты не могут открыть сайт

Сайт отвечает медленно

Боты для обучения моделей заблокированы на уровне сервера

Нет структурированных данных

Нет Markdown-версии для ИИ-агентов