Отчёт · 30 октября 2026 г.

Как ИИ-агенты видят pikabu.ru

Все 12 проверенных ИИ-ботов могут открыть главную pikabu.ru и им это разрешено. Серьёзных проблем не нашли.

Проверена главная: pikabu.ru Обновлено 30 октября в 23:05 Проверок: 2

94/100

Видимость для ИИ-агентов

Доступ для ботов: 40/40
Правила robots.txt: 20/20
Контент без JavaScript: 20/20
Разметка: 7/10
Служебные файлы: 7/10

Главные проблемы

Мелочь
Нет структурированных данных

На главной нет разметки schema.org (JSON-LD). Она помогает ИИ понять, что это за организация и что она предлагает.

Как исправить. Добавьте JSON-LD: Organization или LocalBusiness, для магазина — Product.
Мелочь
Нет Markdown-версии для ИИ-агентов

Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.

Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.
Мелочь
Нет llms.txt

Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Бот	robots.txt	Доступ к главной	Ответ сервера
Поисковики
GooglebotGoogle	Разрешеногруппа Googlebot	Видит страницу	200
YandexBotЯндекс	Разрешеногруппа Yandex	Видит страницу	200
BingbotMicrosoft	Разрешенообщее правило	Видит страницу	200
ИИ-поиск
YandexAdditionalBotЯндекс	Разрешеногруппа Yandex	Видит страницу	200
OAI-SearchBotOpenAI	Разрешенообщее правило	Видит страницу	200
Claude-SearchBotAnthropic	Разрешенообщее правило	Видит страницу	200
PerplexityBotPerplexity	Разрешенообщее правило	Видит страницу	200
Агенты по запросу пользователя
ChatGPT-UserOpenAI	Разрешенообщее правило	Видит страницу	200
Claude-UserAnthropic	Разрешенообщее правило	Видит страницу	200
Perplexity-UserPerplexity	Разрешенообщее правило	Видит страницу	200
Обучение моделей
GPTBotOpenAI	Разрешенообщее правило	Видит страницу	200
ClaudeBotAnthropic	Разрешенообщее правило	Видит страницу	200
CCBotCommon Crawl	Разрешенообщее правило	Видит страницу	200
BytespiderByteDance	Разрешенообщее правило	Видит страницу	200
meta-externalagentMeta	Разрешенообщее правило	Видит страницу	200
Google-ExtendedGoogle	Разрешенообщее правило	нет своего робота
Applebot-ExtendedApple	Разрешенообщее правило	нет своего робота

Для сравнения обычный браузер получил: ответ 200, 2120 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Без JavaScript1276 слов

В браузере639 слов

Контент доступен без JavaScript.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title: Горячее – самые интересные и обсуждаемые посты | Пикабу
Description: Пикабу – это уютное информационно-развлекательное сообщество, где любой желающий может опубликовать пост. Истории из жизни, свежие шутки и мемы, познавательные статьи, забавные фото и видео, интересные комментарии. Если другим пользователям понравится ваша история, ее увидят сотни тысяч людей.
Язык: ru
Canonical: https://pikabu.ru/
Schema.org: нет
Meta robots: не задано

Служебные файлы

robots.txt: есть 4607 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot
Sitemap: есть индекс карт, 914 ссылок, указан в robots.txt
Markdown для агентов: нет на запрос Markdown сайт отдаёт HTML
llms.txt: нет необязательный файл для языковых моделей

Показать robots.txt

#             _________
#            /         \
#           /           \
#          /             \
#          |  ####  #### |
#          | / @ | / @ | |   .---------------------------------.
#          | \__/  \__/  |  (  YOU'RE DEFINITELY NOT A CRAWLER  )
#          |             |   .---------------------------------.
#          \    ___     /  _/
#           \          /
#            \________/
#                |
#               /|\
#              / | \
#             /  |  |
#            /   |  |
#                |

User-Agent: *
Allow: */community/edits/new
Allow: /search?n=16&r=3
Allow: /original-stories
Disallow: /generate_xml.php
Disallow: /restore.php
Disallow: /ajax/*
Disallow: */ajax.php*
Disallow: /api/*
Disallow: /api2/*
Disallow: /assets/*
Disallow: /cron/*
Disallow: /data_vars/*
Disallow: /external/*
Disallow: /files/*
Disallow: /staff/*
Disallow: /pds/*
Disallow: *username=*
Disallow: /offer-redirect/
Disallow: /*?r=
Disallow: */edits/*
Disallow: /*?n=*
Disallow: /admitad/finance/redirect
Disallow: /page/misc/adstat.php*
Disallow: /.well-known/*
Disallow: /search?*
Disallow: /tag/*st=*
Disallow: /tag/*n=*
Disallow: /tag/*et=*
Disallow: /tag/*d=*
Disallow: /tag/*cl=*
Disallow: /tag/*vh=*
Disallow: /@*/*
Disallow: /community/*/*
Disallow: /communities/*
Disallow: /communities?t=*
Disallow: /communities?q=*
Disallow: /add?community=*
Disallow: /information/docs
Disallow: *etm_term=*
Disallow: *ysclid=*
Disallow: *loc=*
Disallow: /ext/*
Disallow: /*?u=*
Disallow: *dv=*
Disallow: *mv=*

User-Agent: Yandex
Allow: */community/edits/new
Allow: /search?n=16&r=3
Allow: /original-stories
Disallow: /generate_xml.php
Disallow: /restore.php
Disallow: /ajax/*
Disallow: */ajax.php*
Disallow: /api/*
Disallow: /api2/*
Disallow: /assets/*
Disallow: /cron/*
Disallow: /data_vars/*
Disallow: /external/*
Disallow: /files/*
Disallow: /rabbit_workers/*
Disallow: /staff/*
Disallow: /pds/*
Disallow: *username=*
Disallow: /offer-redirect/
Disallow: /*?r=
Disallow: */edits/*
Disallow: /*?n=*
Disallow: /admitad/finance/redirect
Disallow: /page/misc/adstat.php*
Disallow: /.well-known/*
Disallow: /search?*
Disallow: /tag/*st=*
Disallow: /tag/*n=*
Disallow: /tag/*et=*
Disallow: /tag/*d=*
Disallow: /tag/*cl=*
Disallow: /tag/*vh=*
Disallow: /@*/*
Disallow: /community/*/*
Disallow: /communities/*
Disallow: /communities?t=*
Disallow: /communities?q=*
Disallow: /add?community=*
Disallow: *dv=*
Disallow: *mv=*
Disallow: /*?u=*
Clean-param: rsid&story_url&vkmain&andpostshare&tgmain&YandexZenSpecial&linkshare&fbmain&viber&turbo_turbo&vshare&vkgame&iospostshare&andlinkshare&st&dv&d&photo&text&longread&is_hot&from&cpm_token&goto&etext

Crawl-Delay: 3

User-Agent: Googlebot
Allow: */community/edits/new
Allow: /search?n=16&r=3
Allow: /original-stories
Disallow: /generate_xml.php
Disallow: /restore.php
Disallow: /ajax/*
Disallow: */ajax.php*
Disallow: /api/*
Disallow: /api2/*
Disallow: /assets/*
Disallow: /cron/*
Disallow: /data_vars/*
Disallow: /external/*
Disallow: /files/*
Disallow: /staff/*
Disallow: /pds/*
Disallow: *username=*
Disallow: /offer-redirect/
Disallow: /*?r=
Disallow: */edits/*
Disallow: /*?n=*
Disallow: /admitad/finance/redirect
Disallow: /page/misc/adstat.php*
Disallow: /.well-known/*
Disallow: /search?*
Disallow: /tag/*st=*
Disallow: /tag/*n=*
Disallow: /tag/*et=*
Disallow: /tag/*d=*
Disallow: /tag/*cl=*
Disallow: /tag/*vh=*
Disallow: /communities/*
Disallow: /communities?t=*
Disallow: /communities?q=*
Disallow: /add?community=*
Disallow: /information/docs
Disallow: *etm_term=*
Disallow: *ysclid=*
Disallow: *loc=*
Disallow: /ext/*
Disallow: /*?u=*

User-Agent: Mail.RU_Bot
Allow: */community/edits/new
Allow: /search?n=16&r=3
Allow: /original-stories
Disallow: /generate_xml.php
Disallow: /restore.php
Disallow: /WT4fgrvixo2F/*
Disallow: /ajax/*
Disallow: */ajax.php*
Disallow: /api/*
Disallow: /api2/*
Disallow: /assets/*
Disallow: /cron/*
Disallow: /data_vars/*
Disallow: /external/*
Disallow: /files/*
Disallow: /rabbit_workers/*
Disallow: /staff/*
Disallow: /pds/*
Disallow: *username=*
Disallow: /offer-redirect/
Disallow: /*?r=
Disallow: */edits/*
Disallow: /*?n=*
Disallow: /admitad/finance/redirect
Disallow: /page/misc/adstat.php*
Disallow: /.well-known/*
Disallow: /search?*
Disallow: /tag/*st=*
Disallow: /tag/*n=*
Disallow: /tag/*et=*
Disallow: /tag/*d=*
Disallow: /tag/*cl=*
Disallow: /tag/*vh=*
Disallow: /@*/*
Disallow: /community/*/*
Disallow: /communities/*
Disallow: /communities?t=*
Disallow: /communities?q=*
Disallow: /add?community=*
Disallow: *dv=*
Disallow: *mv=*
Crawl-Delay: 3

Sitemap: https://pikabu.ru/sitemap_index.xml

История проверок

Дата	Балл	ИИ-ботов видят
30 октября в 23:05	94	12
30 октября в 22:37	93	12

Как мы проверяли

Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.

Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.

Другие проверенные сайты

Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.