Как ИИ-агенты видят kinopoisk.ru
10 из 12 ИИ-ботов могут открыть главную kinopoisk.ru и им это разрешено. Серьёзных проблем: 1.
- Доступ для ботов
- 32/40
- Правила robots.txt
- 20/20
- Контент без JavaScript
- 20/20
- Разметка
- 6/10
- Служебные файлы
- 7/10
Главные проблемы
-
Серьёзно
ИИ-ассистенты не могут открыть сайт
Браузеру главная открывается, а ИИ-агентам нет: Claude-User — получает урезанную страницу; Perplexity-User — уводит на страницу входа. Когда пользователь спросит ChatGPT, Claude или Perplexity о вашем сайте, они не смогут его прочитать.
Как исправить. Найдите правило, которое режет запросы по User-Agent: в WAF, антиботе, настройках хостинга или nginx — и добавьте исключение для нужных ботов.
-
Важно
Сайт отвечает медленно
Главная загружалась 10.7 с. У агентов, которые открывают страницу по запросу пользователя, короткие таймауты.
Как исправить. Ускорьте ответ сервера: кеширование, CDN, облегчение главной.
-
Мелочь
Нет структурированных данных
На главной нет разметки schema.org (JSON-LD). Она помогает ИИ понять, что это за организация и что она предлагает.
Как исправить. Добавьте JSON-LD: Organization или LocalBusiness, для магазина — Product.
-
Мелочь
Нет Markdown-версии для ИИ-агентов
Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.
Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.
-
Мелочь
Нет llms.txt
Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.
Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.
Доступ по ботам
Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.
| Бот | robots.txt | Доступ к главной | Ответ сервера |
|---|---|---|---|
| Поисковики | |||
GooglebotGoogle |
Разрешенообщее правило |
Видит страницу |
200 |
YandexBotЯндекс |
Разрешеногруппа Yandex |
Видит страницу |
200 |
BingbotMicrosoft |
Разрешенообщее правило |
Видит страницу |
200 |
| ИИ-поиск | |||
YandexAdditionalBotЯндекс |
Разрешеногруппа Yandex |
Видит страницу |
200 |
OAI-SearchBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-SearchBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
PerplexityBotPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Агенты по запросу пользователя | |||
ChatGPT-UserOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-UserAnthropic |
Разрешенообщее правило |
Получает урезанную страницу |
200 · 47 слов против 47 |
Perplexity-UserPerplexity |
Разрешенообщее правило |
Уводит на страницу входа |
200 |
| Обучение моделей | |||
GPTBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
ClaudeBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
CCBotCommon Crawl |
Разрешенообщее правило |
Видит страницу |
200 |
BytespiderByteDance |
Разрешенообщее правило |
Видит страницу |
200 |
Разрешенообщее правило |
Видит страницу |
200 |
|
Google-ExtendedGoogle |
Разрешенообщее правило |
нет своего робота |
|
Applebot-ExtendedApple |
Разрешенообщее правило |
нет своего робота |
|
Для сравнения обычный браузер получил: ответ 200, 47 слов (только настоящим браузером).
JavaScript: что видит бот без браузера
GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.
Контент доступен без JavaScript.
Разметка главной
Так главную видит YandexAdditionalBot — без JavaScript.
- Title
- Кинопоиск. Онлайн кинотеатр. Фильмы сериалы мультфильмы и энциклопедия
- Description
- Поиск фильмов, новости кино, отзывы пользователей, афиша кинотеатров, фотографии, постеры, трейлеры, кассовые сборы и многое другое.
- Язык
- нет
- Canonical
- https://www.kinopoisk.ru
- Schema.org
- нет
- Meta robots
- не задано
Служебные файлы
- robots.txt
- есть 2629 байт, упомянуты: YandexBot, YandexAdditionalBot
- Sitemap
- есть индекс карт, 154 ссылки, указан в robots.txt
- Markdown для агентов
- нет на запрос Markdown сайт отдаёт HTML
- llms.txt
- нет необязательный файл для языковых моделей
Показать robots.txt
User-agent: Yandex Clean-param: utm_source Clean-param: utm_medium Clean-param: utm_campaign Clean-param: utm_term Clean-param: utm_content Clean-param: from Clean-param: ord Clean-param: sort Clean-param: status Clean-param: force-version Clean-param: source Clean-param: _escaped_fragment_ Clean-param: from-touch Clean-param: limit Clean-param: app Clean-param: from_block Clean-param: nobanner Clean-param: parent-reqid Clean-param: from-desktop Clean-param: ref Clean-param: nocookiesupport Clean-param: is-redirected Clean-param: userfilm Clean-param: link-yandex Clean-param: utm_ Clean-param: %2F Clean-param: fb_ref Clean-param: exclude_viewed Clean-param: from_position Clean-param: nw /media/news/ Clean-param: comment Clean-param: amp Clean-param: perpage Clean-param: vk Clean-param: newfilm Clean-param: quick Clean-param: force Clean-param: utm Clean-param: afisha Clean-param: sso Clean-param: link Clean-param: onlyPlayer Clean-param: from_src Clean-param: share Clean-param: __ref Clean-param: fb Clean-param: ok Clean-param: af_xp Clean-param: af_dp Clean-param: utm_referrer Clean-param: referrer Clean-param: ganr Clean-param: fsrc Clean-param: sortbyrating Clean-param: text Clean-param: 1 Clean-param: %3Bb Clean-param: amp%3Bb Clean-param: amp%3Bsort Clean-param: amp%3Bss_subscription Clean-param: amp%3Butm_referrer Clean-param: ampb Clean-param: justPlusSubscribed Clean-param: widgetServiceName Clean-param: amp;utm_referrer Clean-param: erid Clean-param: action /film/ Clean-param: action /series/ Clean-param: sso_failed Clean-param: uuid Clean-param: rid Disallow: /tmp/ Disallow: /s/ Disallow: /query/ Disallow: /index.php?*kp_query=* Disallow: /link/ Disallow: /level/30/ Disallow: /level/31/ Disallow: /level/34/ Disallow: /level/78/ Disallow: /top/navigator/ Disallow: /handler_* Disallow: /user/* Disallow: /community/cf_user/* Disallow: /community/birth_year/* Disallow: /community/country/* Disallow: /community/city/* Disallow: /community/birth_day/* Disallow: */empty/$ Disallow: /api/* Disallow: /webview/* Disallow: /new-search/* User-agent: * Disallow: /tmp/ Disallow: /s/ Disallow: /query/ Disallow: /index.php?*kp_query=* Disallow: /link/ Disallow: /level/30/ Disallow: /level/31/ Disallow: /level/34/ Disallow: /level/78/ Disallow: /top/navigator/ Disallow: /handler_* Disallow: /user/* Disallow: /community/cf_user/* Disallow: /community/birth_year/* Disallow: /community/country/* Disallow: /community/city/* Disallow: /community/birth_day/* Disallow: */empty/$ Disallow: /api/* Disallow: /webview/* Disallow: /new-search/* Sitemap: https://www.kinopoisk.ru/sitemaps/sitemap.xml
История проверок
| Дата | Балл | ИИ-ботов видят |
|---|---|---|
| 30 октября в 22:45 | 85 | 10 |
| 15 октября в 23:28 | 85 | 10 |
| 15 октября в 23:28 | 75 | 10 |
| 15 октября в 23:24 | — | — |
Как мы проверяли
Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.
Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.
Другие проверенные сайты
- 84 sohoshop.ruИИ видят 12 из 12 · 30 окт
- 84 2moodstore.comИИ видят 12 из 12 · 30 окт
- 87 ushatava.ruИИ видят 12 из 12 · 30 окт
- 83 rendez-vous.ruИИ видят 8 из 12 · 30 окт
- 41 sberbank.ruИИ видят 1 из 12 · 30 окт
- 94 pikabu.ruИИ видят 12 из 12 · 30 окт
- 97 ingate.ruИИ видят 12 из 12 · 30 окт
- 91 amdg.ruИИ видят 12 из 12 · 30 окт
Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.