Как ИИ-агенты видят lenta.ru

Главные проблемы

1. Мелочь

   Нет Markdown-версии для ИИ-агентов

   Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.

   Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.

2. Мелочь

   Нет llms.txt

   Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

   Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Для сравнения обычный браузер получил: ответ 200, 2124 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Контент доступен без JavaScript.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title

Lenta.ru - Новости России и мира сегодня

Description

Новости, статьи, фотографии, видео. Семь дней в неделю, 24 часа в сутки.

Язык

ru

Canonical

https://lenta.ru/

Schema.org

NewsMediaOrganization

Meta robots

не задано

Служебные файлы

robots.txt

есть 1118 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot

Sitemap

есть 0 ссылок, указан в robots.txt

Markdown для агентов

нет на запрос Markdown сайт отдаёт HTML

llms.txt

нет необязательный файл для языковых моделей

User-agent: Yandex
Disallow: /search
Disallow: /check_ed
Disallow: /auth
Disallow: /my
Disallow: /core
Disallow: */2020/02/13/money/
Disallow: */2026/08/31/vasilyev/
Disallow: */?rcmclid=
Disallow: /?
Disallow: /comments
Disallow: */amp/
Disallow: */amp$
Disallow: */twz/zdorovie/
Disallow: */twz/krugozor/
Disallow: */twz/interaktiv/
Clean-param: url
Host: https://lenta.ru

User-agent: GoogleBot
Disallow: /search
Disallow: /check_ed
Disallow: /auth
Disallow: /my
Disallow: /core
Disallow: */2020/02/13/money/
Disallow: */2026/08/31/vasilyev/
Disallow: */?rcmclid=
Disallow: /?
Disallow: /comments
Disallow: */twz/zdorovie/
Disallow: */twz/krugozor/
Disallow: */twz/interaktiv/

User-agent: *
Disallow: /search
Disallow: /check_ed
Disallow: /auth
Disallow: /my
Disallow: /core
Disallow: */2020/02/13/money/
Disallow: */2026/08/31/vasilyev/
Disallow: */?rcmclid=
Disallow: /?
Disallow: */twz/zdorovie/
Disallow: */twz/krugozor/
Disallow: */twz/interaktiv/

Sitemap: https://lenta.ru/sitemap.xml.gz
Sitemap: https://lenta.ru/twz/sitemaps/main/twz_lenta.xml
Sitemap: https://lenta.ru/twz/sitemaps/main/twz_lenta.xml.gz

История проверок

Другие проверенные сайты

• 97 ingate.ruИИ видят 12 из 12 · 30 окт
• 97 street-beat.ruИИ видят 12 из 12 · 30 окт
• 97 brandshop.ruИИ видят 12 из 12 · 30 окт
• 99 tvoe.ruИИ видят 12 из 12 · 30 окт
• 41 sberbank.ruИИ видят 1 из 12 · 30 окт
• 94 pikabu.ruИИ видят 12 из 12 · 30 окт
• 91 amdg.ruИИ видят 12 из 12 · 30 окт
• 30 avito.ruИИ видят 0 из 12 · 30 окт