Как ИИ-агенты видят vc.ru

Главные проблемы

1. Важно

   Часть контента видна только после JavaScript

   Без JavaScript 522 слов, после рендера — 1026 (51%). Остальное ИИ-боты, скорее всего, не увидят.

   Как исправить. Проверьте, какие блоки подгружаются скриптами, и отдавайте важный текст сразу в HTML.

2. Важно

   Не найдена карта сайта

   Мы не нашли рабочий sitemap (в robots.txt он не указан, /sitemap.xml не отвечает). Ботам сложнее находить страницы.

   Как исправить. Создайте sitemap.xml и укажите его в robots.txt строкой «Sitemap: …».

3. Мелочь

   Нет Markdown-версии для ИИ-агентов

   Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.

   Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.

4. Мелочь

   Нет llms.txt

   Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

   Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Для сравнения обычный браузер получил: ответ 200, 522 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Часть контента — только после JavaScript — бот видит 51% текста.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title

vc.ru — бизнес, технологии, идеи, модели роста, стартапы

Description

Крупнейшая в рунете площадка для предпринимателей нового поколения. Новости ИТ-рынка, вакансии рунета, реклама, PR, интерфейсы, мобильные приложения.

Язык

ru

Canonical

https://vc.ru

Schema.org

Organization, WebSite

Meta robots

не задано

Служебные файлы

robots.txt

есть 556 байт, ИИ-боты отдельно не упомянуты

Sitemap

нет ответ не получен

Markdown для агентов

нет на запрос Markdown сайт отдаёт HTML

llms.txt

нет необязательный файл для языковых моделей

User-agent: *
Disallow: /my$
Disallow: /my/
Disallow: /notifications$
Disallow: /editor$
Disallow: /repost$
Disallow: /bookmarks$
Disallow: /drafts$
Disallow: /auth$
Disallow: /settings$
Disallow: /plus$
Disallow: /appearance$
Disallow: /discovery$
Disallow: /p/health$
Disallow: /admin$
Disallow: /email/unsubscribeDigest/*
Disallow: /m$
Disallow: /m/
Disallow: /cabinet$
Disallow: /collectibles$
Disallow: /*/collectibles$
Disallow: /*?redesign
Disallow: /*?modal=auth*
Disallow: /*?ref=*
Disallow: /*?writing=*
Disallow: /*?comment=*

Clean-param: from

История проверок

Другие проверенные сайты

• 83 rendez-vous.ruИИ видят 8 из 12 · 30 окт
• 83 2gis.ruИИ видят 12 из 12 · 30 окт
• 84 sohoshop.ruИИ видят 12 из 12 · 30 окт
• 84 2moodstore.comИИ видят 12 из 12 · 30 окт
• 41 sberbank.ruИИ видят 1 из 12 · 30 окт
• 94 pikabu.ruИИ видят 12 из 12 · 30 окт
• 97 ingate.ruИИ видят 12 из 12 · 30 окт
• 91 amdg.ruИИ видят 12 из 12 · 30 окт