Как ИИ-агенты видят rendez-vous.ru

Главные проблемы

1. Серьёзно

   Поисковые роботы не видят сайт

   Браузеру главная открывается, а поисковикам нет: Bingbot — ошибка соединения. Это бьёт и по обычной выдаче, и по ответам ИИ, которые на неё опираются.

   Как исправить. Найдите правило, которое режет запросы по User-Agent: в WAF, антиботе, настройках хостинга или nginx — и добавьте исключение для нужных ботов.

2. Серьёзно

   ИИ-ассистенты не могут открыть сайт

   Браузеру главная открывается, а ИИ-агентам нет: PerplexityBot — заблокирован (ответ 424). Когда пользователь спросит ChatGPT, Claude или Perplexity о вашем сайте, они не смогут его прочитать.

   Как исправить. Найдите правило, которое режет запросы по User-Agent: в WAF, антиботе, настройках хостинга или nginx — и добавьте исключение для нужных ботов.

3. Мелочь

   Боты для обучения моделей заблокированы на уровне сервера

   GPTBot — ошибка соединения; ClaudeBot, Bytespider — заблокирован (ответ 424). Если это сознательное решение — всё в порядке, на ответы ИИ-поиска это почти не влияет.

   Как исправить. Если блокировка случайная, проверьте правила антибота. Если нет — лучше дополнительно закрыть этих ботов в robots.txt: так правило будет явным.

4. Мелочь

   Нет Markdown-версии для ИИ-агентов

   Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.

   Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Для сравнения обычный браузер получил: ответ 200, 1802 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Контент доступен без JavaScript.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title

Интернет-магазин обуви и одежды в Москве Rendez-Vous (Рандеву)

Description

Купить обувь и одежду в Москве в интернет-магазине Rendez-Vous (Рандеву). Доставка по РФ 0 руб. Сертификаты качества. Новые коллекции с кешбэком 5%.

Язык

ru

Canonical

нет

Schema.org

WebSite

Meta robots

не задано

Служебные файлы

robots.txt

есть 2942 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot

Sitemap

есть индекс карт, 14 ссылок, указан в robots.txt

Markdown для агентов

нет на запрос Markdown сайт отдаёт HTML

llms.txt

есть 6742 байт

User-agent: *
Disallow: *?*
Disallow: /api_*
Disallow: /apiCart/
Disallow: /ajax/
Disallow: /*/ajax/
Disallow: /unsubscribe/
Disallow: /m_*
Disallow: /cobrand_terminal/
Disallow: /site/cobrandterminal/
Disallow: /giftcards_terminal/
Disallow: /*delay_good
Disallow: /*rss
Disallow: /partners/
Disallow: /js/closed/
Disallow: /*reviews
Disallow: /uploads/
Disallow: /actions/
Disallow: /*lifestyle/
Disallow: /*email/
Disallow: /*user/
Disallow: /vacancy/*
Disallow: /shops/*
Disallow: /*ProductsReviews_page=
Allow: /*lifestyle/moonboots/$
Allow: /*lifestyle/new_balance_*/$
Allow: /*lifestyle/michael_kors_*/$
Allow: /*lifestyle/kruglye_sumki/$
Allow: /*lifestyle/mini_sumki/$
Allow: /actions/id/*/$
Allow: /actions/$
Allow: /js/closed/linker.js$
Allow: /uploads/userfiles/images/*.jpg$

User-agent: Googlebot
Disallow: *?*
Disallow: /api_*
Disallow: /apiCart/
Disallow: /ajax/
Disallow: /*/ajax/
Disallow: /unsubscribe/
Disallow: /m_*
Disallow: /cobrand_terminal/
Disallow: /site/cobrandterminal/
Disallow: /giftcards_terminal/
Disallow: /*byprice=
Disallow: /*valueA=
Disallow: /*valueB=
Disallow: /*material_id=
Disallow: /*delay_good
Disallow: /*rss
Disallow: /partners/
Disallow: /js/closed/
Disallow: /*reviews
Disallow: /uploads/
Disallow: /actions/
Disallow: /*lifestyle/
Disallow: /*email/
Disallow: /*user/
Disallow: /vacancy/*
Disallow: /shops/*
Disallow: /*ProductsReviews_page=
Allow: /*lifestyle/moonboots/$
Allow: /*lifestyle/new_balance_*/$
Allow: /*lifestyle/michael_kors_*/$
Allow: /*lifestyle/kruglye_sumki/$
Allow: /*lifestyle/mini_sumki/$
Allow: /actions/id/*/$
Allow: /actions/$
Allow: /js/closed/linker.js$
Allow: /uploads/userfiles/images/*.jpg$

User-agent: Yandex
Disallow: /api_*
Disallow: /apiCart/
Disallow: /ajax/
Disallow: /*/ajax/
Disallow: /unsubscribe/
Disallow: /m_*
Disallow: /cobrand_terminal/
Disallow: /site/cobrandterminal/
Disallow: /giftcards_terminal/
Disallow: /*byprice=
Disallow: /*valueA=
Disallow: /*valueB=
Disallow: /*material_id=
Disallow: /*delay_good
Disallow: /*rss
Disallow: /partners/
Disallow: /js/closed/
Disallow: /*reviews
Disallow: /uploads/
Disallow: /actions/
Disallow: /*lifestyle/
Disallow: /*email/
Disallow: /*user/
Disallow: /vacancy/*
Disallow: /shops/*
Disallow: /*ProductsReviews_page=
Allow: /*lifestyle/moonboots/$
Allow: /*lifestyle/new_balance_*/$
Allow: /*lifestyle/michael_kors_*/$
Allow: /*lifestyle/kruglye_sumki/$
Allow: /*lifestyle/mini_sumki/$
Allow: /actions/id/*/$
Allow: /actions/$
Allow: /js/closed/linker.js$
Allow: /uploads/userfiles/images/*.jpg$
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&ysclid&yrclid&gclid&partner_id&yadiscount

User-agent: Googlebot-Image
Allow: /

User-agent: SemrushBot
Disallow: /

User-agent: Screaming Frog SEO Spider
Disallow: /

Sitemap: https://www.rendez-vous.ru/sitemap.xml

История проверок

Другие проверенные сайты

• 83 2gis.ruИИ видят 12 из 12 · 30 окт
• 83 vc.ruИИ видят 12 из 12 · 30 окт
• 84 sohoshop.ruИИ видят 12 из 12 · 30 окт
• 84 2moodstore.comИИ видят 12 из 12 · 30 окт
• 41 sberbank.ruИИ видят 1 из 12 · 30 окт
• 94 pikabu.ruИИ видят 12 из 12 · 30 окт
• 97 ingate.ruИИ видят 12 из 12 · 30 окт
• 91 amdg.ruИИ видят 12 из 12 · 30 окт