Как ИИ-агенты видят tvoe.ru

Главные проблемы

1. Мелочь

   Нет Markdown-версии для ИИ-агентов

   Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.

   Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Для сравнения обычный браузер получил: ответ 200, 0 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Контент доступен без JavaScript.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title

ТВОЕ - интернет-магазин одежды

Description

Официальный интернет-магазин одежды ТВОЕ. Широкий ассортимент женской, мужской одежды, обуви и аксессуаров. Быстрая, удобная доставка по всей России.

Язык

ru

Canonical

https://tvoe.ru/

Schema.org

Organization, WebSite

Meta robots

index, follow

Служебные файлы

robots.txt

есть 1211 байт, ИИ-боты отдельно не упомянуты

Sitemap

есть индекс карт, 8 ссылок, указан в robots.txt

Markdown для агентов

нет на запрос Markdown сайт отдаёт HTML

llms.txt

есть 363 байт

User-Agent: *
Allow: /personal-data
Disallow: /admin
Disallow: /console
Disallow: /console-api
Disallow: /seo/
Disallow: /seo-meta
Disallow: /cart
Disallow: /checkout
Disallow: /favorite
Disallow: /profile
Disallow: /personal
Disallow: /authorization
Disallow: /login
Disallow: /search
Disallow: /_data
Disallow: /debug
Disallow: /auth-action/
Disallow: /favourite-action/
Disallow: /order-action/
Disallow: /profile-action/
Disallow: /search-action/
Disallow: /address-action/
Disallow: /newsletter-action/
Disallow: /debug-action/
Disallow: /order/
Disallow: /university/
Disallow: /bill/
Disallow: /getapp/
Disallow: /store/
Disallow: /auth/
Disallow: /brands
Disallow: /projects
Disallow: /services
Disallow: /landings
Disallow: /apply
Disallow: /form
Disallow: /*ORDER_BY
Disallow: /*ADD_TO_COMPARE_LIST
Disallow: /api/
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content&yclid&gclid&ymclid&erid /*
Clean-param: page /*
Clean-param: sort&view&overlay&block&size&f /*
Clean-param: PAGEN_1&PAGEN_2&PAGEN_3 /*

User-Agent: MJ12bot
Disallow: /

User-Agent: DotBot
Disallow: /

User-Agent: AhrefsBot
Crawl-delay: 10

User-Agent: SemrushBot
Crawl-delay: 10

Sitemap: https://tvoe.ru/sitemap.xml

История проверок

Другие проверенные сайты

• 97 ingate.ruИИ видят 12 из 12 · 30 окт
• 97 street-beat.ruИИ видят 12 из 12 · 30 окт
• 97 brandshop.ruИИ видят 12 из 12 · 30 окт
• 97 lenta.ruИИ видят 12 из 12 · 30 окт
• 41 sberbank.ruИИ видят 1 из 12 · 30 окт
• 94 pikabu.ruИИ видят 12 из 12 · 30 окт
• 91 amdg.ruИИ видят 12 из 12 · 30 окт
• 30 avito.ruИИ видят 0 из 12 · 30 окт