Отчёт · 30 октября 2026 г.

Как ИИ-агенты видят ingate.ru

Все 12 проверенных ИИ-ботов могут открыть главную ingate.ru и им это разрешено. Серьёзных проблем не нашли.

Проверена главная: ingate.ru Обновлено 30 октября в 23:04 Проверок: 2

97/100

Видимость для ИИ-агентов

Доступ для ботов: 40/40
Правила robots.txt: 20/20
Контент без JavaScript: 20/20
Разметка: 10/10
Служебные файлы: 7/10

Главные проблемы

Мелочь
Нет Markdown-версии для ИИ-агентов

Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.

Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.
Мелочь
Нет llms.txt

Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Бот	robots.txt	Доступ к главной	Ответ сервера
Поисковики
GooglebotGoogle	Разрешеногруппа Googlebot	Видит страницу	200
YandexBotЯндекс	Разрешеногруппа Yandex	Видит страницу	200
BingbotMicrosoft	Разрешенообщее правило	Видит страницу	200
ИИ-поиск
YandexAdditionalBotЯндекс	Разрешеногруппа Yandex	Видит страницу	200
OAI-SearchBotOpenAI	Разрешенообщее правило	Видит страницу	200
Claude-SearchBotAnthropic	Разрешенообщее правило	Видит страницу	200
PerplexityBotPerplexity	Разрешенообщее правило	Видит страницу	200
Агенты по запросу пользователя
ChatGPT-UserOpenAI	Разрешенообщее правило	Видит страницу	200
Claude-UserAnthropic	Разрешенообщее правило	Видит страницу	200
Perplexity-UserPerplexity	Разрешенообщее правило	Видит страницу	200
Обучение моделей
GPTBotOpenAI	Разрешенообщее правило	Видит страницу	200
ClaudeBotAnthropic	Разрешенообщее правило	Видит страницу	200
CCBotCommon Crawl	Разрешенообщее правило	Видит страницу	200
BytespiderByteDance	Разрешенообщее правило	Видит страницу	200
meta-externalagentMeta	Разрешенообщее правило	Видит страницу	200
Google-ExtendedGoogle	Разрешенообщее правило	нет своего робота
Applebot-ExtendedApple	Разрешенообщее правило	нет своего робота

Для сравнения обычный браузер получил: ответ 200, 2778 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Без JavaScript2778 слов

В браузере2267 слов

Контент доступен без JavaScript.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title: Ingate Group: продвижение сайтов, маркетинг и performance-подход усиленные искусственным интеллектом
Description: В группу компаний Ingate Group входят маркетинговые агентства и SaaS-сервисы, уже использующие AI в своих процессах и продуктах. Продвижение и раскрутка сайтов, социальных сетей и других источников трафика и продаж.
Язык: ru
Canonical: https://ingate.ru/
Schema.org: WPHeader, SiteNavigationElement, WPFooter, Organization, LocalBusiness
Meta robots: max-snippet:-1, max-image-preview:large, max-video-preview:-1

Служебные файлы

robots.txt: есть 4059 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot
Sitemap: есть 2311 ссылок, указан в robots.txt
Markdown для агентов: нет на запрос Markdown сайт отдаёт HTML
llms.txt: нет необязательный файл для языковых моделей

Показать robots.txt

User-agent: *
Allow: /*?PAGEN
Allow: *.css
Disallow: /cgi-bin
Disallow: /bitrix/
Disallow: /test/
Disallow: *bitrix_*=
Disallow: /*index.php$
Disallow: /auth/
Disallow: *auth=
Disallow: /personal/
Disallow: *register=
Disallow: *login=
Disallow: /search/
Disallow: /*=show
Disallow: /*?lang=
Disallow: /visit-card/
Disallow: /*=/$
Disallow: /*.php
Disallow: /*?x=
Disallow: /*?id=
Disallow: /hochu-znat/
Disallow: /click.html/
Disallow: /*search_source*
Disallow: /*/&sa
Disallow: /*/&lr
Disallow: /*/&source
Disallow: /*/utm_source
Disallow: /*/&utm_source
Disallow: /*&lr=213&source=tabbar*
Disallow: /callback/
Disallow: /*/?/
Disallow: /order/
Disallow: /order-audit/
Disallow: /subscription/
Disallow: /unsubscribe/
Disallow: /*/*/test/
Disallow: *noclick_*
Disallow: /researches/form/
Disallow: /search-audit/trafic/
Disallow: /search-audit/usability/
Disallow: /uslugi/orm/old/
Disallow: /uslugi/serm/old/

User-agent: Googlebot
Allow: /*?PAGEN
Allow: *.css
Disallow: /cgi-bin
Disallow: /bitrix/
Disallow: /test/
Disallow: *bitrix_*=
Disallow: /*index.php$
Disallow: /auth/
Disallow: *auth=
Disallow: /personal/
Disallow: *register=
Disallow: *login=
Disallow: /search/
Disallow: /*=show
Disallow: /*?lang=
Disallow: /visit-card/
Disallow: /*=/$
Disallow: /*.php
Disallow: /*?x=
Disallow: /*?id=
Disallow: /hochu-znat/
Disallow: /click.html/
Disallow: /*search_source*
Disallow: /*/&sa
Disallow: /*/&lr
Disallow: /*/&source
Disallow: /*/utm_source
Disallow: /*/&utm_source
Disallow: /*&lr=213&source=tabbar*
Disallow: /callback/
Disallow: /*/?/
Disallow: /order/
Disallow: /order-audit/
Disallow: /subscription/
Disallow: /unsubscribe/
Disallow: /*/*/test/
Disallow: *noclick_*
Disallow: /researches/form/
Disallow: /*.otf
Disallow: /*.ttf
Disallow: /search-audit/trafic/
Disallow: /search-audit/usability/
Disallow: /uslugi/orm/old/
Disallow: /uslugi/serm/old/


User-agent: Yandex
Allow: *.css
Disallow: /cgi-bin
Disallow: /bitrix/
Disallow: *bitrix_*=
Disallow: /*index.php$
Disallow: /auth/
Disallow: *auth=
Disallow: /personal/
Disallow: *register=
Disallow: *login=
Disallow: /search/
Disallow: /*=show
Disallow: /*?lang=
Disallow: /visit-card/
Disallow: /*=/$
Disallow: /*.php
Disallow: /*?x=
Disallow: /*?id=
Disallow: /*/amp/
Disallow: /hochu-znat/
Disallow: /click.html/
Disallow: /*search_source*
Disallow: /*/&sa
Disallow: /*/&lr
Disallow: /*/&source
Disallow: /*/utm_source
Disallow: /*/&utm_source
Disallow: /*&lr=213&source=tabbar*
Disallow: /callback/
Disallow: /*/?/
Disallow: /order/
Disallow: /order-audit/
Disallow: /subscription/
Disallow: /unsubscribe/
Disallow: /*/*/test/
Disallow: /test/
Disallow: *noclick_*
Disallow: /researches/form/
Disallow: /search-audit/trafic/
Disallow: /search-audit/usability/
Disallow: /uslugi/orm/old/
Disallow: /uslugi/serm/old/

Clean-param:_gl&_ym_debug&back_url_admin&bitrix_include_areas&bitrix_preview_site_template&bk&clear_cache&hhtmFrom&jWe&matchtype&sa&ved&usg&p0e&ref
Clean-param: utm_campaign&utm_term&utm_content&v&change_password&lang&USER_CHECKWORD&USER_LOGIN&goto&rid&hash&action&WEB_FORM_ID&RESULT_ID
Clean-param: gtm_debug&new&megamenu&_ym_status-check&PAGEN_&utm_source&__iloveadaptive-hash__&utm_medium&formresult&code&amp&ID
Clean-param: tag&page&category&month&year&from&creatioid&rrcid&utm_source&utm_medium&utm_campaign&lr&source&ybaip&erid&amp;utm_source&amp;utm_campaign
Clean-param: amp;utm_term&amp;utm_content&sphrase_id&books-show-5969&books-show-1647&books-show-2298&etext&amp;etext&amp;yclid&referrer&marquiz_name
Clean-param: marquiz_phone&marquiz_email&block&amp;amp&c&how&q&tags&where&preset[cat][]&spm&utm&date&name&email&phone&wer&_ga&region&pm-test-form
Clean-param: mindbox_nocache&lipi&CODE&werwrt&bxajaxid&m-message-key-id&m-message-click-id&yprqee&hl&yqrid&region_name&clckid&utm_souce&city&site
Clean-param: amp;utm_referrer

Sitemap: https://ingate.ru/sitemap.xml
Sitemap: https://ingate.ru/images_sitemap.xml

История проверок

Дата	Балл	ИИ-ботов видят
30 октября в 23:04	97	12
30 октября в 22:36	97	12

Как мы проверяли

Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.

Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.

Другие проверенные сайты

Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.