Как ИИ-агенты видят gosuslugi.ru
Все 12 проверенных ИИ-ботов могут открыть главную gosuslugi.ru и им это разрешено. Серьёзных проблем не нашли.
- Доступ для ботов
- 40/40
- Правила robots.txt
- 20/20
- Контент без JavaScript
- 20/20
- Разметка
- 4/10
- Служебные файлы
- 7/10
Главные проблемы
-
Мелочь
Нет meta description
Нет краткого описания страницы — его часто используют как сниппет.
Как исправить. Добавьте <meta name="description">.
-
Мелочь
Нет структурированных данных
На главной нет разметки schema.org (JSON-LD). Она помогает ИИ понять, что это за организация и что она предлагает.
Как исправить. Добавьте JSON-LD: Organization или LocalBusiness, для магазина — Product.
-
Мелочь
Нет Markdown-версии для ИИ-агентов
Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.
Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.
-
Мелочь
Нет llms.txt
Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.
Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.
Доступ по ботам
Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.
| Бот | robots.txt | Доступ к главной | Ответ сервера |
|---|---|---|---|
| Поисковики | |||
GooglebotGoogle |
Разрешеногруппа Googlebot |
Видит страницу |
200 |
YandexBotЯндекс |
Разрешенообщее правило |
Видит страницу |
200 |
BingbotMicrosoft |
Разрешенообщее правило |
Видит страницу |
200 |
| ИИ-поиск | |||
YandexAdditionalBotЯндекс |
Разрешенообщее правило |
Видит страницу |
200 |
OAI-SearchBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-SearchBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
PerplexityBotPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Агенты по запросу пользователя | |||
ChatGPT-UserOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
Claude-UserAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
Perplexity-UserPerplexity |
Разрешенообщее правило |
Видит страницу |
200 |
| Обучение моделей | |||
GPTBotOpenAI |
Разрешенообщее правило |
Видит страницу |
200 |
ClaudeBotAnthropic |
Разрешенообщее правило |
Видит страницу |
200 |
CCBotCommon Crawl |
Разрешенообщее правило |
Видит страницу |
200 |
BytespiderByteDance |
Разрешенообщее правило |
Видит страницу |
200 |
Разрешенообщее правило |
Видит страницу |
200 |
|
Google-ExtendedGoogle |
Разрешенообщее правило |
нет своего робота |
|
Applebot-ExtendedApple |
Разрешенообщее правило |
нет своего робота |
|
Для сравнения обычный браузер получил: ответ 200, 11 слов.
JavaScript: что видит бот без браузера
GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.
Контент доступен без JavaScript.
Разметка главной
Так главную видит YandexAdditionalBot — без JavaScript.
- Title
- Портал государственных услуг Российской Федерации
- Description
- нет
- Язык
- ru
- Canonical
- нет
- Schema.org
- нет
- Meta robots
- не задано
Служебные файлы
- robots.txt
- есть 8746 байт, упомянуты: Googlebot
- Sitemap
- есть индекс карт, 15 ссылок, указан в robots.txt
- Markdown для агентов
- нет на запрос Markdown сайт отдаёт HTML
- llms.txt
- нет необязательный файл для языковых моделей
Показать robots.txt
Host: https://www.gosuslugi.ru User-agent: SputnikBot Allow: /$ Disallow: *2019_08_09_super_services Disallow: / Disallow: /paygate Disallow: /*/result Disallow: /*/form Disallow: /*root.betaUrl Disallow: /*payment Disallow: /situation/migration Disallow: /superservices/birth Disallow: /superservices/university Disallow: /superservices/moving Disallow: /superservices/loss Disallow: /superservices/bailiffs Disallow: /superservices Disallow: /coronavirus Disallow: /coronavirus/freecatalog Allow: /foreign Allow: /inet Allow: /auto Allow: /1 Allow: /2 Allow: /3 Allow: /4 Allow: /5 Allow: /6 Allow: /7 Allow: /8 Allow: /9 Allow: /structure Allow: /help Allow: /sitemap Allow: /category Allow: /pay Allow: /search$ Allow: /legal-entity Allow: /*landing Allow: /situation Allow: /promo Allow: /entrepreneur Allow: /information Allow: /*/sputnik Allow: /new Allow: /newsearch* Allow: /r Disallow: *?search= Allow: /turbo/ Allow: /group/ Disallow: /59453/1 Allow: /life* Allow: /tls Allow: /dom Allow: /proactive_payments Allow: /vuzonline Allow: /exposure_notification Allow: /goskey Allow: /account_recovery Allow: /browser Allow: /subsidies Allow: /pep Allow: /baby Allow: /fsspservices Allow: /armydelay Allow: /ipoteka Allow: /fancard Allow: /find_service Allow: /molodym Allow: /vuzks Allow: /futurecode Allow: /crt Allow: /stroika Allow: /telecomorgs Allow: /itorgs Allow: /donation Allow: /info_molodym Allow: /exam_places Allow: /socialfund Allow: /cybersecurity Allow: /bugbounty Allow: /vkontakte Allow: /ebs_verification Allow: /zhalobavu Allow: /egrn Allow: /landing Allow: /online-egrn Allow: /bitvarobotov Allow: /mom Allow: /invalidam Allow: /zhalobacontract Allow: /mp_dom Allow: /europrotokol Allow: /job Allow: /fzo Allow: /military Allow: /universal_benefits Allow: /antifraud Disallow: *?*oid_* Allow: /air Allow: /edms-access Allow: /kfh Allow: /large_family Allow: /maternity_capital_payment Allow: /maternity-capital Allow: /mchs Allow: /mchsvaults Allow: /message Allow: /mobile_privacy_policy Allow: /omsk Allow: /social-navigator Allow: /superservices* Allow: /trade Allow: /edg Allow: /edms-admin Allow: /itindustry Allow: /vsc Allow: /vuznavigator Allow: /scammer_protection Allow: /career Allow: /advert Allow: /tax-refund Allow: /spo-online Allow: /ai User-agent: GoogleBot Disallow: *2019_08_09_super_services Allow: /$ Disallow: / Disallow: /paygate Disallow: /*/result Disallow: /*/form Disallow: /*root.betaUrl Disallow: /*payment Disallow: */search?query= Disallow: *attrs.formUrl* Disallow: *root.partnersUrl* Disallow: /situation/migration Disallow: /user Disallow: /feedback Disallow: /situation/migration Disallow: /superservices/birth Disallow: /superservices/university Disallow: /superservices/moving Disallow: /superservices/loss Disallow: /superservices/bailiffs Disallow: /superservices Disallow: /coronavirus Disallow: /coronavirus/freecatalog Allow: /api/cms/ Allow: /inet Allow: /auto Allow: /foreign Allow: /1 Allow: /2 Allow: /3 Allow: /4 Allow: /5 Allow: /6 Allow: /7 Allow: /8 Allow: /9 Allow: /structure Allow: /help Allow: /sitemap Allow: /category Allow: /pay Allow: /search$ Allow: /legal-entity Allow: /*landing Allow: /situation Allow: /promo Allow: /entrepreneur Allow: /information Allow: /*/sputnik Allow: /htdocs Allow: /api/catalog/v3/passports/ Allow: /api/catalog/v3/departments/ Allow: /api/catalog/v3/services/ Allow: /api/catalog/v3/situations/ Allow: /api/cms/v1/news/ Allow: /api/cms/v1/faq/categories/ Allow: /api/cms/v1/footers/EPGUV3_DESK/ Allow: /new Allow: /newsearch* Allow: /r Disallow: */info/1$ Disallow: */info/2$ Disallow: */info/3$ Disallow: */info/4$ Allow: *widgets/prod* Allow: */api/catalog/v3/* Disallow: *?search= Allow: /api/nsi/v1/epgu/detectRegion Allow: */wsapi/* Allow: */health/* Disallow: */api/catalog/v3/srfile/* Allow: *service-link-list-item* Allow: /api/nsi/v1/epgu/region/undefined* Disallow: *?userLang=* Allow: /group/ Disallow: /59453/1 Allow: /life* Allow: /tls Allow: /dom Allow: /proactive_payments Allow: /vuzonline Allow: /exposure_notification Allow: /goskey Allow: /account_recovery Allow: /browser Allow: /subsidies Allow: /pep Allow: /baby Allow: /fsspservices Allow: /armydelay Allow: /ipoteka Allow: /fancard Allow: /find_service Allow: /molodym Allow: /vuzks Allow: /futurecode Allow: /crt Allow: /stroika Allow: /telecomorgs Allow: /itorgs Allow: /donation Allow: /info_molodym Allow: /exam_places Allow: /research Allow: /socialfund Allow: /cybersecurity Allow: /bugbounty Allow: /vkontakte Allow: /ebs_verification Allow: /zhalobavu Allow: /egrn Allow: /landing Allow: /online-egrn Allow: /bitvarobotov Allow: /mom Allow: /invalidam Allow: /zhalobacontract Allow: /mp_dom Allow: /europrotokol Allow: /job Allow: /fzo Allow: /military Allow: /universal_benefits Allow: /antifraud Disallow: *?*oid_* Allow: /air Allow: /edms-access Allow: /kfh Allow: /large_family Allow: /maternity_capital_payment Allow: /maternity-capital Allow: /mchs Allow: /mchsvaults Allow: /message Allow: /mobile_privacy_policy Allow: /omsk Allow: /social-navigator Allow: /superservices* Allow: /trade Allow: /edg Allow: /edms-admin Allow: /itindustry Allow: /vsc Allow: /vuznavigator Allow: /scammer_protection Allow: /career Allow: /advert Allow: /tax-refund Allow: /spo-online Allow: /ai User-agent: * Disallow: *2019_08_09_super_services Allow: /$ Disallow: / Disallow: /paygate Disallow: /*/result Disallow: /*/form Disallow: /*root.betaUrl Disallow: /*payment Disallow: */search?query= Disallow: *attrs.formUrl* Disallow: *root.partnersUrl* Disallow: /situation/migration Disallow: /user Disallow: /feedback Disallow: /situation/migration Disallow: /superservices/birth Disallow: /superservices/university Disallow: /superservices/moving Disallow: /superservices/loss Disallow: /superservices/bailiffs Disallow: /superservices Disallow: /coronavirus Disallow: /coronavirus/freecatalog Allow: /api/cms/ Allow: /inet Allow: /auto Allow: /foreign Allow: /1 Allow: /2 Allow: /3 Allow: /4 Allow: /5 Allow: /6 Allow: /7 Allow: /8 Allow: /9 Allow: /structure Allow: /help Allow: /sitemap Allow: /category Allow: /pay Allow: /search$ Allow: /legal-entity Allow: /*landing Allow: /situation Allow: /promo Allow: /entrepreneur Allow: /information Allow: /*/sputnik Allow: /htdocs Allow: /api/catalog/v3/passports/ Allow: /api/catalog/v3/departments/ Allow: /api/catalog/v3/services/ Allow: /api/catalog/v3/situations/ Allow: /api/cms/v1/news/ Allow: /api/cms/v1/faq/categories/ Allow: /api/cms/v1/footers/EPGUV3_DESK/ Allow: /new Allow: /newsearch* Allow: /r Disallow: */info/1$ Disallow: */info/2$ Disallow: */info/3$ Disallow: */info/4$ Allow: *widgets/prod* Allow: */api/catalog/v3/* Disallow: *?search= Allow: /api/nsi/v1/epgu/detectRegion Allow: */wsapi/* Allow: */health/* Disallow: */api/catalog/v3/srfile/* Allow: *service-link-list-item* Allow: /api/nsi/v1/epgu/region/undefined* Disallow: *?userLang=* Allow: /group/ Disallow: /59453/1 Allow: /life* Allow: /tls Allow: /dom Allow: /proactive_payments Allow: /vuzonline Allow: /exposure_notification Allow: /goskey Allow: /account_recovery Allow: /browser Allow: /subsidies Allow: /pep Allow: /baby Allow: /fsspservices Allow: /armydelay Allow: /ipoteka Allow: /fancard Allow: /find_service Allow: /molodym Allow: /vuzks Allow: /futurecode Allow: /crt Allow: /stroika Allow: /telecomorgs Allow: /itorgs Allow: /donation Allow: /info_molodym Allow: /exam_places Allow: /research Allow: /socialfund Allow: /cybersecurity Allow: /bugbounty Allow: /vkontakte Allow: /ebs_verification Allow: /zhalobavu Allow: /egrn Allow: /landing Allow: /online-egrn Allow: /bitvarobotov Allow: /mom Allow: /invalidam Allow: /zhalobacontract Allow: /mp_dom Allow: /europrotokol Allow: /job Allow: /fzo Allow: /military Allow: /universal_benefits Allow: /antifraud Disallow: *?*oid_* Allow: /air Allow: /edms-access Allow: /kfh Allow: /large_family Allow: /maternity_capital_payment Allow: /maternity-capital Allow: /mchs Allow: /mchsvaults Allow: /message Allow: /mobile_privacy_policy Allow: /omsk Allow: /social-navigator Allow: /superservices* Allow: /trade Allow: /edg Allow: /edms-admin Allow: /itindustry Allow: /vsc Allow: /vuznavigator Allow: /itskills Allow: /scammer_protection Allow: /wedding_invitation Allow: /school Allow: /career Allow: /advert Allow: /tax-refund Allow: /spo-online Allow: /ai Allow: /landings Allow: /select Allow: /champion Clean-param: utm_campaign&utm_source&utm_term&utm_medium&utm_startpage&utm_orderpage&utm_referer&utm_content Clean-param: q&special&from&serviceTargetExtId&p&id&contacts&layer&filter&services&scroll&uin&referrer&view&organization®ion&tab&control&link&pl&categoryCode&rUrl&tid&rid&children&info_4 Sitemap: https:/www.gosuslugi.ru/sitemap/all-sitemap.xml
История проверок
| Дата | Балл | ИИ-ботов видят |
|---|---|---|
| 30 октября в 22:44 | 91 | 12 |
| 15 октября в 23:28 | 71 | 12 |
| 15 октября в 23:23 | 71 | 12 |
Как мы проверяли
Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.
Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.
Другие проверенные сайты
- 91 amdg.ruИИ видят 12 из 12 · 30 окт
- 90 lime-shop.comИИ видят 12 из 12 · 30 окт
- 92 sela.ruИИ видят 12 из 12 · 15 окт
- 93 askent.ruИИ видят 12 из 12 · 30 окт
- 41 sberbank.ruИИ видят 1 из 12 · 30 окт
- 94 pikabu.ruИИ видят 12 из 12 · 30 окт
- 97 ingate.ruИИ видят 12 из 12 · 30 окт
- 30 avito.ruИИ видят 0 из 12 · 30 окт
Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.