Отчёт · 30 октября 2026 г.

Как ИИ-агенты видят mos.ru

7 из 12 ИИ-ботов могут открыть главную mos.ru и им это разрешено. Серьёзных проблем: 2.

Проверена главная: www.mos.ru Обновлено 30 октября в 22:46 Проверок: 2
71/100
Видимость для ИИ-агентов
Доступ для ботов
28/40
Правила robots.txt
16/20
Контент без JavaScript
10/20
Разметка
10/10
Служебные файлы
7/10
можно будет 31 октября в 04:46 Проверить другой сайт →

Главные проблемы

  1. Серьёзно

    ИИ-ассистенты не могут открыть сайт

    Браузеру главная открывается, а ИИ-агентам нет: ChatGPT-User, OAI-SearchBot — заблокирован (ответ 403). Когда пользователь спросит ChatGPT, Claude или Perplexity о вашем сайте, они не смогут его прочитать.

    Как исправить. Найдите правило, которое режет запросы по User-Agent: в WAF, антиботе, настройках хостинга или nginx — и добавьте исключение для нужных ботов.

  2. Серьёзно

    robots.txt закрывает сайт от ИИ-поиска

    Правила запрещают обход главной для ChatGPT-User. Сайт не будет появляться в ссылках и ответах этих сервисов.

    Как исправить. Если это не намеренно, добавьте для этих ботов отдельные группы с «Allow: /» или уберите запрет.

  3. Важно

    Часть контента видна только после JavaScript

    Без JavaScript 399 слов, после рендера — 620 (64%). Остальное ИИ-боты, скорее всего, не увидят.

    Как исправить. Проверьте, какие блоки подгружаются скриптами, и отдавайте важный текст сразу в HTML.

  4. Мелочь

    Боты для обучения моделей заблокированы на уровне сервера

    GPTBot, CCBot, Bytespider — заблокирован (ответ 403). Если это сознательное решение — всё в порядке, на ответы ИИ-поиска это почти не влияет.

    Как исправить. Если блокировка случайная, проверьте правила антибота. Если нет — лучше дополнительно закрыть этих ботов в robots.txt: так правило будет явным.

  5. Мелочь

    Обучение моделей запрещено в robots.txt

    Запрещено для GPTBot, CCBot, Bytespider. Это нормальный выбор, если он сознательный: на видимость в ИИ-поиске он не влияет.

    Как исправить. Ничего не делайте, если хотите запрещать обучение. Если хотите попасть в обучающие данные — разрешите этих ботов.

Ещё 2 замечания
  • Нет Markdown-версии для ИИ-агентов. Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.
  • Нет llms.txt. Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Ботrobots.txtДоступ к главнойОтвет сервера
Поисковики
GooglebotGoogle
Разрешеногруппа Googlebot
Видит страницу
200
YandexBotЯндекс
Разрешеногруппа Yandex
Видит страницу
200
BingbotMicrosoft
Разрешенообщее правило
Видит страницу
200
ИИ-поиск
Разрешеногруппа Yandex
Видит страницу
200
Разрешенообщее правило
Заблокирован
403
Разрешенообщее правило
Видит страницу
200
PerplexityBotPerplexity
Разрешенообщее правило
Видит страницу
200
Агенты по запросу пользователя
Запрещеногруппа ChatGPT-User
Заблокирован
403
Claude-UserAnthropic
Разрешенообщее правило
Видит страницу
200
Perplexity-UserPerplexity
Разрешенообщее правило
Видит страницу
200
Обучение моделей
GPTBotOpenAI
Запрещеногруппа GPTBot
Заблокирован
403
ClaudeBotAnthropic
Разрешенообщее правило
Видит страницу
200
CCBotCommon Crawl
Запрещеногруппа CCBot
Заблокирован
403
BytespiderByteDance
Запрещеногруппа Bytespider
Заблокирован
403
Разрешенообщее правило
Видит страницу
200
Разрешенообщее правило
нет своего робота
Разрешенообщее правило
нет своего робота

Для сравнения обычный браузер получил: ответ 200, 399 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Без JavaScript399 слов
В браузере620 слов

Часть контента — только после JavaScript — бот видит 64% текста.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title
Официальный сайт Мэра Москвы
Description
Новости о Москве и для Москвы из первых уст. Городские услуги, события и советы по самым актуальным вопросам — всё о столице на одном портале. Официальный сайт Мэра и Правительства Москвы mos.ru
Язык
ru
Canonical
https://www.mos.ru/
Schema.org
WebSite, Organization
Meta robots
noyaca

Служебные файлы

robots.txt
есть 43178 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot, ChatGPT-User, GPTBot, CCBot, Bytespider
Sitemap
есть индекс карт, 2055 ссылок, указан в robots.txt
Markdown для агентов
нет на запрос Markdown сайт отдаёт HTML
llms.txt
нет необязательный файл для языковых моделей
Показать robots.txt
Clean-param: Age&AgeName&AgeTo&amp&AoGuid&barCode&Birthday&ceremonyDate&erid&fromCulture&hhtmFrom&id_4&imparedstyle&in_stock&is_gala&muid&nw&onsite_from&onsite_tag&pdf_file&referrer&rUrl&Sex&Sort&sortOrder&sportId&SportName&Sportsmansex&status&tags&title&trk&utm_souce&v&view&yandex-source&rubricId&rub
Clean-param: text&exit&id&from&disableHeader&category&ocid&calltouch_tm&ybaip&scid&onepasswdfill&PAGE_ID10&_e_pi_&quot /uslugi/

User-agent: Yandex
Allow: */event/337206257/
Allow: */event/337208257/
Allow: */event/337215257/
Allow: */event/337219257/
Allow: */event/337224257/
Allow: */event/337226257/
Allow: */event/337239257/
Allow: */event/337240257/
Allow: */event/337241257/
Allow: */event/127001257/
Disallow: /?*
Disallow: */*&action=*
Disallow: */*&print=*
Disallow: */*/district=*
Disallow: */*/pgu=*
Disallow: */*?action=*
Disallow: */*?print=*
Disallow: */*?utm_source=*
Disallow: */*ADD_TO_COMPARE_LIST*
Disallow: */*adfox*
Disallow: */*auth=*
Disallow: */*back_url_admin=*
Disallow: */*back_url=*
Disallow: */*BACK_URL=*
Disallow: */*backurl=*
Disallow: */*BACKURL=*
Disallow: */*bitrix_include_areas=*
Disallow: */*change_password=*
Disallow: */*clear_cache_session=*
Disallow: */*clear_cache=*
Disallow: */*forgot_password=*
Disallow: */*login=*
Disallow: */*logout=*
Disallow: */*ORDER_BY*
Disallow: */*PAGEN*
Disallow: */*print_course=*
Disallow: */*register=*
Disallow: */*search=*
Disallow: */*show_include_exec_time=*
Disallow: */*show_page_exec_time=*
Disallow: */*show_sql_stat=*
Disallow: */*utm_type*
Disallow: */?atc_id=*
Disallow: */?doc=*
Disallow: */?fbclid=*
Disallow: */?FORM=LFACTRE*
Disallow: */?ID=*
Disallow: */?in_stock=false&is_online=false&edition=*
Disallow: */?lang=*
Disallow: */?letter=*
Disallow: */?metro=*
Disallow: */?onsite_molding=*
Disallow: */?onsite_seealso=*
Disallow: */?onsite_seealso=*
Disallow: */?position=*
Disallow: */?printForm=*
Disallow: */?ref=*
Disallow: */?special=N*
Disallow: */?special=Y*
Disallow: */?sphrase_id=*
Disallow: */?undefined=*
Disallow: */?utm_place=*
Disallow: */?utm_referrer=*
Disallow: */?wap*
Disallow: */altmosmvc/api/*
Disallow: */altmosprx*
Disallow: */amp/*
Disallow: */autohistory/result*
Disallow: */bitrix*
Disallow: */carousel*
Disallow: */city/projects/dacha*
Disallow: */city/projects/leto2018*
Disallow: */clinics/?district=*
Disallow: */clinics/?query=*
Disallow: */clinics/?station=*
Disallow: */clinics/?type=*
Disallow: */clinics/*/?type=*
Disallow: */clinics/*/?page=*
Disallow: */CoachOpinions*
Disallow: */coachregister/Home/Search?*
Disallow: */error/*
Disallow: */faq/?q=*
Disallow: */faq/index.php*
Disallow: */knigi/search/?*
Disallow: */local*
Disallow: */m/*
Disallow: */mr_docs*
Disallow: */mr_forum*
Disallow: */mayor/themes/3299/8619050/
Disallow: */mayor/themes/4299/8877050/
Disallow: */news/item/1830073/
Disallow: */news/item/11804073/
Disallow: */news/item/23683073/
Disallow: */news/item/31260073/
Disallow: */news/item/47173073/
Disallow: */news/item/77670073/
Disallow: */news/item/92796073/
Disallow: */news/item/94195073/
Disallow: */news/item/93049073/
Disallow: */news/item/92499073/
Disallow: */news/item/92745073/
Disallow: */news/item/93906073/
Disallow: */news/item/93948073/
Disallow: */news/item/93676073/
Disallow: */news/item/94227073/
Disallow: */news/item/94512073/
Disallow: */news/item/94802073/
Disallow: */news/item/113597073/
Disallow: */news/item/126041073/
Disallow: */news/item/98096073/
Disallow: */news/item/126446073/
Disallow: */news/item/131491073/
Disallow: */news/item/131520073/
Disallow: */news/item/23439073/
Disallow: */news/item/129627073/
Disallow: */news/item/152663073/
Disallow: */news/item/122313073/
Disallow: */news/item/89573073/
Disallow: */news/item/137302073/
Disallow: */news/item/40753073/
Disallow: */pgu/ru/services/index.php*
Disallow: */pgu/ru/services/index.php*
Disallow: */pgu/ru/services/online*
Disallow: */preview*
Disallow: */services/catalog/cat/ru*
Disallow: */shtrafy/receipt*
Disallow: */shtrafy/result*
Disallow: */socmon*
Disallow: */success/*
Disallow: */tiles/*
Disallow: */tmp*
Disallow: */vendor*
Disallow: */vote2023/*
Disallow: *MessageSearch*
Disallow: /.well-known/pgp-key.txt
Disallow: /arenda*?*
Disallow: /arenda-sport*?*
Disallow: /city/projects/covid-19/form/*
Disallow: /city/projects/covid-19/isolation/*
Disallow: /city/projects/covid-19/organization/*
Disallow: /city/projects/covid-19/vaccine/*
Disallow: /city/projects/deg2021/*
Disallow: /city/projects/marafon/*
Disallow: /city/projects/master/*
Disallow: /city/projects/prizy/*
Disallow: /city/projects/servicetest/*
Disallow: /city/projects/stayhome/*
Disallow: /city/projects/studentday/*
Disallow: /city/projects/vuz/compare/?subject=*
Disallow: /city/projects/vuz/compare/?subject=*&pairs=*
Disallow: /city/projects/vuz/search/?speciality=*
Disallow: /city/projects/vuz/search/?bachelor=*
Disallow: /city/projects/vuz/search/?specialist=*
Disallow: /city/projects/vuz/search/?min_ball=*
Disallow: /city/projects/vuz/search/?max_ball=*
Disallow: /city/projects/vuz/search/?war_center=*
Disallow: /city/projects/vuz/search/?name=*
Disallow: /dit/documents/gosudarstvennaya-programma-goroda-moskvy/view/264637220/
Disallow: /editor-rules*
Disallow: /feedback/pos/*
Disallow: /functional-rules*
Disallow: /maxminiapp*
Disallow: /privileged-rules*
Disallow: /user-manual-infosec* 
Disallow: /upload/documents/files/5614/OtchetpoGosydarstvennoiprogrammegorodaMoskviRazvitiecifrovoisrediiinnovaciiza2020god.pdf
Disallow: /upload/documents/files/5614/1PrilojenieOtchetodostijeniinatyralnihpokazatelei.pdf
Disallow: /upload/documents/files/5614/2PrilojenieOtchetofinansovomobespechenii.pdf
Disallow: /upload/documents/files/5614/3PrilojenieOtchetobobemefinansovihresyrsov.pdf
Disallow: /upload/documents/files/5614/4PrilojenieSvedeniyaoprognoznihznacheniyahnatyralnihpokazatelei.pdf
Disallow: /upload/documents/files/5614/5PrilojenieMerigosregylirovaniya.pdf
Disallow: /upload/documents/files/5614/6Otchetopyblichnonormativnihobyazatelstvah.pdf
Disallow: /en/search
Disallow: /ggi/inspectors*
Disallow: /newyearsovety/?id=*
Disallow: /ritual/catalog/*/*/*
Disallow: /search
Disallow: */afisha/event*
Host: https://www.mos.ru/
Sitemap: https://www.mos.ru/sitemap.xml

User-agent: Googlebot
Allow: */event/337206257/
Allow: */event/337208257/
Allow: */event/337215257/
Allow: */event/337219257/
Allow: */event/337224257/
Allow: */event/337226257/
Allow: */event/337239257/
Allow: */event/337240257/
Allow: */event/337241257/
Allow: */event/127001257/
Disallow: /?*
Disallow: */*&action=*
Disallow: */*&print=*
Disallow: */*/district=*
Disallow: */*/pgu=*
Disallow: */*?action=*
Disallow: */*?print=*
Disallow: */*?utm_source=*
Disallow: */*ADD_TO_COMPARE_LIST*
Disallow: */*adfox*
Disallow: */*auth=*
Disallow: */*back_url_admin=*
Disallow: */*back_url=*
Disallow: */*BACK_URL=*
Disallow: */*backurl=*
Disallow: */*BACKURL=*
Disallow: */*bitrix_include_areas=*
Disallow: */*change_password=*
Disallow: */*clear_cache_session=*
Disallow: */*clear_cache=*
Disallow: */*forgot_password=*
Disallow: */*login=*
Disallow: */*logout=*
Disallow: */*ORDER_BY*
Disallow: */*PAGEN*
Disallow: */*print_course=*
Disallow: */*register=*
Disallow: */*search=*
Disallow: */*show_include_exec_time=*
Disallow: */*show_page_exec_time=*
Disallow: */*show_sql_stat=*
Disallow: */*utm_type*
Disallow: */?atc_id=*
Disallow: */?doc=*
Disallow: */?fbclid=*
Disallow: */?FORM=LFACTRE*
Disallow: */?ID=*
Disallow: */?in_stock=false&is_online=false&edition=*
Disallow: */?lang=*
Disallow: */?letter=*
Disallow: */?metro=*
Disallow: */?onsite_molding=*
Disallow: */?onsite_seealso=*
Disallow: */?onsite_seealso=*
Disallow: */?position=*
Disallow: */?printForm=*
Disallow: */?ref=*
Disallow: */?special=N*
Disallow: */?special=Y*
Disallow: */?sphrase_id=*
Disallow: */?undefined=*
Disallow: */?utm_place=*
Disallow: */?utm_referrer=*
Disallow: */?wap*
Disallow: */altmosmvc/api/*
Disallow: */altmosprx*
Disallow: */autohistory/result*
Disallow: */bitrix*
Disallow: */carousel*
Disallow: */city/projects/dacha*
Disallow: */city/projects/leto2018*
Disallow: */clinics/?district=*
Disallow: */clinics/?query=*
Disallow: */clinics/?station=*
Disallow: */clinics/?type=*
Disallow: */clinics/*/?type=*
Disallow: */clinics/*/?page=*
Disallow: */CoachOpinions*
Disallow: */coachregister/Home/Search?*
Disallow: */error/*
Disallow: */faq/?q=*
Disallow: */faq/index.php*
Disallow: */knigi/search/?*
Disallow: */local*
Disallow: */m/*
Disallow: */mr_docs*
Disallow: */mr_forum*
Disallow: */mayor/themes/3299/8619050/
Disallow: */mayor/themes/4299/8877050/
Disallow: */news/item/1830073/
Disallow: */news/item/11804073/
Disallow: */news/item/23683073/
Disallow: */news/item/31260073/
Disallow: */news/item/47173073/
Disallow: */news/item/77670073/
Disallow: */news/item/92796073/
Disallow: */news/item/94195073/
Disallow: */news/item/93049073/
Disallow: */news/item/92499073/
Disallow: */news/item/92745073/
Disallow: */news/item/93906073/
Disallow: */news/item/93948073/
Disallow: */news/item/93676073/
Disallow: */news/item/94227073/
Disallow: */news/item/94512073/
Disallow: */news/item/94802073/
Disallow: */news/item/113597073/
Disallow: */news/item/126041073/
Disallow: */news/item/98096073/
Disallow: */news/item/126446073/
Disallow: */news/item/131491073/
Disallow: */news/item/131520073/
Disallow: */news/item/23439073/
Disallow: */news/item/129627073/
Disallow: */news/item/152663073/
Disallow: */news/item/122313073/
Disallow: */news/item/89573073/
Disallow: */news/item/137302073/
Disallow: */news/item/40753073/
Disallow: */pgu/ru/services/index.php*
Disallow: */pgu/ru/services/index.php*
Disallow: */pgu/ru/services/online*
Disallow: */preview*
Disallow: */services/catalog/cat/ru*
Disallow: */shtrafy/receipt*
Disallow: */shtrafy/result*
Disallow: */socmon*
Disallow: */success/*
Disallow: */tiles/*
Disallow: */tmp*
Disallow: */vendor*
Disallow: */vote2023/*
Disallow: *MessageSearch*
Disallow: *onsite_from*
Disallow: /.well-known/pgp-key.txt
Disallow: /arenda*?*
Disallow: /arenda-sport*?*
Disallow: /city/projects/covid-19/form/*
Disallow: /city/projects/covid-19/isolation/*
Disallow: /city/projects/covid-19/organization/*
Disallow: /city/projects/covid-19/vaccine/*
Disallow: /city/projects/deg2021/*
Disallow: /city/projects/marafon/*
Disallow: /city/projects/master/*
Disallow: /city/projects/prizy/*
Disallow: /city/projects/servicetest/*
Disallow: /city/projects/stayhome/*
Disallow: /city/projects/studentday/*
Disallow: /city/projects/vuz/compare/?subject=*
Disallow: /city/projects/vuz/compare/?subject=*&pairs=*
Disallow: /city/projects/vuz/search/?speciality=*
Disallow: /city/projects/vuz/search/?bachelor=*
Disallow: /city/projects/vuz/search/?specialist=*
Disallow: /city/projects/vuz/search/?min_ball=*
Disallow: /city/projects/vuz/search/?max_ball=*
Disallow: /city/projects/vuz/search/?war_center=*
Disallow: /city/projects/vuz/search/?name=*
Disallow: /dit/documents/gosudarstvennaya-programma-goroda-moskvy/view/264637220/
Disallow: /editor-rules*
Disallow: /feedback/pos/*
Disallow: /functional-rules*
Disallow: /maxminiapp*
Disallow: /privileged-rules*
Disallow: /user-manual-infosec*
Disallow: /upload/documents/files/5614/OtchetpoGosydarstvennoiprogrammegorodaMoskviRazvitiecifrovoisrediiinnovaciiza2020god.pdf
Disallow: /upload/documents/files/5614/1PrilojenieOtchetodostijeniinatyralnihpokazatelei.pdf
Disallow: /upload/documents/files/5614/2PrilojenieOtchetofinansovomobespechenii.pdf
Disallow: /upload/documents/files/5614/3PrilojenieOtchetobobemefinansovihresyrsov.pdf
Disallow: /upload/documents/files/5614/4PrilojenieSvedeniyaoprognoznihznacheniyahnatyralnihpokazatelei.pdf
Disallow: /upload/documents/files/5614/5PrilojenieMerigosregylirovaniya.pdf
Disallow: /upload/documents/files/5614/6Otchetopyblichnonormativnihobyazatelstvah.pdf
Disallow: /en/search
Disallow: /ggi/inspectors*
Disallow: /newyearsovety/?id=*
Disallow: /ritual/catalog/*/*/*
Disallow: /search
Disallow: */afisha/event*

User-agent: 01h4x.com
Disallow: /

User-agent: 360Spider
Disallow: /

User-agent: 404checker
Disallow: /

User-agent: 404enemy
Disallow: /

User-agent: 801egs
Disallow: /

User-agent: Abonti
Disallow: /

User-agent: Aboundex
Disallow: /

User-agent: Aboundexbot
Disallow: /

User-agent: Acunetix
Disallow: /

User-agent: ADmantX
Disallow: /

User-agent: adscanner
Disallow: /

User-agent: AdsTxtCrawlerTP
Disallow: /

User-agent: AfD-Verbotsverfahren
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: AIBOT
Disallow: /

User-agent: AiHitBot
Disallow: /

User-agent: Aipbot
Disallow: /

User-agent: Alexibot
Disallow: /

User-agent: ALittle
Disallow: /

User-agent: Client
Disallow: /

User-agent: Alligator
Disallow: /

User-agent: AllSubmitter
Disallow: /

User-agent: AlphaBot
Disallow: /

User-agent: Anarchie
Disallow: /

User-agent: Anarchy
Disallow: /

User-agent: Anarchy99
Disallow: /

User-agent: Ankit
Disallow: /

User-agent: Anthill
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Apexoo
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: arquivo-web-crawler
Disallow: /

User-agent: arquivo.pt
Disallow: /

User-agent: Aspiegel
Disallow: /

User-agent: ASPSeek
Disallow: /

User-agent: Asterias
Disallow: /

User-agent: Atomseobot
Disallow: /

User-agent: Attach
Disallow: /

User-agent: autoemailspider
Disallow: /

User-agent: awario.com
Disallow: /

User-agent: AwarioBot
Disallow: /

User-agent: AwarioRssBot
Disallow: /

User-agent: AwarioSmartBot
Disallow: /

User-agent: BackDoorBot
Disallow: /

User-agent: Backlink-Ceck
Disallow: /

User-agent: backlink-check
Disallow: /

User-agent: BacklinkCrawler
Disallow: /

User-agent: BackStreet
Disallow: /

User-agent: BackWeb
Disallow: /

User-agent: Badass
Disallow: /

User-agent: Bandit
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: BatchFTP
Disallow: /

User-agent: Battleztar
Disallow: /

User-agent: Bazinga
Disallow: /

User-agent: BBBike
Disallow: /

User-agent: BDCbot
Disallow: /

User-agent: BDFetch
Disallow: /

User-agent: BetaBot
Disallow: /

User-agent: Bigfoot
Disallow: /

User-agent: Bitacle
Disallow: /

User-agent: Black
Disallow: /

User-agent: Hole
Disallow: /

User-agent: Blackboard
Disallow: /

User-agent: BlackWidow
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: Blow
Disallow: /

User-agent: BlowFish
Disallow: /

User-agent: Boardreader
Disallow: /

User-agent: Bolt
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: Brandprotect
Disallow: /

User-agent: Brandwatch
Disallow: /

User-agent: Buck
Disallow: /

User-agent: Buddy
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: BuiltWith
Disallow: /

User-agent: Bullseye
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: BuzzSumo
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: cah.io.community
Disallow: /

User-agent: Calculon
Disallow: /

User-agent: CATExplorador
Disallow: /

User-agent: CazoodleBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Cegbfeieh
Disallow: /

User-agent: Censyslnspect
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: checkl.exe
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: CheTeam
Disallow: /

User-agent: ChinaClaw
Disallow: /

User-agent: Chlooe
Disallow: /

User-agent: Citoid
Disallow: /

User-agent: Claritybot
Disallow: /

User-agent: clark-crawler
Disallow: /

User-agent: Cliqzbot
Disallow: /

User-agent: Cloud
Disallow: /

User-agent: mapping
Disallow: /

User-agent: coccocbot
Disallow: /

User-agent: Cocolyzebot
Disallow: /

User-agent: CODE87
Disallow: /

User-agent: Cogentbot
Disallow: /

User-agent: cognitiveseo
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Collector
Disallow: /

User-agent: com.plumanalytics
Disallow: /

User-agent: Copier
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: Copyscape
Disallow: /

User-agent: Cosmos
Disallow: /

User-agent: Craftbot
Disallow: /

User-agent: crawl.sogou.com
Disallow: /

User-agent: crawler.feedback
Disallow: /

User-agent: crawler4j
Disallow: /

User-agent: Crawling
Disallow: /

User-agent: at
Disallow: /

User-agent: Home
Disallow: /

User-agent: Project
Disallow: /

User-agent: CrazyWebCrawler
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: CrunchBot
Disallow: /

User-agent: CSHttp
Disallow: /

User-agent: Curious
Disallow: /

User-agent: Custo
Disallow: /

User-agent: CyotekWebCopy
Disallow: /

User-agent: DatabaseDriverMysqli
Disallow: /

User-agent: DataChaOs
Disallow: /

User-agent: dataforseo.com
Disallow: /

User-agent: dataforseobot
Disallow: /

User-agent: DBLBot
Disallow: /

User-agent: demandbase-bot
Disallow: /

User-agent: Demon
Disallow: /

User-agent: Deusu
Disallow: /

User-agent: Devil
Disallow: /

User-agent: Digincore
Disallow: /

User-agent: DigitalPebble
Disallow: /

User-agent: Dllbot
Disallow: /

User-agent: Dirbuster
Disallow: /

User-agent: Disco
Disallow: /

User-agent: Discobot
Disallow: /

User-agent: Discoverybot
Disallow: /

User-agent: Dispatch
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: DnBCrawler-Analytics
Disallow: /

User-agent: DnyzBot
Disallow: /

User-agent: DomainAppender
Disallow: /

User-agent: DomainCrawler
Disallow: /

User-agent: Domains
Disallow: /

User-agent: Project
Disallow: /

User-agent: DomainSigmaCrawler
Disallow: /

User-agent: domainsproject.org
Disallow: /

User-agent: DomainStatsBot
Disallow: /

User-agent: DomCopBot
Disallow: /

User-agent: Dotbot
Disallow: /

User-agent: Download
Disallow: /

User-agent: Wonder
Disallow: /

User-agent: Dragonfly
Disallow: /

User-agent: Drip
Disallow: /

User-agent: DSearch
Disallow: /

User-agent: DTS
Disallow: /

User-agent: Agent
Disallow: /

User-agent: EasyDL
Disallow: /

User-agent: Ebingbong
Disallow: /

User-agent: eCatch
Disallow: /

User-agent: ECCP/1.0
Disallow: /

User-agent: Ecxi
Disallow: /

User-agent: EirGrabber
Disallow: /

User-agent: EMail
Disallow: /

User-agent: Siphon
Disallow: /

User-agent: EMail
Disallow: /

User-agent: Wolf
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: evc-batch
Disallow: /

User-agent: Evil
Disallow: /

User-agent: Exabot
Disallow: /

User-agent: Express
Disallow: /

User-agent: WebPictures
Disallow: /

User-agent: ExtLinksBot
Disallow: /

User-agent: Extractor
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: Extreme
Disallow: /

User-agent: Picture
Disallow: /

User-agent: Finder
Disallow: /

User-agent: EyeNetlE
Disallow: /

User-agent: Ezooms
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: facebookscraper
Disallow: /

User-agent: FDM
Disallow: /

User-agent: FemtosearchBot
Disallow: /

User-agent: FHscan
Disallow: /

User-agent: Fimap
Disallow: /

User-agent: FlashGet
Disallow: /

User-agent: Flunky
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: Freeuploader
Disallow: /

User-agent: FrontPage
Disallow: /

User-agent: Fuzz
Disallow: /

User-agent: FyberSpider
Disallow: /

User-agent: Fyrebot
Disallow: /

User-agent: G-i-g-a-b-o-t
Disallow: /

User-agent: GalaxyBot
Disallow: /

User-agent: Genieo
Disallow: /

User-agent: GermCrawler
Disallow: /

User-agent: Getintent
Disallow: /

User-agent: GetRight
Disallow: /

User-agent: GetWeb
Disallow: /

User-agent: Gigabot
Disallow: /

User-agent: Go-Ahead-Got-It
Disallow: /

User-agent: GolZilla
Disallow: /

User-agent: gopher
Disallow: /

User-agent: Gotit
Disallow: /

User-agent: GoZilla
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: Grabber
Disallow: /

User-agent: GrabNet
Disallow: /

User-agent: Grafula
Disallow: /

User-agent: GrapeFX
Disallow: /

User-agent: GrapeshotCrawler
Disallow: /

User-agent: GridBot
Disallow: /

User-agent: GT::
Disallow: /

User-agent: WWW
Disallow: /

User-agent: Haansoft
Disallow: /

User-agent: HaosouSpider
Disallow: /

User-agent: Harvest
Disallow: /

User-agent: Havij
Disallow: /

User-agent: HEADMasterSEO
Disallow: /

User-agent: Heritrix
Disallow: /

User-agent: heritrix
Disallow: /

User-

История проверок

ДатаБаллИИ-ботов видят
30 октября в 22:46717
15 октября в 23:31727

Как мы проверяли

Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.

Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.

Другие проверенные сайты

Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.