Отчёт · 15 октября 2026 г.

Как ИИ-агенты видят zarina.ru

Все 12 проверенных ИИ-ботов могут открыть главную zarina.ru и им это разрешено. Серьёзных проблем не нашли.

Проверена главная: zarina.ru Обновлено 15 октября в 23:47

94/100

Видимость для ИИ-агентов

Доступ для ботов: 40/40
Правила robots.txt: 20/20
Контент без JavaScript: 20/20
Разметка: 7/10
Служебные файлы: 7/10

Главные проблемы

Мелочь
Нет структурированных данных

На главной нет разметки schema.org (JSON-LD). Она помогает ИИ понять, что это за организация и что она предлагает.

Как исправить. Добавьте JSON-LD: Organization или LocalBusiness, для магазина — Product.
Мелочь
Нет llms.txt

Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Бот	robots.txt	Доступ к главной	Ответ сервера
Поисковики
GooglebotGoogle	Разрешеногруппа Googlebot	Видит страницу	200
YandexBotЯндекс	Разрешеногруппа Yandex	Видит страницу	200
BingbotMicrosoft	Разрешенообщее правило	Видит страницу	200
ИИ-поиск
YandexAdditionalBotЯндекс	Разрешеногруппа Yandex	Видит страницу	200
OAI-SearchBotOpenAI	Разрешенообщее правило	Видит страницу	200
Claude-SearchBotAnthropic	Разрешенообщее правило	Видит страницу	200
PerplexityBotPerplexity	Разрешенообщее правило	Видит страницу	200
Агенты по запросу пользователя
ChatGPT-UserOpenAI	Разрешенообщее правило	Видит страницу	200
Claude-UserAnthropic	Разрешенообщее правило	Видит страницу	200
Perplexity-UserPerplexity	Разрешенообщее правило	Видит страницу	200
Обучение моделей
GPTBotOpenAI	Разрешенообщее правило	Видит страницу	200
ClaudeBotAnthropic	Разрешенообщее правило	Видит страницу	200
CCBotCommon Crawl	Разрешенообщее правило	Видит страницу	200
BytespiderByteDance	Разрешенообщее правило	Видит страницу	200
meta-externalagentMeta	Разрешенообщее правило	Видит страницу	200
Google-ExtendedGoogle	Разрешенообщее правило	нет своего робота
Applebot-ExtendedApple	Разрешенообщее правило	нет своего робота

Для сравнения обычный браузер получил: ответ 200, 280 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Без JavaScript274 слов

В браузере337 слов

Контент доступен без JavaScript.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title: Женская одежда в официальном интернет-магазине «ZARINA»
Description: Новые коллекции женской одежды и аксессуаров в официальном интернет-магазине «ZARINA» по выгодным ценам с доставкой по всей России: Москве, Санкт-Петербургу и другим городам.
Язык: ru
Canonical: нет
Schema.org: нет
Meta robots: не задано

Служебные файлы

robots.txt: есть 14023 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot
Sitemap: есть индекс карт, 5 ссылок, указан в robots.txt
llms.txt: нет необязательный файл для языковых моделей

Показать robots.txt

User-Agent: *
Allow: /cart/$
Disallow: /cart/
Disallow: */?*
Allow: */?page=*
Disallow: */*?page*sort
Disallow: /catalog/look/
Disallow: /favorites/
Disallow: /password-recovery/
Disallow: /tracking/
Disallow: /bitrix/
Disallow: /local/
Disallow: */?*digiSearch=
Disallow: */*?q=
Disallow: */?*cpamit_uid=
Disallow: */*?utm_reqid=
Disallow: */*utm_source=
Disallow: */?ORDER_ID=
Disallow: */?order
Disallow: */?dostupno=
Disallow: */?ATTRIBUTES=
Disallow: */?attributes=
Disallow: */?materials=
Disallow: */?availability=
Disallow: */?sizes=
Disallow: */?priceTo=
Disallow: */?priceFrom=
Disallow: */?CONSIST=
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: */index.php
Disallow: /*?SECTION_ID=*
Disallow: /*?PAGEN_2=*
Disallow: /*?tag=*
Disallow: */?MIN_PRICE
Disallow: */?SIZE
Disallow: */?COLOR
Disallow: */?COLLECTION
Disallow: */?fCOLLECTION
Disallow: */*?from=*
Disallow: /*rss
Disallow: */*?sort=*
Disallow: */?*utm_source
Disallow: */*from=adwords
Disallow: */?click_id=
Disallow: /*_openstat
Disallow: */?bxajaxid=
Disallow: */*?*amp
Disallow: */?block=
Disallow: */?term=
Disallow: */?orderid=
Disallow: */?TYPE=
Disallow: */?pageCount=
Disallow: */?uid=
Disallow: */?kb=
Disallow: */?gbraid=
Disallow: */?section_id=
Disallow: */?spm=
Disallow: */?pagecount=
Disallow: */?utm_sourche=
Disallow: */?cto_pld=
Disallow: */?email=
Disallow: /?digiPreview=
Disallow: */?etext=
Disallow: */?text=
Disallow: */?_currency=
Disallow: */?filter
Disallow: */?external_browser_redirect=
Disallow: */?recordsPageCount
Disallow: */?colors=
Disallow: */?giclickid=
Disallow: */?yadclid=
Disallow: /catalog/ex/
Disallow: /?vvizitnice-brand-link
Disallow: /?pm-test-form=
Disallow: /?Search=
Disallow: /?theme=dark
Disallow: /?um_source=
Disallow: /api/
Disallow: /order/
Disallow: */?5=
Disallow: */?price
Disallow: */?fSIZE
Disallow: /?gtm_debug=
Disallow: */?mindbox
Disallow: /?subid=
Disallow: */?fCOLOR
Disallow: */?stat-id=
Disallow: */?gtm_debug=
Disallow: */?gcmes=
Disallow: */?wbraid=
Disallow: */?c=
Disallow: */?sr=
Disallow: */?vvizitnice=
Disallow: */?erid=
Disallow: */?fCOLLECTIO
Disallow: */?recordsPageCount=
Disallow: */?lh_zarina=
Disallow: */?LOAD_MORE=
Disallow: */?mag=
Disallow: */?utm_store=
Disallow: */?type=
Disallow: */*sort=
Disallow: */*PageCount=
Disallow: */*?disableGlobalInfoCollect=
Disallow: */*?utm_type=
Disallow: */*?sub1=
Disallow: */*?utm_referrer_uid=
Disallow: */*?erir=
Disallow: /recycling/home/
Disallow: /recycling/about/
Disallow: /recycling/thanksmonth/
Disallow: /recycling/thanksauthorized/
Disallow: /recycling/moreeco/
Disallow: /style/
Disallow: */new/*
Disallow: */spetsialnoye-predlozheniye/*
Disallow: */last-chance/*
Disallow: */exclusive-online/*
Disallow: */soon/*
Disallow: */obrazy-dlya-svidaniy/*
Disallow: */khity-prodazh/*
Disallow: */obrazy-ot-stilista/*
Disallow: */holiday-mood/*
Disallow: */tol%27ko-online/*
Disallow: */*bxajaxid
Disallow: */*advcake_method
Disallow: */*&ybaip=
Allow: /catalog/new/$
Allow: /man/new/$
Allow: /man/spetsialnoye-predlozheniye/$
Allow: /catalog/spetsialnoye-predlozheniye/$
Allow: /catalog/last-chance/$
Allow: /man/last-chance/$
Allow: /catalog/exclusive-online/$
Allow: /catalog/soon/$
Allow: /man/soon/$
Allow: /catalog/obrazy-dlya-svidaniy/$
Allow: /catalog/30-na-futbolki/$
Allow: /catalog/clothes/khity-prodazh/$
Allow: /catalog/obrazy-ot-stilista/$
Allow: /catalog/holiday-mood/$
Allow: /catalog/tol%27ko-online/$
Allow: /local/components/
Allow: /local/templates/
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/

User-Agent: Yandex
Allow: /cart/$
Disallow: /cart/
Disallow: */?*
Allow: */?page=*
Disallow: */*?page*sort
Disallow: /catalog/look/
Disallow: /favorites/
Disallow: /password-recovery/
Disallow: /tracking/
Disallow: /bitrix/
Disallow: /local/
Disallow: */?*digiSearch=
Disallow: */*?q=
Disallow: */?*cpamit_uid=
Disallow: */*?utm_reqid=
Disallow: */*utm_source=
Disallow: */?ORDER_ID=
Disallow: */?order
Disallow: */?dostupno=
Disallow: */?ATTRIBUTES=
Disallow: */?attributes=
Disallow: */?materials=
Disallow: */?availability=
Disallow: */?sizes=
Disallow: */?priceTo=
Disallow: */?priceFrom=
Disallow: */?CONSIST=
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: */index.php
Disallow: /*?SECTION_ID=*
Disallow: /*?PAGEN_2=*
Disallow: /*?tag=*
Disallow: */?MIN_PRICE
Disallow: */?SIZE
Disallow: */?COLOR
Disallow: */?COLLECTION
Disallow: */?fCOLLECTION
Disallow: */*?from=*
Disallow: /*rss
Disallow: */*?sort=*
Disallow: */?*utm_source
Disallow: */*from=adwords
Disallow: */?click_id=
Disallow: /*_openstat
Disallow: */?bxajaxid=
Disallow: */*?*amp
Disallow: */?block=
Disallow: */?term=
Disallow: */?orderid=
Disallow: */?TYPE=
Disallow: */?pageCount=
Disallow: */?uid=
Disallow: */?kb=
Disallow: */?gbraid=
Disallow: */?section_id=
Disallow: */?spm=
Disallow: */?pagecount=
Disallow: */?utm_sourche=
Disallow: */?cto_pld=
Disallow: */?email=
Disallow: /?digiPreview=
Disallow: */?etext=
Disallow: */?text=
Disallow: */?_currency=
Disallow: */?filter
Disallow: */?external_browser_redirect=
Disallow: */?recordsPageCount
Disallow: */?colors=
Disallow: */?giclickid=
Disallow: */?yadclid=
Disallow: /catalog/ex/
Disallow: /?vvizitnice-brand-link
Disallow: /?pm-test-form=
Disallow: /?Search=
Disallow: /?theme=dark
Disallow: /?um_source=
Disallow: /api/
Disallow: /order/
Disallow: */?5=
Disallow: */?price
Disallow: */?fSIZE
Disallow: /?gtm_debug=
Disallow: */?mindbox
Disallow: /?subid=
Disallow: */?fCOLOR
Disallow: */?stat-id=
Disallow: */?gtm_debug=
Disallow: */?gcmes=
Disallow: */?wbraid=
Disallow: */?c=
Disallow: */?sr=
Disallow: */?vvizitnice=
Disallow: */?erid=
Disallow: */?fCOLLECTIO
Disallow: */?recordsPageCount=
Disallow: */?lh_zarina=
Disallow: */?LOAD_MORE=
Disallow: */?mag=
Disallow: */?utm_store=
Disallow: */?type=
Disallow: */*sort=
Disallow: */*PageCount=
Disallow: */*?disableGlobalInfoCollect=
Disallow: */*?utm_type=
Disallow: */*?sub1=
Disallow: */*?utm_referrer_uid=
Disallow: */*?erir=
Disallow: /recycling/home/
Disallow: /recycling/about/
Disallow: /recycling/thanksmonth/
Disallow: /recycling/thanksauthorized/
Disallow: /recycling/moreeco/
Disallow: /style/
Disallow: */new/*
Disallow: */spetsialnoye-predlozheniye/*
Disallow: */last-chance/*
Disallow: */exclusive-online/*
Disallow: */soon/*
Disallow: */obrazy-dlya-svidaniy/*
Disallow: */khity-prodazh/*
Disallow: */obrazy-ot-stilista/*
Disallow: */holiday-mood/*
Disallow: */tol%27ko-online/*
Disallow: */*bxajaxid
Disallow: */*advcake_method
Disallow: */*&ybaip=
Allow: /catalog/new/$
Allow: /man/new/$
Allow: /man/spetsialnoye-predlozheniye/$
Allow: /catalog/spetsialnoye-predlozheniye/$
Allow: /catalog/last-chance/$
Allow: /man/last-chance/$
Allow: /catalog/exclusive-online/$
Allow: /catalog/soon/$
Allow: /man/soon/$
Allow: /catalog/obrazy-dlya-svidaniy/$
Allow: /catalog/30-na-futbolki/$
Allow: /catalog/clothes/khity-prodazh/$
Allow: /catalog/obrazy-ot-stilista/$
Allow: /catalog/holiday-mood/$
Allow: /catalog/tol%27ko-online/$
Allow: /local/components/
Allow: /local/templates/
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Clean-param: gclid&yclid&ymclid&_openstat&frommarket&utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_email&utm_nooverride&utm_referrer&from&

User-Agent: Googlebot
Allow: /cart/$
Disallow: /cart/
Disallow: */?*
Allow: */?page=*
Disallow: */*?page*sort
Disallow: /catalog/look/
Disallow: /favorites/
Disallow: /password-recovery/
Disallow: /tracking/
Disallow: /bitrix/
Disallow: /local/
Disallow: */?*digiSearch=
Disallow: */*?q=
Disallow: */?*cpamit_uid=
Disallow: */*?utm_reqid=
Disallow: */*utm_source=
Disallow: */?ORDER_ID=
Disallow: */?order
Disallow: */?dostupno=
Disallow: */?ATTRIBUTES=
Disallow: */?attributes=
Disallow: */?materials=
Disallow: */?availability=
Disallow: */?sizes=
Disallow: */?priceTo=
Disallow: */?priceFrom=
Disallow: */?CONSIST=
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: */index.php
Disallow: /*?SECTION_ID=*
Disallow: /*?PAGEN_2=*
Disallow: /*?tag=*
Disallow: */?MIN_PRICE
Disallow: */?SIZE
Disallow: */?COLOR
Disallow: */?COLLECTION
Disallow: */?fCOLLECTION
Disallow: */*?from=*
Disallow: /*rss
Disallow: */*?sort=*
Disallow: */?*utm_source
Disallow: */*from=adwords
Disallow: */?click_id=
Disallow: /*_openstat
Disallow: */?bxajaxid=
Disallow: */*?*amp
Disallow: */?block=
Disallow: */?term=
Disallow: */?orderid=
Disallow: */?TYPE=
Disallow: */?pageCount=
Disallow: */?uid=
Disallow: */?kb=
Disallow: */?gbraid=
Disallow: */?section_id=
Disallow: */?spm=
Disallow: */?pagecount=
Disallow: */?utm_sourche=
Disallow: */?cto_pld=
Disallow: */?email=
Disallow: /?digiPreview=
Disallow: */?etext=
Disallow: */?text=
Disallow: */?_currency=
Disallow: */?filter
Disallow: */?external_browser_redirect=
Disallow: */?recordsPageCount
Disallow: */?colors=
Disallow: */?giclickid=
Disallow: */?yadclid=
Disallow: /catalog/ex/
Disallow: /?vvizitnice-brand-link
Disallow: /?pm-test-form=
Disallow: /?Search=
Disallow: /?theme=dark
Disallow: /?um_source=
Disallow: /api/
Disallow: /order/
Disallow: */?5=
Disallow: */?price
Disallow: */?fSIZE
Disallow: /?gtm_debug=
Disallow: */?mindbox
Disallow: /?subid=
Disallow: */?fCOLOR
Disallow: */?stat-id=
Disallow: */?gtm_debug=
Disallow: */?gcmes=
Disallow: */?wbraid=
Disallow: */?c=
Disallow: */?sr=
Disallow: */?vvizitnice=
Disallow: */?erid=
Disallow: */?fCOLLECTIO
Disallow: */?recordsPageCount=
Disallow: */?lh_zarina=
Disallow: */?LOAD_MORE=
Disallow: */?mag=
Disallow: */?utm_store=
Disallow: */?type=
Disallow: */*sort=
Disallow: */*PageCount=
Disallow: */*?disableGlobalInfoCollect=
Disallow: */*?utm_type=
Disallow: */*?sub1=
Disallow: */*?utm_referrer_uid=
Disallow: */*?erir=
Disallow: /recycling/home/
Disallow: /recycling/about/
Disallow: /recycling/thanksmonth/
Disallow: /recycling/thanksauthorized/
Disallow: /recycling/moreeco/
Disallow: /style/
Disallow: */new/*
Disallow: */spetsialnoye-predlozheniye/*
Disallow: */last-chance/*
Disallow: */exclusive-online/*
Disallow: */soon/*
Disallow: */obrazy-dlya-svidaniy/*
Disallow: */khity-prodazh/*
Disallow: */obrazy-ot-stilista/*
Disallow: */holiday-mood/*
Disallow: */tol%27ko-online/*
Disallow: */*bxajaxid
Disallow: */*advcake_method
Disallow: */*&ybaip=
Allow: /catalog/new/$
Allow: /man/new/$
Allow: /man/spetsialnoye-predlozheniye/$
Allow: /catalog/spetsialnoye-predlozheniye/$
Allow: /catalog/last-chance/$
Allow: /man/last-chance/$
Allow: /catalog/exclusive-online/$
Allow: /catalog/soon/$
Allow: /man/soon/$
Allow: /catalog/obrazy-dlya-svidaniy/$
Allow: /catalog/30-na-futbolki/$
Allow: /catalog/clothes/khity-prodazh/$
Allow: /catalog/obrazy-ot-stilista/$
Allow: /catalog/holiday-mood/$
Allow: /catalog/tol%27ko-online/$
Allow: /local/components/
Allow: /local/templates/
Allow: /local/*.js
Allow: /local/*.css
Allow: /local/*.jpg
Allow: /local/*.jpeg
Allow: /local/*.png
Allow: /local/*.gif
Allow: /bitrix/components/
Allow: /bitrix/cache/
Allow: /bitrix/js/
Allow: /bitrix/templates/
Allow: /bitrix/panel/
Sitemap: https://zarina.ru/sitemap.xml

User-Agent: DISCo Pump
Disallow: /

User-Agent: Wget
Disallow: /

User-Agent: WebZIP
Disallow: /

User-Agent: Teleport Pro
Disallow: /

User-Agent: WebSnake
Disallow: /

User-Agent: Offline Explorer
Disallow: /

User-Agent: Web-By-Mail
Disallow: /

User-Agent: psbot
Disallow: /

User-Agent: gigabot
Disallow: /

User-Agent: Twiceler
Disallow: /

User-Agent: NetinfoBot
Disallow: /

User-Agent: ia_archiver
Disallow: /

Как мы проверяли

Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.

Проверяли с сервера в России. Наш сканер представляется как AgentScanner/1.0 (+http://localhost:3000/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.

Другие проверенные сайты

Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.