Как ИИ-агенты видят ozon.ru
ozon.ru закрыт антибот-защитой от любых автоматических клиентов: ни один из 12 ИИ-ботов не получил страницу. Поисковики, вероятно, проходят по IP-адресам.
- Доступ для ботов
- 0/40
- Правила robots.txt
- 20/20
- Контент без JavaScript
- 0/20
- Разметка
- 4/10
- Служебные файлы
- 3/10
Главные проблемы
-
Серьёзно
Сайт закрыт от любых автоматических клиентов
Защита сайта отказывает и программным запросам (ответ 403), и браузеру без интерфейса (ответ 403). ИИ-агенты, которые открывают страницы по запросу пользователя, почти наверняка тоже получают отказ. Поисковых роботов такие системы обычно пропускают по IP-адресам — это мы проверить не можем.
Как исправить. Если ИИ-ассистенты должны читать сайт, добавьте их в исключения антибота. У крупных систем защиты есть списки проверенных ботов (verified bots).
Доступ по ботам
Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.
| Бот | robots.txt | Доступ к главной | Ответ сервера |
|---|---|---|---|
| Поисковики | |||
GooglebotGoogle |
Разрешеногруппа Googlebot |
Упирается в проверку антибота |
403 |
YandexBotЯндекс |
Разрешеногруппа Yandex |
Упирается в проверку антибота |
403 |
BingbotMicrosoft |
Разрешенообщее правило |
Упирается в проверку антибота |
403 |
| ИИ-поиск | |||
YandexAdditionalBotЯндекс |
Разрешеногруппа Yandex |
Упирается в проверку антибота |
403 |
OAI-SearchBotOpenAI |
Разрешенообщее правило |
Упирается в проверку антибота |
403 |
Claude-SearchBotAnthropic |
Разрешенообщее правило |
Упирается в проверку антибота |
403 |
PerplexityBotPerplexity |
Разрешенообщее правило |
Упирается в проверку антибота |
403 |
| Агенты по запросу пользователя | |||
ChatGPT-UserOpenAI |
Разрешенообщее правило |
Упирается в проверку антибота |
403 |
Claude-UserAnthropic |
Разрешенообщее правило |
Упирается в проверку антибота |
403 |
Perplexity-UserPerplexity |
Разрешенообщее правило |
Упирается в проверку антибота |
403 |
| Обучение моделей | |||
GPTBotOpenAI |
Разрешенообщее правило |
Упирается в проверку антибота |
403 |
ClaudeBotAnthropic |
Разрешенообщее правило |
Упирается в проверку антибота |
403 |
CCBotCommon Crawl |
Разрешенообщее правило |
Упирается в проверку антибота |
403 |
BytespiderByteDance |
Разрешенообщее правило |
Заблокирован |
403 |
Разрешенообщее правило |
Упирается в проверку антибота |
403 |
|
Google-ExtendedGoogle |
Разрешенообщее правило |
нет своего робота |
|
Applebot-ExtendedApple |
Разрешенообщее правило |
нет своего робота |
|
Для сравнения обычный браузер получил: ответ 403.
JavaScript: что видит бот без браузера
GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил бот, со страницей после рендера в браузере.
Не удалось сравнить.
Разметка главной
Так главную видит бот — без JavaScript.
- Title
- Antibot Captcha
- Description
- нет
- Язык
- ru
- Canonical
- нет
- Schema.org
- нет
- Meta robots
- не задано
Служебные файлы
- robots.txt
- есть 12940 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot
- Sitemap
- нет ответ 403
- Markdown для агентов
- нет на запрос Markdown сайт отдаёт HTML
- llms.txt
- нет необязательный файл для языковых моделей
Показать robots.txt
User-agent: Yandex ## lang ## Disallow: /*?hl= ## Custom_rules ## Disallow: /ai/share* Disallow: /aiConversation* Allow: /category/*/?miniapp=supermarket Allow: /highlight/*/?miniapp=supermarket Disallow: /app-com/ Disallow: */likezone-100986204/* Disallow: /achievements/ Disallow: /search/ Disallow: /% Disallow: /*.aspx Disallow: /*.cfm Disallow: /*.html Disallow: /*catalog_select Disallow: /*_catalog/ Disallow: /*?context= Disallow: /action/*/? Disallow: /auth/ Disallow: /amp/ Disallow: /brand/[0-9]+$/ Disallow: /brand/*/category Disallow: /collection/ Disallow: /category/*/sub$ Disallow: /category/*/product$ Disallow: /category/*= Disallow: /category/*? Disallow: /category/smt- Disallow: /my/set Disallow: /my/chat Allow: /category/*/?page= Disallow: /context/client_opinion/ Disallow: /flashsale Disallow: /my/favorites/shared* Disallow: /ozonid Disallow: /o/ Disallow: /publisher/*/category Disallow: /publisher/*= Disallow: /publisher/*? Disallow: /series/ Disallow: /seller/*/profile Disallow: /seller/*/*text= Disallow: /reviews/*/*text= Disallow: /nuxt Disallow: /webapi/ Disallow: /ozonid/account Disallow: /travel/flight/search Disallow: /travel/accountMergeAuth Disallow: /travel/corporate/form/ Disallow: /travel/railway/search Disallow: /travel/hotels/search Disallow: /travel/tours/search Disallow: /travel/guides Disallow: /travel/hotels/page Disallow: /travel/*? Disallow: /travel/routes Disallow: */href/ Disallow: */buyAgain/ Disallow: /social/tags/ Disallow: /my/travel/favorites ## Single_pages ## Disallow: /context/cart Disallow: /context/compare Disallow: /context/favourites Disallow: /context/login Disallow: /context/myadvice Disallow: /context/orderdone Disallow: /context/orderlist Disallow: /highlight/*?* ##Delete## Disallow: /club/article/trendy-pitaniya-segodnya-i-zavtra-1619960/ Disallow: /club/article/papy-v-instagrame-5-blogov-ob-ottsovstve-bez-filtrov-359628/ Disallow: /club/article/kak-otkryt-punkt-vydachi-zakazov-ozon-48321/ Disallow: /club/article/rassrochka-na-ozon-kak-oformit-46908/ Disallow: /brand/sdelano-v-respublike-belarus-100096910/ ## Global ## Disallow: /brand/global-27923354 Disallow: /series/global-136263489 Disallow: /seller/global-4279 Disallow: /brand/global-87313963 Disallow: /seller/ozon-global-shop-140981 Disallow: /geo/sankt-peterburg/*00000000/ ## Clean-param ## Clean-param: utm&ref&partner&advert&stat&page&from&_bctx&partneragentid&sort&brand&type&code&gsaid&_gs_ref&_gs_cttl&asb&sh&tab&page_key Clean-param: hs /context/detail/id Clean-param: hs /product/ Clean-param: product_id /search/ Clean-param: asb2&actor&ID&carier&CID&_&dimentionn&material&sex2&opticalpower&item&comm&cid&userid&partnerAgentId&ectx&subid2&pid&is_retargeting&sub_id&rich&c&gclsrc&keywords&af_click_lookback Clean-param: hs&bundle&utm_content&utm_source&utm_medium&utm_term&tab&ads_part_id&asb2&deny_category_prediction&hideEmail&token&shortlink&is_supermarket&vqWTa&gbraid&channel&seller_id&context&sku&layout_container&layout_page_index&addrbookid&pp&ppex&prv®ular&google_aid&android_id&clickid&partnerId&key&step&routes&dates&ServiceClass&Dlts&interface&HzcTd&fr&useRedirect&fromSku&price&is_ozon_delivery&point&order&redirect_query&classCodes&fareBasis Clean-param: clid&shipment&posting&group&subid&subid1&newpartner&sa&ved&pvid&utm_partner&a&subscribe&action&bid&img&partnerAgentid&artner&partner-info21&cvredirect&changeCurrency&gilmour&iitt&source&nid&hid&track&sub_id2&partne&isspecialprice&russianlanguage&GV7E6uSmart_Books&ncid&isbn&parthner&userstyle&bt&gclid&partnerid&atm_marketing&apsource&CgLEo&cstrackid&ScpjX&hyperid&grhow&pa&perehod&show-uid&partner_baby_club&filtersizehght&sexmaster&reviewsVariantMode Clean-param: lfrom&rcode&reviewId&reviewPid&is_retarget&login&reviewsFilters&addressbook_delivery_method_id&addressbook_id&create_address&keywor&keywo&buffer_share&parner&sms_ss&at_xt&chelovekci&Partner&tl&d079e63c&parther&kamnevn&martovskaya&utm_brand&p&qxpid&parnter&refresh&af_dp&partnar&DStOE&smartleads_src&smartleads_pid&smartleads_sid&category&isdiscount&filter&flock&pcat&ptype&fromapp&xcode&af_adset&areaId&AKNwC&route&XyBAL&YLTyO&dcWNo&dqYsQ&foreapp&id Clean-param: orderId&pORVJ&pzkzw&qty&ytixn&vw&src&deep_link_value&message&RedirectURL&patner&2851ee80&g&fid&prdct&pt&no_js&widht&height&timezone&partnerizd_vk&reviewVid&merchant&acmode&chucktype&rating&new&features&color&bests&store&marketingcode&constructivefeatures&anons&is_discounted&modesoperation&sale&powervcol&security&newperiod&edition&foreignlanguage&movie&scid&writer&agesport&brakerear&framesize&brakefront&materialframe&biketype&wheeldiameter&sexvelo Clean-param: sporttype&forktype&suspension&numsprocketsystem&numsprocketcassette&pedaltype&floatage&age&aspectratio&year&director&sound&personage®ion&subtitles&captypecol&materialfunction&country&destination&lxw&fillermaterial&mount&powerv&purpose&ages&dieteticfood&animalsize&authorwork&tastetype&packagetype&recommendations&holidays&kit&ageconsumer&os&isdigital&packing&platform&statuette&publisher&seria&connector&intsource&pointId&keyword&elire_ru&bVhfJ&product Clean-param: qXnPE&gcmes&gcmlg&idfa&number&bYjrL&af_reengagement_window&af_c_id&xLqkn&tcrrb&ke&filtersizeru&BrMsF&Children&Infants&fref&dti&ai&utm_c&fromprt_xml_facet&content&vero_id&vero_conv&click_id&bg&fbclid&start&VkrMN&ta&gcl&yEFsD&5f24edbd&tta&description-tab&gcli&weaponstoy&utm_cont&_bct&part&partner_potystorony_books&rimwidth&pcd&partn&pencaseview&utm_&ponymobook&itemDetail&filmpurpose&upsvolume&interfaces&coffeemakertype&coffeebrewtypeµwavemodes Clean-param: managementtype&scalestype&units&functions&gpu&cpufamily&socket&cpuline&typeram&upspower&cookingprograms&location_audio&areause2&skintype&agerange¬discounted&pureetype&sortfolders&printformat&pentype&accpurpose&connectors&formfactor&dustcollectortype&nozzlestype&rigidity&sheetsize&exactmodels&casekind&feedsetup&animalclothes&animalseason&animalclothessize&period&maintheme&num&ageos&embroiderytype&subtype&sex&penform&bctx&simpleapparelcollection Clean-param: russiansizeshoes&home_board&mobile_style&styledesign&utmsource&utmmedium&bvi2009&schweik&taste&agb77&targetUrl&8f401453&inside_admin&av&category_id&lang¢erholediameter&rimdiameter&offset&diameter&loadindex&materialsingle&numhole&season&sizesport&typerim&utm_medi&dclid&skrap_9&best_hit&epi&utm_so&size&vehicle&CFJxM&beauty&zDjSb&Tkwjl&af_ad>&newDesign&lpt&orderNumber&wiWIV&r&actual-format&banner-sizes&banner-test-tags&clickX&clickY&format-type Clean-param: pcode-active-testids&pcodever&stat-id&test-tag&width&seller&startsku&ageo&bx_sender_conversion_id<clid&bagcategory&PAGEN_1&PAGEN_2&PAGEN_3&PAGEN_4&backurl&newfeatures&typefloor&typeheating&innermaterial&swingkind&ininterface&interfaceout&setkind&berrieskind&tyreheight&pastaadd&bouncemode&wallmount&viewprints&lookinside&gamestype&technologymatrix&partnersearch&giftrec&aging&typesport&areause_healthandbeauty&skindestination&texture&featuresconstitution Clean-param: bound_cleaned&russiansizeclothes&split_address&path&product_id&QIBvU&byeducationalmaterialtype&bysubject&modelclothing&filters_key&commercialtype&orthopedicsize&shortagetype&platforms&driedfruitskind&search&screenresolution&tvtuner&structure&colorbase&dogsbreed&WGEEI&classificationpasta&jewerlymodel&wwsize&oaCRe&ifwFi&form&pastatype&effect&powerw&paymentToken&heightsetup&typehair&UHChG&media&dCsRE&toystheme&delete&TgMQX&cardkind&massagekind&FYsHA&MlSFv&sDgSP Clean-param: carseatinstalltype&citytransport&url&nmtOR&exactmodelspump&deny_type_prediction&usBnu&specialtech&license&typeapparel&location_room&kMxPF&init&lat&long&switchTab&split_key&FRES&I&progdesc&referer1&referer2&compid&site&SIZEN_1&POLL_ID&SID&act&filter[category]&filter[os]&q&go&alias&bannerId¶m&by&chsph&ARCHIVE&sphid&showprog&discount_code&ndcn&showall&singleOID&preview&COMPANY_ID&aid&datetime&hash&event_type&prodid&added&block&position&view_type&MESS_ID&THREAD Clean-param: OPTION_ID&RCID&ORDER_ID&adv&buy&quantity&dtype&f&query&find_id&find_category_id&find_text&flt_TYPE&flt_PERIOD&forgot_password&noreg&clear&referer4&referer5&cc&logout&change_password&checkword&open&x&y&print&printable&referer3&where&show&letter&company&xnpe_cmp&k50id&musickind&filtersizeacs&style&eusize&accessoriesjewelrykind&uncheck&embeddedram&stovecompatibility&gref&organization&isbest&treespecies&k&keyw&lsOug&forceSwitch Clean-param: checkIn&checkOut&cityOrRegionId&hotelId&tf_state&category_was_predicted&from_global&text&avtc&avte&avts&from_sku&from_url&oos_search&utm_campaign&&from_sku&oos_search&sh&requestId&searchRawQuery&NameLocation&fromCity&night&nightRound&startDate&toCountry&tourId&dayRound&dimensionshort&miniapp&sorting&erid&prev_collection&_fr&campaignId Clean-param: source_caller&opened&af_keywords&att&share&rr1&pge&page_key&promocode&in&reviewVuuid&_rr&at&rel_scan&__rr&pgid&itemId&af_xp&selectedExpressCategory&reviewPuuid&utm_mid&suggestion_type&force_spell&utm_medim&v&utm_mid&utm_medim&haad&Erid&products_subpage&utm_erid&clckid&yabizcmpgn&strollermat&adrclid&short&abt_att&undefined&achievement_id&short&title&utm_text&reviewUuid&is_apparel_size_selected&term&is_apparel_size_selected&utm_text&hideable_rating User-agent: Googlebot ## lang ## Disallow: /*?hl= ## Custom_rules ## Disallow: /ai/share* Disallow: /aiConversation* Allow: /category/supermarket-25000/review/ Allow: /category/supermarket-25000/*/review/ Disallow: /category/supermarket-25000/*/ Allow: /highlight/*/?miniapp=supermarket Allow: /category/*/?miniapp=supermarket Disallow: /app-com/ Disallow: */likezone-100986204/* Disallow: /achievements/ Disallow: /search/ Disallow: /category/*/?page=*&tf_state Disallow: /% Disallow: /*.aspx Disallow: /*.cfm Disallow: /*.html Disallow: /*catalog_select Disallow: /*_catalog/ Disallow: /action/*/? Disallow: /auth/ Disallow: /brand/[0-9]+$/ Disallow: */add-to-cart-modal/ Disallow: /collection/ Disallow: /seller/*/*text= Disallow: /reviews/*/*text= Disallow: /video Allow: /category/*/?page= Disallow: /context/client_opinion/ Disallow: /flashsale Disallow: /modal/ Disallow: /my/chat Disallow: /ozonid Disallow: /o/ Disallow: /series/ Disallow: /seller/*/profile Disallow: /nuxt Disallow: /webapi/ Disallow: /ozonid/account Disallow: /travel/flight/search Disallow: /travel/accountMergeAuth Disallow: /travel/corporate/form/ Disallow: /travel/railway/search Disallow: /travel/hotels/search Disallow: /travel/tours/search Disallow: /my/favorites/shared* Disallow: /travel/guides Disallow: /travel/hotels/page Disallow: /travel/*? Disallow: /travel/routes Disallow: */href/ Disallow: */buyAgain/ Disallow: /social/tags/ Disallow: /my/travel/favorites ## Single_pages ## Disallow: /context/cart Disallow: /context/compare Disallow: /context/favourites Disallow: /context/login Disallow: /context/myadvice Disallow: /context/orderdone Disallow: /context/orderlist Disallow: /highlight/*?* ## Global ## Disallow: /brand/global-27923354 Disallow: /series/global-136263489 Disallow: /seller/global-4279 Disallow: /brand/global-87313963 Disallow: /seller/ozon-global-shop-140981 ##Delete## Disallow: /brand/sdelano-v-respublike-belarus-100096910/ User-agent: * ## lang ## Disallow: /*?hl= ## Custom_rules ## Disallow: /ai/share* Disallow: /aiConversation* Disallow: /app-com/ Disallow: */likezone-100986204/* Disallow: /achievements/ Disallow: /% Disallow: /*.aspx Disallow: /*.cfm Disallow: /*.html Disallow: /*catalog_select Disallow: /*_catalog/ Disallow: /*?context= Disallow: /action/*/? Disallow: /amp/ Disallow: /auth/ Disallow: /brand/*/category Disallow: /collection/ Disallow: /category/*/sub$ Disallow: /category/*/product$ Disallow: /category/smt- Disallow: /my/set Disallow: /my/chat Allow: /category/*/?page= Disallow: /context/client_opinion/ Disallow: /flashsale Disallow: /ozonid Disallow: /o/ Disallow: /publisher/*/category Disallow: /search Disallow: /series/ Disallow: /seller/*/profile Disallow: /seller/*/*text= Disallow: /reviews/*/*text= Disallow: /nuxt Disallow: /my/favorites/shared* Disallow: /webapi/ Disallow: /ozonid/account Disallow: /travel/flight/search Disallow: /travel/accountMergeAuth Disallow: /travel/corporate/form/ Disallow: /travel/railway/search Disallow: /travel/hotels/search Disallow: /travel/tours/search Disallow: /travel/guides Disallow: /travel/hotels/page Disallow: /travel/*? Disallow: /travel/routes Disallow: */href/ Disallow: */buyAgain/ Disallow: /social/tags/ Disallow: /my/travel/favorites ## Single_pages ## Disallow: /context/cart Disallow: /context/compare Disallow: /context/favourites Disallow: /context/login Disallow: /context/myadvice Disallow: /context/orderdone Disallow: /context/orderlist Disallow: /highlight/*?* Allow: /highlight/*/?miniapp=supermarket ## Global ## Disallow: /brand/global-27923354 Disallow: /series/global-136263489 Disallow: /seller/global-4279 Disallow: /brand/global-87313963 Disallow: /seller/ozon-global-shop-140981 ##Delete## Disallow: /brand/sdelano-v-respublike-belarus-100096910/
История проверок
| Дата | Балл | ИИ-ботов видят |
|---|---|---|
| 30 октября в 22:43 | 27 | 0 |
| 15 октября в 23:27 | 26 | 0 |
| 15 октября в 23:21 | 20 | 0 |
Как мы проверяли
Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.
Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.
Другие проверенные сайты
- 27 ekonika.ruИИ видят 0 из 12 · 30 окт
- 30 avito.ruИИ видят 0 из 12 · 30 окт
- 24 snowqueen.ruИИ видят 0 из 12 · 30 окт
- 24 lamoda.ruИИ видят 0 из 12 · 30 окт
- 41 sberbank.ruИИ видят 1 из 12 · 30 окт
- 94 pikabu.ruИИ видят 12 из 12 · 30 окт
- 97 ingate.ruИИ видят 12 из 12 · 30 окт
- 91 amdg.ruИИ видят 12 из 12 · 30 окт
Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.