Как ИИ-агенты видят sberbank.ru
1 из 12 ИИ-ботов могут открыть главную sberbank.ru и им это разрешено. Серьёзных проблем: 1.
- Доступ для ботов
- 6/40
- Правила robots.txt
- 20/20
- Контент без JavaScript
- 20/20
- Разметка
- 10/10
- Служебные файлы
- 0/10
Главные проблемы
-
Серьёзно
Сертификат российского УЦ: зарубежные ИИ-боты не могут открыть сайт
Сайт использует сертификат «The Ministry of Digital Development and Communications / Russian Trusted Sub CA». Ему доверяют Яндекс Браузер и устройства с сертификатом Минцифры, но не зарубежные сервисы: ChatGPT, Claude, Perplexity, Google и Bing получают ошибку TLS и не читают ни одной страницы. Остальные проверки мы сделали так, как сайт видит российский браузер.
Как исправить. Установите параллельно международный сертификат (например, Let's Encrypt) и отдавайте его по умолчанию. Российский сертификат можно оставить для клиентов, которым он нужен.
-
Важно
Не найдена карта сайта
Мы не нашли рабочий sitemap (в robots.txt он не указан, /sitemap.xml не отвечает). Ботам сложнее находить страницы.
Как исправить. Создайте sitemap.xml и укажите его в robots.txt строкой «Sitemap: …».
-
Мелочь
Нет robots.txt
По адресу /robots.txt отдаётся HTML-страница вместо текстового файла.
Как исправить. Создайте /robots.txt с правилами и ссылкой на sitemap.
-
Мелочь
Нет Markdown-версии для ИИ-агентов
Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.
Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.
-
Мелочь
Нет llms.txt
Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.
Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.
Доступ по ботам
Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.
| Бот | robots.txt | Доступ к главной | Ответ сервера |
|---|---|---|---|
| Поисковики | |||
GooglebotGoogle |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
YandexBotЯндекс |
Разрешенонет файла |
Видит страницу |
200 · доверяет сертификату Минцифры |
BingbotMicrosoft |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
| ИИ-поиск | |||
YandexAdditionalBotЯндекс |
Разрешенонет файла |
Видит страницу |
200 · доверяет сертификату Минцифры |
OAI-SearchBotOpenAI |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
Claude-SearchBotAnthropic |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
PerplexityBotPerplexity |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
| Агенты по запросу пользователя | |||
ChatGPT-UserOpenAI |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
Claude-UserAnthropic |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
Perplexity-UserPerplexity |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
| Обучение моделей | |||
GPTBotOpenAI |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
ClaudeBotAnthropic |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
CCBotCommon Crawl |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
BytespiderByteDance |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
Разрешенонет файла |
Не доверяет сертификату |
Ошибка TLS-сертификата |
|
Google-ExtendedGoogle |
Разрешенонет файла |
нет своего робота |
|
Applebot-ExtendedApple |
Разрешенонет файла |
нет своего робота |
|
Для сравнения обычный браузер получил: ответ 200, 0 слов.
JavaScript: что видит бот без браузера
GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.
Контент доступен без JavaScript.
Разметка главной
Так главную видит YandexAdditionalBot — без JavaScript.
- Title
- СберБанк для физических лиц — банковские услуги
- Description
- СберБанк — банковские услуги для физических лиц. Кредиты и вклады, ипотека, дебетовые и кредитные карты и другие банковские услуги для частных клиентов.
- Язык
- ru
- Canonical
- https://www.sberbank.ru/ru/person
- Schema.org
- BankOrCreditUnion
- Meta robots
- index, follow
Служебные файлы
- robots.txt
- нет ответ 200
- Sitemap
- нет ответ 200
- Markdown для агентов
- нет на запрос Markdown сайт отдаёт HTML
- llms.txt
- нет необязательный файл для языковых моделей
История проверок
| Дата | Балл | ИИ-ботов видят |
|---|---|---|
| 30 октября в 23:05 | 41 | 1 |
| 30 октября в 22:39 | 41 | 1 |
| 15 октября в 23:28 | 41 | 1 |
| 15 октября в 23:23 | 46 | 1 |
Как мы проверяли
Мы подставляем подпись бота, но не его IP-адрес. Поэтому отчёт показывает, как сайт видит агент без проверки IP. Если антибот пропускает ботов по IP-адресам (так часто делают для Googlebot и YandexBot), реальная картина для этих ботов может быть лучше. Точную картину дают только логи сервера.
Проверяли с сервера в России. Наш сканер представляется как AICrawl/1.0 (+https://ai-crawl.app/about) и соблюдает robots.txt. Подписи ИИ-ботов используются только для одного запроса к главной странице. Капчи и защиту мы не обходим, а только фиксируем. Подробнее о методике.
Другие проверенные сайты
Это ваш сайт? Вы можете убрать эту страницу или запретить наш сканер в robots.txt.