ИИ-боты: кого сайты пускают, а кого нет
Сводка по всем проверкам: сколько сайтов закрывают каждого бота в robots.txt и сколько блокируют его на уровне сервера.
41сайт проверен
65средний балл
49%сайтов с серьёзными проблемами
27%не видны ни одному ИИ-боту
Поисковики
ИИ-поиск
| Бот | Компания | Запрещён в robots.txt | Заблокирован сервером | Видит сайт |
|---|---|---|---|---|
| YandexAdditionalBot | Яндекс | 0% | 34% | 66% |
| OAI-SearchBot | OpenAI | 2% | 44% | 56% |
| Claude-SearchBot | Anthropic | 2% | 39% | 61% |
| PerplexityBot | Perplexity | 2% | 39% | 61% |
Агенты по запросу пользователя
| Бот | Компания | Запрещён в robots.txt | Заблокирован сервером | Видит сайт |
|---|---|---|---|---|
| ChatGPT-User | OpenAI | 5% | 41% | 59% |
| Claude-User | Anthropic | 2% | 39% | 61% |
| Perplexity-User | Perplexity | 2% | 39% | 61% |
Обучение моделей
| Бот | Компания | Запрещён в robots.txt | Заблокирован сервером | Видит сайт |
|---|---|---|---|---|
| GPTBot | OpenAI | 5% | 46% | 54% |
| ClaudeBot | Anthropic | 2% | 41% | 59% |
| CCBot | Common Crawl | 5% | 44% | 56% |
| Bytespider | ByteDance | 7% | 46% | 51% |
| meta-externalagent | Meta | 2% | 39% | 61% |
| Google-Extended | 2% | — | 98% | |
| Applebot-Extended | Apple | 2% | — | 98% |
Какая защита стоит на сайтах
- Qrator 6
- DDoS-Guard 6
- ServicePipe 3
- Variti 1
- DataDome 1