ByteDance · Обучение моделей
Bytespider: какие сайты его пускают
Робот ByteDance для обучения моделей (Doubao и др.).
41сайт проверен
7%запрещают в robots.txt
46%блокируют на сервере
51%пускают
Как управлять доступом Bytespider
Запретить в robots.txt:
User-agent: Bytespider Disallow: /
Явно разрешить:
User-agent: Bytespider Allow: /
User-Agent: Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)
Сайты, которые не пускают Bytespider
| Сайт | robots.txt | Сервер | Балл |
|---|---|---|---|
| sberbank.ru | разрешено | не доверяет сертификату | 41 |
| avito.ru | разрешено | капча | 30 |
| cian.ru | разрешено | блокировка | 35 |
| kari.com | разрешено | блокировка | 48 |
| gloria-jeans.ru | разрешено | проверка антибота | 20 |
| rendez-vous.ru | разрешено | блокировка | 83 |
| ekonika.ru | разрешено | проверка антибота | 27 |
| snowqueen.ru | разрешено | проверка антибота | 24 |
| finn-flare.ru | разрешено | ошибка | 21 |
| ostin.com | разрешено | проверка антибота | 55 |
| befree.ru | запрещено | пускает | 88 |
| 12storeez.com | разрешено | блокировка | 20 |
| lamoda.ru | разрешено | блокировка | 24 |
| dzen.ru | разрешено | уводит на вход | 32 |
| mos.ru | запрещено | блокировка | 71 |
| hh.ru | разрешено | проверка антибота | 37 |
| tinkoff.ru | разрешено | не доверяет сертификату | 41 |
| wildberries.ru | разрешено | блокировка | 24 |
| ozon.ru | разрешено | блокировка | 27 |
| nytimes.com | запрещено | блокировка | 15 |
Сайты, которые пускают Bytespider
| Сайт | robots.txt | Сервер | Балл |
|---|---|---|---|
| pikabu.ru | разрешено | пускает | 94 |
| ingate.ru | разрешено | пускает | 97 |
| amdg.ru | разрешено | пускает | 91 |
| sohoshop.ru | разрешено | пускает | 84 |
| askent.ru | разрешено | пускает | 93 |
| street-beat.ru | разрешено | пускает | 97 |
| brandshop.ru | разрешено | пускает | 97 |
| mascotte.ru | разрешено | пускает | 94 |
| oodji.com | разрешено | пускает | 93 |
| tvoe.ru | разрешено | пускает | 99 |
| ushatava.ru | разрешено | пускает | 87 |
| 2moodstore.com | разрешено | пускает | 84 |
| lime-shop.com | разрешено | пускает | 90 |
| kinopoisk.ru | разрешено | пускает | 85 |
| gosuslugi.ru | разрешено | пускает | 91 |
| 2gis.ru | разрешено | пускает | 83 |
| lenta.ru | разрешено | пускает | 97 |
| habr.com | разрешено | пускает | 82 |
| vc.ru | разрешено | пускает | 83 |
| sela.ru | разрешено | пускает | 92 |
| zarina.ru | разрешено | пускает | 94 |