Common Crawl · Обучение моделей

CCBot: какие сайты его пускают

Открытый архив Common Crawl. На нём обучено большинство языковых моделей.

41сайт проверен

5%запрещают в robots.txt

44%блокируют на сервере

56%пускают

Как управлять доступом CCBot

Запретить в robots.txt:

User-agent: CCBot
Disallow: /

Явно разрешить:

User-agent: CCBot
Allow: /

User-Agent: CCBot/2.0 (https://commoncrawl.org/faq/)

Сайт	robots.txt	Сервер	Балл
sberbank.ru	разрешено	не доверяет сертификату	41
avito.ru	разрешено	капча	30
cian.ru	разрешено	капча	35
kari.com	разрешено	блокировка	48
gloria-jeans.ru	разрешено	проверка антибота	20
ekonika.ru	разрешено	проверка антибота	27
snowqueen.ru	разрешено	проверка антибота	24
finn-flare.ru	разрешено	ошибка	21
ostin.com	разрешено	проверка антибота	55
12storeez.com	разрешено	блокировка	20
lamoda.ru	разрешено	блокировка	24
dzen.ru	разрешено	уводит на вход	32
mos.ru	запрещено	блокировка	71
hh.ru	разрешено	проверка антибота	37
tinkoff.ru	разрешено	не доверяет сертификату	41
wildberries.ru	разрешено	блокировка	24
ozon.ru	разрешено	проверка антибота	27
nytimes.com	запрещено	блокировка	15

Сайт	robots.txt	Сервер	Балл
pikabu.ru	разрешено	пускает	94
ingate.ru	разрешено	пускает	97
amdg.ru	разрешено	пускает	91
sohoshop.ru	разрешено	пускает	84
askent.ru	разрешено	пускает	93
street-beat.ru	разрешено	пускает	97
brandshop.ru	разрешено	пускает	97
mascotte.ru	разрешено	пускает	94
oodji.com	разрешено	пускает	93
tvoe.ru	разрешено	пускает	99
ushatava.ru	разрешено	пускает	87
2moodstore.com	разрешено	пускает	84
rendez-vous.ru	разрешено	пускает	83
lime-shop.com	разрешено	пускает	90
befree.ru	разрешено	пускает	88
kinopoisk.ru	разрешено	пускает	85
gosuslugi.ru	разрешено	пускает	91
2gis.ru	разрешено	пускает	83
lenta.ru	разрешено	пускает	97
habr.com	разрешено	пускает	82
vc.ru	разрешено	пускает	83
sela.ru	разрешено	пускает	92
zarina.ru	разрешено	пускает	94