Google · Поисковики

Googlebot: какие сайты его пускают

Основной поисковый робот Google. От него зависят и обычная выдача, и AI Overviews.

41сайт проверен

0%запрещают в robots.txt

32%блокируют на сервере

68%пускают

Как управлять доступом Googlebot

Запретить в robots.txt:

User-agent: Googlebot
Disallow: /

Явно разрешить:

User-agent: Googlebot
Allow: /

User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Сайт	robots.txt	Сервер	Балл
sberbank.ru	разрешено	не доверяет сертификату	41
avito.ru	разрешено	капча	30
cian.ru	разрешено	капча	35
gloria-jeans.ru	разрешено	проверка антибота	20
ekonika.ru	разрешено	проверка антибота	27
snowqueen.ru	разрешено	проверка антибота	24
finn-flare.ru	разрешено	ошибка	21
12storeez.com	разрешено	блокировка	20
lamoda.ru	разрешено	блокировка	24
tinkoff.ru	разрешено	не доверяет сертификату	41
wildberries.ru	разрешено	блокировка	24
ozon.ru	разрешено	проверка антибота	27
nytimes.com	разрешено	проверка антибота	15

Сайт	robots.txt	Сервер	Балл
pikabu.ru	разрешено	пускает	94
ingate.ru	разрешено	пускает	97
amdg.ru	разрешено	пускает	91
kari.com	разрешено	пускает	48
sohoshop.ru	разрешено	пускает	84
askent.ru	разрешено	пускает	93
street-beat.ru	разрешено	пускает	97
brandshop.ru	разрешено	пускает	97
mascotte.ru	разрешено	пускает	94
oodji.com	разрешено	пускает	93
tvoe.ru	разрешено	пускает	99
ushatava.ru	разрешено	пускает	87
2moodstore.com	разрешено	пускает	84
rendez-vous.ru	разрешено	пускает	83
lime-shop.com	разрешено	пускает	90
ostin.com	разрешено	пускает	55
befree.ru	разрешено	пускает	88
dzen.ru	разрешено	пускает	32
mos.ru	разрешено	пускает	71
hh.ru	разрешено	пускает	37
kinopoisk.ru	разрешено	пускает	85
gosuslugi.ru	разрешено	пускает	91
2gis.ru	разрешено	пускает	83
lenta.ru	разрешено	пускает	97
habr.com	разрешено	пускает	82
vc.ru	разрешено	пускает	83
sela.ru	разрешено	пускает	92
zarina.ru	разрешено	пускает	94