Meta · Обучение моделей

meta-externalagent: какие сайты его пускают

Собирает данные для обучения моделей Meta (Llama).

41сайт проверен

2%запрещают в robots.txt

39%блокируют на сервере

61%пускают

Как управлять доступом meta-externalagent

Запретить в robots.txt:

User-agent: meta-externalagent
Disallow: /

Явно разрешить:

User-agent: meta-externalagent
Allow: /

User-Agent: meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler)

Сайт	robots.txt	Сервер	Балл
sberbank.ru	разрешено	не доверяет сертификату	41
avito.ru	разрешено	капча	30
kari.com	разрешено	блокировка	48
gloria-jeans.ru	разрешено	проверка антибота	20
ekonika.ru	разрешено	проверка антибота	27
snowqueen.ru	разрешено	проверка антибота	24
finn-flare.ru	разрешено	ошибка	21
ostin.com	разрешено	проверка антибота	55
12storeez.com	разрешено	блокировка	20
lamoda.ru	разрешено	блокировка	24
dzen.ru	разрешено	уводит на вход	32
hh.ru	разрешено	проверка антибота	37
tinkoff.ru	разрешено	не доверяет сертификату	41
wildberries.ru	разрешено	блокировка	24
ozon.ru	разрешено	проверка антибота	27
nytimes.com	запрещено	блокировка	15

Сайт	robots.txt	Сервер	Балл
pikabu.ru	разрешено	пускает	94
ingate.ru	разрешено	пускает	97
amdg.ru	разрешено	пускает	91
cian.ru	разрешено	пускает	35
sohoshop.ru	разрешено	пускает	84
askent.ru	разрешено	пускает	93
street-beat.ru	разрешено	пускает	97
brandshop.ru	разрешено	пускает	97
mascotte.ru	разрешено	пускает	94
oodji.com	разрешено	пускает	93
tvoe.ru	разрешено	пускает	99
ushatava.ru	разрешено	пускает	87
2moodstore.com	разрешено	пускает	84
rendez-vous.ru	разрешено	пускает	83
lime-shop.com	разрешено	пускает	90
befree.ru	разрешено	пускает	88
mos.ru	разрешено	пускает	71
kinopoisk.ru	разрешено	пускает	85
gosuslugi.ru	разрешено	пускает	91
2gis.ru	разрешено	пускает	83
lenta.ru	разрешено	пускает	97
habr.com	разрешено	пускает	82
vc.ru	разрешено	пускает	83
sela.ru	разрешено	пускает	92
zarina.ru	разрешено	пускает	94