Google · Обучение моделей
Google-Extended: какие сайты его пускают
Не отдельный робот, а токен в robots.txt: разрешает или запрещает Google использовать сайт для обучения Gemini.
41сайт проверен
2%запрещают в robots.txt
98%пускают
Как управлять доступом Google-Extended
Запретить в robots.txt:
User-agent: Google-Extended Disallow: /
Явно разрешить:
User-agent: Google-Extended Allow: /
У Google-Extended нет своего робота: это только токен в robots.txt, обход делает основной бот Google.
Сайты, которые не пускают Google-Extended
| Сайт | robots.txt | Сервер | Балл |
|---|---|---|---|
| nytimes.com | запрещено | — | 15 |
Сайты, которые пускают Google-Extended
| Сайт | robots.txt | Сервер | Балл |
|---|---|---|---|
| sberbank.ru | разрешено | — | 41 |
| pikabu.ru | разрешено | — | 94 |
| ingate.ru | разрешено | — | 97 |
| amdg.ru | разрешено | — | 91 |
| avito.ru | разрешено | — | 30 |
| cian.ru | разрешено | — | 35 |
| kari.com | разрешено | — | 48 |
| gloria-jeans.ru | разрешено | — | 20 |
| sohoshop.ru | разрешено | — | 84 |
| askent.ru | разрешено | — | 93 |
| street-beat.ru | разрешено | — | 97 |
| brandshop.ru | разрешено | — | 97 |
| mascotte.ru | разрешено | — | 94 |
| oodji.com | разрешено | — | 93 |
| tvoe.ru | разрешено | — | 99 |
| ushatava.ru | разрешено | — | 87 |
| 2moodstore.com | разрешено | — | 84 |
| rendez-vous.ru | разрешено | — | 83 |
| ekonika.ru | разрешено | — | 27 |
| snowqueen.ru | разрешено | — | 24 |
| finn-flare.ru | разрешено | — | 21 |
| lime-shop.com | разрешено | — | 90 |
| ostin.com | разрешено | — | 55 |
| befree.ru | разрешено | — | 88 |
| 12storeez.com | разрешено | — | 20 |
| lamoda.ru | разрешено | — | 24 |
| dzen.ru | разрешено | — | 32 |
| mos.ru | разрешено | — | 71 |
| hh.ru | разрешено | — | 37 |
| kinopoisk.ru | разрешено | — | 85 |
| tinkoff.ru | разрешено | — | 41 |
| gosuslugi.ru | разрешено | — | 91 |
| 2gis.ru | разрешено | — | 83 |
| lenta.ru | разрешено | — | 97 |
| wildberries.ru | разрешено | — | 24 |
| ozon.ru | разрешено | — | 27 |
| habr.com | разрешено | — | 82 |
| vc.ru | разрешено | — | 83 |
| sela.ru | разрешено | — | 92 |
| zarina.ru | разрешено | — | 94 |