Как ИИ-агенты видят amdg.ru

Главные проблемы

1. Важно

   Хостинг ограничивает частоту запросов

   На 5 из 15 запросов сервер сначала ответил 503 («слишком много запросов») и пустил только со второй попытки. Боты, которые обходят сайт активно, будут получать такие отказы и могут заходить реже.

   Как исправить. Проверьте лимиты частоты на хостинге или в nginx (limit_req) и ослабьте их для поисковых и ИИ-ботов.

2. Важно

   Не найдена карта сайта

   Мы не нашли рабочий sitemap по адресу из robots.txt. Ботам сложнее находить страницы.

   Как исправить. Создайте sitemap.xml и укажите его в robots.txt строкой «Sitemap: …».

3. Мелочь

   Нет Markdown-версии для ИИ-агентов

   Агенты всё чаще просят страницы в Markdown (заголовок Accept: text/markdown): так им проще и дешевле читать текст без вёрстки. Сайт на такой запрос отдаёт HTML, файла /index.md тоже нет.

   Как исправить. Настройте отдачу Markdown по заголовку Accept: text/markdown на сервере или CDN — или хотя бы положите /index.md с текстом главной.

4. Мелочь

   Нет llms.txt

   Файл llms.txt — новый и необязательный формат: краткое описание сайта для языковых моделей. Пока его поддерживают не все, но он дешёвый.

   Как исправить. Добавьте /llms.txt с описанием сайта и ссылками на главные разделы.

Доступ по ботам

Мы зашли на главную под подписью (User-Agent) каждого бота и сравнили ответ с тем, что получает обычный браузер. Колонка robots.txt — что разрешают правила сайта.

Для сравнения обычный браузер получил: ответ 200, 0 слов.

JavaScript: что видит бот без браузера

GPTBot, ClaudeBot, PerplexityBot и большинство ИИ-агентов не выполняют JavaScript: они читают только HTML, который отдал сервер. Мы сравнили HTML, который получил YandexAdditionalBot, со страницей после рендера в браузере.

Контент доступен без JavaScript.

Разметка главной

Так главную видит YandexAdditionalBot — без JavaScript.

Title

Диджитал агентство полного цикла в Москве - Artox Media Digital Group

Description

Digital агентство AMDG оказывает полный комплекс услуг от разработки маркетинговой стратегии продвижения в интернете до реализации и внедрения в проект.

Язык

нет

Canonical

нет

Schema.org

Organization

Meta robots

index, follow

Служебные файлы

robots.txt

есть 1880 байт, упомянуты: Googlebot, YandexBot, YandexAdditionalBot

Sitemap

нет ответ 200

Markdown для агентов

нет на запрос Markdown сайт отдаёт HTML

llms.txt

нет необязательный файл для языковых моделей

User-Agent: *
Disallow: /cgi-bin
Disallow: /bitrix/
Disallow: *bitrix_*=
Disallow: /local/
Disallow: /*index.php$
Disallow: *print=
Disallow: *?new=Y
Disallow: *?edit=
Disallow: *?preview=
Disallow: *backurl=
Disallow: *back_url=
Disallow: *back_url_admin=
Disallow: *captcha
Disallow: */feed
Disallow: */rss
Disallow: *?
Disallow: *utm*=
Disallow: *openstat=
Disallow: *from=
Disallow: *?tag=
Allow: */upload/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: *.js
Allow: *.css
Allow: *.jpg
Allow: *.jpeg
Allow: *.png
Allow: *.gif
Allow: *.svg
Sitemap: https://amdg.ru/sitemap.xml
Host: https://amdg.ru/

User-Agent: Yandex
Disallow: /cgi-bin
Disallow: /bitrix/
Disallow: *bitrix_*=
Disallow: /local/
Disallow: /*index.php$
Disallow: *print=
Disallow: *?new=Y
Disallow: *?edit=
Disallow: *?preview=
Disallow: *backurl=
Disallow: *back_url=
Disallow: *back_url_admin=
Disallow: *captcha
Disallow: */feed
Disallow: */rss
Disallow: *?
Disallow: *utm*=
Disallow: *openstat=
Disallow: *from=
Disallow: *?tag=
Allow: */upload/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: *.js
Allow: *.css
Allow: *.jpg
Allow: *.jpeg
Allow: *.png
Allow: *.gif
Allow: *.svg

User-Agent: Googlebot
Disallow: /cgi-bin
Disallow: /bitrix/
Disallow: *bitrix_*=
Disallow: /local/
Disallow: /*index.php$
Disallow: *print=
Disallow: *?new=Y
Disallow: *?edit=
Disallow: *?preview=
Disallow: *backurl=
Disallow: *back_url=
Disallow: *back_url_admin=
Disallow: *captcha
Disallow: */feed
Disallow: */rss
Disallow: *?
Disallow: *utm*=
Disallow: *openstat=
Disallow: *from=
Disallow: *?tag=
Allow: */upload/
Allow: /bitrix/*.js
Allow: /bitrix/*.css
Allow: /bitrix/templates/main/images/*
Allow: /bitrix/templates/main/fonts/*
Allow: *.js
Allow: *.css
Allow: *.jpg
Allow: *.jpeg
Allow: *.png
Allow: *.gif
Allow: *.svg

История проверок

Другие проверенные сайты

• 91 gosuslugi.ruИИ видят 12 из 12 · 30 окт
• 90 lime-shop.comИИ видят 12 из 12 · 30 окт
• 92 sela.ruИИ видят 12 из 12 · 15 окт
• 93 askent.ruИИ видят 12 из 12 · 30 окт
• 41 sberbank.ruИИ видят 1 из 12 · 30 окт
• 94 pikabu.ruИИ видят 12 из 12 · 30 окт
• 97 ingate.ruИИ видят 12 из 12 · 30 окт
• 30 avito.ruИИ видят 0 из 12 · 30 окт