Лучшие сервисы для проверки запрета тегом X-Robots-Tag на индексацию

Зачем нужен заголовок X-Robots-Tag

HTTP-заголовок X-Robots-Tag позволяет разрешать или запрещать роботам показывать страницы в поиске и переходить по ссылкам на определённых страницах сайта. По задачам он похож на файл robots.txt, но задаётся в ответе сервера.

Директивы X-Robots-Tag

• All — используется по умолчанию. Эта директива означает, что ограничений для роботов нет.
• Noindex — запрет на отображение в поисковике.
• Nofollow — запрет на переход по ссылкам.
• None — запрет на индексирование.
• Noarchive — запрещает выводить ссылку на сохраненную копию веб-страницы.

Сервисы для проверки запрета тегом X-Robots-Tag на индексацию

PR-CY

Ссылка на официальный сайт: Открыть сервис в новой вкладке Характеристики:

• Проверка позиций. Возможность ежедневно анализировать позиции сайта в поисковых системах.
• Аудит. Автоматическое сканирование на предмет ошибок в оптимизации.
• Показывает сравнение с конкурентами, оценку качества и историю изменений параметров.

Основной функционал:

• Проверка посещаемости.
• Массовая проверка доменов.
• Антиплагиат.
• Проверка индексации.
• Мониторинг обратных ссылок и т.д.

Софт предоставляет несколько тарифов на выбор:

• Бесплатный.
• Начальный — 990 рублей в месяц.
• Профи — 1 990 рублей в месяц.
• Агентство — 3 990 рублей в месяц.

Majento

Ссылка на официальный сайт: Открыть сервис в новой вкладке Характеристики:

• Мониторинг и контроль продвижения.
• Множество инструментов для аналитики.
• Автоматический анализ оптимизации проектов.
• Автоматическое исправление ошибок в параметрах.

Основной функционал:

• Сематический анализ текста.
• Поиск поддоменов сайта.
• Анализ контента.
• Поиск битых ссылок.
• Проверка возраста домена и т.д.

Сервис предоставляет бесплатные услуги с ограниченным функционалом. Для того чтобы снять ограничения, необходимо пополнить баланс и оплатить «Неограниченный режим».

Screaming Frog

Ссылка на официальный сайт: screamingfrog.co.uk Характеристики:

• Контроль продвижения веб-сайтов для Windows, macOS и Linux.
• Улучшение оптимизации через автоматический поиск ошибок.
• Позволяет анализировать результаты в режиме реального времени.
• Поиск «битых» ссылок.

Функционал:

• Интеграция с GA, GSC и PSI.
• Создание файлов Sitemap в формате XML.
• Проверка уникальности контента.
• Обзор роботов и директив.
• Извлечение данных с помощью XPath.
• Сканирование веб-сайтов JavaScript и т.д.

Сервис предоставляет как платные, так и бесплатные услуги.

Web Developer

Ссылка на официальный сайт: Открыть сервис в новой вкладке Основные возможности:

• Запуск интернет-магазинов.
• Проектировка интерфейсов.
• Разработка адаптивных сайтов под разные устройства.
• Оптимизация скорости загрузки.
• Разработка онлайн-конструкторов.
• Разработка лендингов.

Google Search Console

Ссылка на официальный сайт: google.com/search-console Функционал:

• Возможность бесплатно получать сведения о том, как представлен сайт в поисковиках.
• Оптимизация контента.
• Устранение ошибок.
• Оценка трафика.
• Возможность получать уведомления о проблемах с индексированием и т.д.

Сервис является полностью бесплатным.