Что такое robots.txt?
Файл robots.txt — это базовый инструмент SEO-оптимизации. Он представляет собой текстовый документ, размещаемый в корневой директории сайта. С его помощью вебмастера указывают поисковым роботам (краулерам Яндекса, Google и др.), какие страницы или разделы сайта можно сканировать и индексировать, а какие — нет.
Основные директивы файла
- User-agent — указывает, для какого именно робота предназначены следующие правила (символ
*означает «для всех роботов»). - Disallow — запрещает индексацию указанного раздела или страницы.
- Allow — разрешает сканирование (полезно, когда нужно разрешить доступ к конкретной странице внутри запрещенного раздела).
- Sitemap — указывает абсолютный путь к карте сайта в формате XML, что помогает поисковикам быстрее находить новые страницы.
- Host — (ранее активно использовалось Яндексом) указывает главное зеркало сайта. Сейчас Яндекс рекомендует использовать 301 редиректы.
Связанные инструменты
- Генератор llms.txt — создайте файл для передачи семантического контекста и инструкций нейросетям.
- Генератор ai.txt — управление доступом AI-парсеров (GPTBot, ClaudeBot) к контенту вашего сайта.
Частые вопросы (FAQ)
Скроет ли robots.txt страницу от пользователей?
Нет. Файл robots.txt содержит инструкции только для поисковых роботов. Обычные пользователи по-прежнему смогут зайти на страницу по прямой ссылке. Для закрытия страницы от пользователей используйте пароли или авторизацию.
Обязательно ли создавать этот файл?
Если у вас небольшой сайт-визитка и вы хотите, чтобы он весь индексировался, файл не обязателен. Поисковики по умолчанию сканируют все, до чего могут дотянуться. Но если у вас есть админ-панель, корзина или профили пользователей — robots.txt строго необходим.