Словарь терминов: SEO

Файл robots.txt — это простой текстовый документ, размещенный в корневом каталоге веб-сайта, который содержит строгие инструкции для поисковых роботов (краулеров) Яндекса и Google. Простыми словами, это список правил фейсконтроля: он сообщает алгоритмам, в какие разделы вашего сайта заходить можно,