Загадочный robots.txt


Файл с названием robots.txt не случайно назван загадочным в заголовке статьи. Маленький, неприметный с виду файл играет огромную роль в продвижении ресурсов. Создаётся он для роботов поисковых систем и содержит инструкцию для них, в которой прописано, что им делать, куда следует смотреть, а куда смотреть запрещено.

Поэтому важно хорошо запомнить следующее:

  1. robots.txt обязательно должен быть, даже если вы не будете ничего закрывать от индексации, и ничего не будете сообщать роботам;
  2. в robots.txt обязательно следует прописывать директивы по умолчанию;
  3. все страницы сайта, продвигаемые в поисковиках, в robots.txt должны быть обязательно открыты для индексации.

Что следует прописывать в robots.txt (правильный пример robots.txt)