Robots.txt для сайта WordPress

Чтобы поисковый робот правильно проиндексировал ваш сайт, необходимо грамотно составить файл robots.txt. Как это сделать, сегодня посмотрим.

С вопросом составления этого файла сталкиваются все веб-мастера и оптимизаторы. Правильно составленный robots.txt для сайта wordpress не даст поисковому роботу индексировать ненужные файлы и папки на вашем сайте. Таким образом, ваши действительно полезные материалы (например, статьи) будут лучше замечены поисковиками. А значит, вы получите больше посетителей из поисковых систем.

Как правильно составить robots.txt для сайта на WordPress?

Написать этот файл можно вручную даже если вы новичок. Для этого вам не понадобится знание никаких языков программирования. Хочу отметить, что в этой статье мы рассматриваем правильный robots.txt для сайта на WordPress. Если у вас другая система управления сайтом, то эта статья вам не поможет. Хотя вы сможете разобраться с синтаксисом и самостоятельно написать этот файл.

Итак, переходим к делу. Зачем составлять файлик самому, если за нас уже давно сделана основная работа? Приведенный ниже файл рекомендуют сами разработчики WordPress, а они то точно разбираются в деле. Привожу его полностью:

Вы можете просто скопировать все это в блокнот, сохранить под именем robots.txt и закинуть на свой сервер. Единственные изменения, которые вам нужно сделать, это заменить site.ru на свой адрес, а также прописать правильный путь до карты сайта. Конечно, это не является конечной версией файла. Возможно, в будущем вы внесете в него еще какие-то правки.

Хотите разобраться в файле получше? Тогда читайте дальше, я попытаюсь разъяснить основные моменты.

Строка User-agent указывает, какие поисковые роботы должны прочитать инструкции. User-agent: * — означает, что инструкции адресуются всем поисковым роботам.
User-agent: Yandex – указанные ниже команды выполнить только робот Яндекса.
User-agent: Googlebot-Image – тут очевидно, что обращение идет к гугловскому боту, который индексирует именно изображения.

Команды файла robots.txt

Осталось только разобраться в командах. Как видите, их очень мало и все на самом деле очень просто.

Disallow – самая популярная команда, которая запрещает роботу индексировать какой-то файл или каталог. После двоеточия идет путь к нужному место, которое отсчитывается от корня сайта (ведь именно там лежит наш robots.txt). Как видите, мы в этом файле запретили индексировать кеш, админку, плагины и темы.

Allow – разрешает индексировать файл или каталог. В файлике мы разрешили ботам Яндекса и Гугла индексировать наши изображения. Зачем? Чтобы роботы учитывали наши атрибуты alt (альтернативный текст) и наши картинки хорошо влияли на индексацию статьи и самого изображения в целом.

Host – просто адрес вашего сайта, который указан для Яндекса.

Sitemap: Путь к вашей карте сайта. Лучше явно ее указать в robots.txt. Если вы не знаете, что это такое, читайте следующие статьи.

Вот, собственно, и все команды, которые вам пригодятся при написании своего robots.txt. Для сайта на WordPress настройка этого файла вам вообще может не понадобится – в этой статье я привел актуальный вариант файла, в котором вам нужно изменить всего пару слов.

Итак, с файлом robots.txt мы теперь точно разберетесь. На этом на сегодня я с вами прощаюсь. А чтобы это было не навсегда, не забудьте подписаться на обновления любым удобным способом.

Кстати, пишите свои мысли по поводу предоставленного в статье файла. Будет интересно знать ваше мнение.