SEO 5

Robots.txt для сайта WordPress

Чтобы поисковый робот правильно проиндексировал ваш сайт, необходимо грамотно составить файл robots.txt. Как это сделать, сегодня посмотрим.

С вопросом составления этого файла сталкиваются все веб-мастера и оптимизаторы. Правильно составленный robots.txt для сайта wordpress не даст поисковому роботу индексировать ненужные файлы и папки на вашем сайте. Таким образом, ваши действительно полезные материалы (например, статьи) будут лучше замечены поисковиками. А значит, вы получите больше посетителей из поисковых систем.

Как правильно составить robots.txt для сайта на WordPress?

Написать этот файл можно вручную даже если вы новичок. Для этого вам не понадобится знание никаких языков программирования. Хочу отметить, что в этой статье мы рассматриваем правильный robots.txt для сайта на WordPress. Если у вас другая система управления сайтом, то эта статья вам не поможет. Хотя вы сможете разобраться с синтаксисом и самостоятельно написать этот файл.

Итак, переходим к делу. Зачем составлять файлик самому, если за нас уже давно сделана основная работа? Приведенный ниже файл рекомендуют сами разработчики WordPress, а они то точно разбираются в деле. Привожу его полностью:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Вы можете просто скопировать все это в блокнот, сохранить под именем robots.txt и закинуть на свой сервер. Единственные изменения, которые вам нужно сделать, это заменить site.ru на свой адрес, а также прописать правильный путь до карты сайта. Конечно, это не является конечной версией файла. Возможно, в будущем вы внесете в него еще какие-то правки.

Хотите разобраться в файле получше? Тогда читайте дальше, я попытаюсь разъяснить основные моменты.

Строка User-agent указывает, какие поисковые роботы должны прочитать инструкции. User-agent: * — означает, что инструкции адресуются всем поисковым роботам.
User-agent: Yandex – указанные ниже команды выполнить только робот Яндекса.
User-agent: Googlebot-Image – тут очевидно, что обращение идет к гугловскому боту, который индексирует именно изображения.

Команды файла robots.txt

Осталось только разобраться в командах. Как видите, их очень мало и все на самом деле очень просто.

Disallow – самая популярная команда, которая запрещает роботу индексировать какой-то файл или каталог. После двоеточия идет путь к нужному место, которое отсчитывается от корня сайта (ведь именно там лежит наш robots.txt). Как видите, мы в этом файле запретили индексировать кеш, админку, плагины и темы.

Allow – разрешает индексировать файл или каталог. В файлике мы разрешили ботам Яндекса и Гугла индексировать наши изображения. Зачем? Чтобы роботы учитывали наши атрибуты alt (альтернативный текст) и наши картинки хорошо влияли на индексацию статьи и самого изображения в целом.

Host – просто адрес вашего сайта, который указан для Яндекса.

Sitemap: Путь к вашей карте сайта. Лучше явно ее указать в robots.txt. Если вы не знаете, что это такое, читайте следующие статьи.

Вот, собственно, и все команды, которые вам пригодятся при написании своего robots.txt. Для сайта на WordPress настройка этого файла вам вообще может не понадобится – в этой статье я привел актуальный вариант файла, в котором вам нужно изменить всего пару слов.

Итак, с файлом robots.txt мы теперь точно разберетесь. На этом на сегодня я с вами прощаюсь. А чтобы это было не навсегда, не забудьте подписаться на обновления любым удобным способом.

Кстати, пишите свои мысли по поводу предоставленного в статье файла. Будет интересно знать ваше мнение.

Минуточку вашего внимания: Все мы хотим размещать свои сайты на надежном хостинге. Я проанализировал сотни хостингов и нашел лучший - HostIQ В сети сотни положительных отзывов о нем, средняя оценка пользователей - 4.8 из 5. Пусть вашим сайтам будет хорошо.

  • Алексей

    Что касается файла robots — то тут нет однозначного ответа. Сравнивал эти файлы у топовых блогеров — у всех совершенно разные: есть где около 40 строк, а есть где роботс почти пустой, а с индексацией и посещалкой все отлично в обоих случаях.

    2016-02-18 в 11:58 | Ответить
    • Миша

      Да, поэтому сильно лучше не заморачиваться — один раз написал и все. Я слышал, что поисковые роботы часто игнорируют указания из этого файла и все равно забирают страницы в индекс, поэтому лучше их закрывать от индексации явно, а не через robots.txt.

      2016-02-19 в 3:04 | Ответить
  • Наталья Краснова

    На двух сайтах одинаковый файл роботс, за исключением домена конечно, но второй Яндекс не берет на индексацию. Говорят, что у меня полностью запрет на индексацию стоит. Не знаю что делать. Что посоветуете?

    2016-01-03 в 8:35 | Ответить
    • mixail

      Хм, странно. Может быть, проблема в том, что у вас в WordPress в настройках чтения стоит галочка на запрет, либо в каком-то СЕО-плагине вы ее поставили. Например, в плагине Yoast SEO можно запретить статьи для индексации.

      Еще проверьте не стоит ли у вас в robots.txt строка: Disallow: /, потому что она запрещает весь сайт к индексации, попробуйте проверить robots.txt в Яндекс.Вебмастере. Ну а может быть проблема в том, что у сайтов разные структуры, хотя если они оба на WordPress такого не может быть.

      2016-01-04 в 8:41 | Ответить
    • Алексей

      Здравствуйте, Наталья!
      Сайт, что указан в вашем комментарии — проиндексирован Яндексом. Если вы про другой, то не видя его, сложно сказать в чем причина.

      2016-02-18 в 11:56 | Ответить