Robots.txt для сайта WordPress

Чтобы поисковый робот правильно проиндексировал ваш сайт, необходимо грамотно составить файл robots.txt. Как это сделать, сегодня посмотрим.

С вопросом составления этого файла сталкиваются все веб-мастера и оптимизаторы. Правильно составленный robots.txt для сайта wordpress не даст поисковому роботу индексировать ненужные файлы и папки на вашем сайте. Таким образом, ваши действительно полезные материалы (например, статьи) будут лучше замечены поисковиками. А значит, вы получите больше посетителей из поисковых систем.

Все мы, вебмастера и разработчики, постоянно работаем с сайтами. Хотел бы вам порекомендовать площадки, которыми пользуюсь сам:
  1. Reg.ru - здесь регистрирую и продлеваю доменные имена, очень надежная компания!
  2. HostIQ - хостинг премиум качества.
  3. Ihor - более бюджетный, но тоже очень качественный хостинг-провайдер.
  4. Telderi.ru - единственная надежная биржа в рунете, на которой можно купить готовые сайты с доходом!

Как правильно составить robots.txt для сайта на WordPress?

Написать этот файл можно вручную даже если вы новичок. Для этого вам не понадобится знание никаких языков программирования. Хочу отметить, что в этой статье мы рассматриваем правильный robots.txt для сайта на WordPress. Если у вас другая система управления сайтом, то эта статья вам не поможет. Хотя вы сможете разобраться с синтаксисом и самостоятельно написать этот файл.

Итак, переходим к делу. Зачем составлять файлик самому, если за нас уже давно сделана основная работа? Приведенный ниже файл рекомендуют сами разработчики WordPress, а они то точно разбираются в деле. Привожу его полностью:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Вы можете просто скопировать все это в блокнот, сохранить под именем robots.txt и закинуть на свой сервер. Единственные изменения, которые вам нужно сделать, это заменить site.ru на свой адрес, а также прописать правильный путь до карты сайта. Конечно, это не является конечной версией файла. Возможно, в будущем вы внесете в него еще какие-то правки.

Хотите разобраться в файле получше? Тогда читайте дальше, я попытаюсь разъяснить основные моменты.

Строка User-agent указывает, какие поисковые роботы должны прочитать инструкции. User-agent: * — означает, что инструкции адресуются всем поисковым роботам.
User-agent: Yandex – указанные ниже команды выполнить только робот Яндекса.
User-agent: Googlebot-Image – тут очевидно, что обращение идет к гугловскому боту, который индексирует именно изображения.

Команды файла robots.txt

Осталось только разобраться в командах. Как видите, их очень мало и все на самом деле очень просто.

Disallow – самая популярная команда, которая запрещает роботу индексировать какой-то файл или каталог. После двоеточия идет путь к нужному место, которое отсчитывается от корня сайта (ведь именно там лежит наш robots.txt). Как видите, мы в этом файле запретили индексировать кеш, админку, плагины и темы.

Allow – разрешает индексировать файл или каталог. В файлике мы разрешили ботам Яндекса и Гугла индексировать наши изображения. Зачем? Чтобы роботы учитывали наши атрибуты alt (альтернативный текст) и наши картинки хорошо влияли на индексацию статьи и самого изображения в целом.

Host – просто адрес вашего сайта, который указан для Яндекса.

Sitemap: Путь к вашей карте сайта. Лучше явно ее указать в robots.txt. Если вы не знаете, что это такое, читайте следующие статьи.

Вот, собственно, и все команды, которые вам пригодятся при написании своего robots.txt. Для сайта на WordPress настройка этого файла вам вообще может не понадобится – в этой статье я привел актуальный вариант файла, в котором вам нужно изменить всего пару слов.

Итак, с файлом robots.txt мы теперь точно разберетесь. На этом на сегодня я с вами прощаюсь. А чтобы это было не навсегда, не забудьте подписаться на обновления любым удобным способом.

Кстати, пишите свои мысли по поводу предоставленного в статье файла. Будет интересно знать ваше мнение.

Понравилась статья? Поделиться с друзьями:
Комментариев: 5
  1. Алексей

    Что касается файла robots — то тут нет однозначного ответа. Сравнивал эти файлы у топовых блогеров — у всех совершенно разные: есть где около 40 строк, а есть где роботс почти пустой, а с индексацией и посещалкой все отлично в обоих случаях.

    1. Михаил (автор)

      Да, поэтому сильно лучше не заморачиваться — один раз написал и все. Я слышал, что поисковые роботы часто игнорируют указания из этого файла и все равно забирают страницы в индекс, поэтому лучше их закрывать от индексации явно, а не через robots.txt.

  2. Наталья Краснова

    На двух сайтах одинаковый файл роботс, за исключением домена конечно, но второй Яндекс не берет на индексацию. Говорят, что у меня полностью запрет на индексацию стоит. Не знаю что делать. Что посоветуете?

    1. Михаил (автор)

      Хм, странно. Может быть, проблема в том, что у вас в WordPress в настройках чтения стоит галочка на запрет, либо в каком-то СЕО-плагине вы ее поставили. Например, в плагине Yoast SEO можно запретить статьи для индексации.

      Еще проверьте не стоит ли у вас в robots.txt строка: Disallow: /, потому что она запрещает весь сайт к индексации, попробуйте проверить robots.txt в Яндекс.Вебмастере. Ну а может быть проблема в том, что у сайтов разные структуры, хотя если они оба на WordPress такого не может быть.

    2. Алексей

      Здравствуйте, Наталья!
      Сайт, что указан в вашем комментарии — проиндексирован Яндексом. Если вы про другой, то не видя его, сложно сказать в чем причина.

Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: