Видеокурс WordPress SEO. Урок 1 - файл robots.txt

Сайт дня (как попасть): Продвижение сайта популярными новостями.

Дорогие друзья, я рад представить вашему вниманию свой бесплатный видеокурс WordPress SEO. Я увлекаюсь WordPress с 2007 года и этот блоговый движок мне очень нравится. Я часто пишу о нем в рубрике WordPress на своем блоге shakin.ru.

Примечание - видеоурок лучше смотреть в полноэкранном режиме в качестве 720.

Сначала я хотел создать несколько статей о поисковой оптимизации WordPress, но решил, что нужно развиваться и осваивать новые направления, поэтому сделаю серию видеоуроков о WordPress SEO, которые объединю в видеокурс. Вы можете посмотреть мои предыдущие видеоуроки на различные темы.

Видеокурс, естественно, будет бесплатным. Сам люблю, когда авторы выкладывают нужную мне информацию в свободном доступе на своих сайтах и блогах, поэтому буду продолжать эту славную традицию.

Все материалы видеокурса будут доступны на этом блоге. По мере публикации видеоуроков я буду дополнять страницу видеокурса, на которой в итоге можно будет найти все материалы. Вот ее адрес: https://shakin.ru/wordpress-seo.

Я создал блог на локальном компьютере для того, чтобы показывать все моменты на примере. Для блога я установил WordPress последней версии на русском языке с официального сайта https://ru.wordpress.org/.

Файл robots.txt

Начну видеокурс с внутренней оптимизации. Сегодняшний видеоурок будет посвящен файлу robots.txt.

Robots.txt - это текстовый файл, который содержит инструкции для поисковых роботов. Находится он в корневой папке.Перед обращением к страницам вашего блога поисковые роботы сначала ищут файл robots.txt, который запрещает им доступ к указанным вами разделам вашего ресурса.

Ограничение определенных разделов своего сайта для индексации поисковыми роботами не означает, что вы прячете что-то запрещенное 🙂 , нет. Просто на любом сайте часть информации не несет никакой ценности для поисковиков и посетителей, поэтому нет смысла, чтобы ее индексировали роботы.

Примеры такой информации - страницы логина, регистрации, RSS лент у каждого поста и т.д.

🔥 Кстати! Я провожу платный курс по продвижению англоязычных сайтов SEO Шаолинь seoshaolin.com. Для читателей блога я делаю хорошую скидку. По прокомоду "блог" тариф Про стоит не 50, а 40 тыс. рублей. Тариф Лайт не 25, а 20 тыс. рублей. Тариф Команда не 75, а 60 тыс. рублей. Пишите мне в Telegram @mikeshakin.

Кроме этого, файл robots.txt служит для того, чтобы указывать правильное зеркало вашего домена (с www или без), а также можно указывать адрес карты сайта.

По умолчанию в WordPress нет файла robots.txt. Самый простой способ это исправить - создать в обычном блокноте (или лучше в Notepad++) текстовый файл, поместить в него нужный код, сохранить с названием robots.txt и загрузить на хостинг в корневую папку вашего блога.

Вы можете посмотреть содержимое файла robots.txt на любом сайте, если после его адреса напишете robots.txt, вот так (приведу пример этого файла на своем блоге):

https://shakin.ru/robots.txt

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Host: shakin.ru

Sitemap: https://shakin.ru/sitemap.xml

Идеального файла robots.txt не существует. Я пробовал различные варианты, и в итоге пришел к такому содержимому этого файла. Время от времени я дополняю и редактирую этот файл.

Также с помощью этого файла можно рекомендовать роботам поисковиков соблюдать определенный временной интервал между скачиванием документов с сервера. Например, на моей практике бывали случаи, когда робот Yahoo (называется Slurp) при индексации сайта оказывал повышенную нагрузку на хостинг, поэтому приходилось задавать ему паузу. Делается этот вот так:

User-agent: Slurp
Crawl-delay: 20

Данный код сообщает поисковому роботу Slurp при индексации делать паузу в 20 секунд. Обычно делают 5 или 10 секунд, но этот робот меня тогда очень сильно разозлил 🙂 , так как и с паузой в 10 секунд он сильно грузил хостинг. Впрочем, я уже пару лет не встречал подобных случаев.

Для роботов Яндекса и Google делать задержку не советую, так как это может привести к проблемам с индексацией вашего сайта.

Важный момент - между директивами User-agent и Disallow не должно быть пустых строк, так как это будет означать конец правил для поискового робота.

Звездочка * в файле robots.txt означает последовательность любых символов.

Директива host поддерживается только Яндексом. При этом она сообщает поисковому роботу Яндекса о том, какое из двух зеркал сайта главное - с www или без.

Плагины WordPress для создания robots.txt

Чувствую, скоро будут вопросы «А как же плагины для создания robots.txt? Ведь в WordPress многие вещи можно сделать плагинами!» Чтобы меня не закидали помидорами 🙂 , я подготовил несколько плагинов.

Сам я предпочитаю простые и эффективные решения. Я считаю, что для создания файла robots.txt не нужны плагины, ведь все, что нужно, это создать текстовый файлик с нужным кодом и загрузить его в корень блога. По возможности лучше обходиться без плагинов, так как избыточное их количество создает повышенную нагрузку на хостинг и негативно сказывается на скорости работы вашего блога.

Итак, вот плагины.

PC Robots.txt

Этот плагин позволяет редактировать содержимое файла robots.txt прямо в панели управления вашего блога.

iRobots.txt SEO

Еще один плагин для работы с файлом robots.txt со схожим функционалом.

Другие плагины WordPress для robots.txt можно найти прямо в админке вашего блога, если зайти в пункт Плагины - Добавить новый и ввести в поле поиска запрос «robots.txt».

Дополнительные материалы по robots.txt

По файлу robots.txt есть полезный сайт https://robotstxt.org.ru/, на котором можно найти всю необходимую информацию.

Вы также можете почитать раздел о robots.txt в Яндекс Помощи для вебмастеров и воспользоваться анализатором robots.txt от Яндекса.

Кроме этого, можно посмотреть информацию об этом файле в разделе помощи для вебмастеров от Google - Блокировка и удаление страниц с помощью файла robots.txt.

Желаю вам хорошего настроения! А я пойду готовить следующий видеоурок 🙂 .

Глобатор

Постовой (как попасть): «Было – стало» - амбициозный стартап о течении времени.

Изготовление наружной рекламы, а также создание баннеров для сайта предлагает вам www.bandesign.ru.

Качественное и профессиональное продвижение сайтов в Туле.

Десерт на сегодня - классная реклама, которую даже хочется смотреть. Все сделано очень стильно:

Подпишитесь на рассылку блога с полезными материалами по SEO

Shakin sidebar