Сайт дня (как попасть): Продвижение сайта популярными новостями.
Дорогие друзья, я рад представить вашему вниманию свой бесплатный видеокурс WordPress SEO. Я увлекаюсь WordPress с 2007 года и этот блоговый движок мне очень нравится. Я часто пишу о нем в рубрике WordPress на своем блоге shakin.ru.
Примечание - видеоурок лучше смотреть в полноэкранном режиме в качестве 720.
Сначала я хотел создать несколько статей о поисковой оптимизации WordPress, но решил, что нужно развиваться и осваивать новые направления, поэтому сделаю серию видеоуроков о WordPress SEO, которые объединю в видеокурс. Вы можете посмотреть мои предыдущие видеоуроки на различные темы.
Видеокурс, естественно, будет бесплатным. Сам люблю, когда авторы выкладывают нужную мне информацию в свободном доступе на своих сайтах и блогах, поэтому буду продолжать эту славную традицию.
Все материалы видеокурса будут доступны на этом блоге. По мере публикации видеоуроков я буду дополнять страницу видеокурса, на которой в итоге можно будет найти все материалы. Вот ее адрес: https://shakin.ru/wordpress-seo.
Я создал блог на локальном компьютере для того, чтобы показывать все моменты на примере. Для блога я установил WordPress последней версии на русском языке с официального сайта https://ru.wordpress.org/.
Файл robots.txt
Начну видеокурс с внутренней оптимизации. Сегодняшний видеоурок будет посвящен файлу robots.txt.
Robots.txt - это текстовый файл, который содержит инструкции для поисковых роботов. Находится он в корневой папке.Перед обращением к страницам вашего блога поисковые роботы сначала ищут файл robots.txt, который запрещает им доступ к указанным вами разделам вашего ресурса.
Ограничение определенных разделов своего сайта для индексации поисковыми роботами не означает, что вы прячете что-то запрещенное 🙂 , нет. Просто на любом сайте часть информации не несет никакой ценности для поисковиков и посетителей, поэтому нет смысла, чтобы ее индексировали роботы.
Примеры такой информации - страницы логина, регистрации, RSS лент у каждого поста и т.д.
🔥 Кстати! 13 ноября 2023 года стартует 24 поток моего курса по продвижению англоязычных сайтов SEO Шаолинь. Для читателей блога я делаю хорошую скидку по промокоду "blog". Тариф Про стоит не 36, а 30 тыс. рублей. Тариф Лайт не 16, а 13 тыс. рублей. Тариф Команда не 53, а 45 тыс. рублей. Для получения скидки пишите мне на globatorseo@gmail.com с темой "Курс" или в Telegram @mikeshakin.Кроме этого, файл robots.txt служит для того, чтобы указывать правильное зеркало вашего домена (с www или без), а также можно указывать адрес карты сайта.
По умолчанию в WordPress нет файла robots.txt. Самый простой способ это исправить - создать в обычном блокноте (или лучше в Notepad++) текстовый файл, поместить в него нужный код, сохранить с названием robots.txt и загрузить на хостинг в корневую папку вашего блога.
Вы можете посмотреть содержимое файла robots.txt на любом сайте, если после его адреса напишете robots.txt, вот так (приведу пример этого файла на своем блоге):
User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /webstat/ Disallow: /feed/ Disallow: /trackback Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /category/*/* Disallow: /wp-content/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /comments Host: shakin.ru Sitemap: https://shakin.ru/sitemap.xml
Идеального файла robots.txt не существует. Я пробовал различные варианты, и в итоге пришел к такому содержимому этого файла. Время от времени я дополняю и редактирую этот файл.
Также с помощью этого файла можно рекомендовать роботам поисковиков соблюдать определенный временной интервал между скачиванием документов с сервера. Например, на моей практике бывали случаи, когда робот Yahoo (называется Slurp) при индексации сайта оказывал повышенную нагрузку на хостинг, поэтому приходилось задавать ему паузу. Делается этот вот так:
User-agent: Slurp Crawl-delay: 20
Данный код сообщает поисковому роботу Slurp при индексации делать паузу в 20 секунд. Обычно делают 5 или 10 секунд, но этот робот меня тогда очень сильно разозлил 🙂 , так как и с паузой в 10 секунд он сильно грузил хостинг. Впрочем, я уже пару лет не встречал подобных случаев.
Для роботов Яндекса и Google делать задержку не советую, так как это может привести к проблемам с индексацией вашего сайта.
Важный момент - между директивами User-agent и Disallow не должно быть пустых строк, так как это будет означать конец правил для поискового робота.
Звездочка * в файле robots.txt означает последовательность любых символов.
Директива host поддерживается только Яндексом. При этом она сообщает поисковому роботу Яндекса о том, какое из двух зеркал сайта главное - с www или без.
Плагины WordPress для создания robots.txt
Чувствую, скоро будут вопросы «А как же плагины для создания robots.txt? Ведь в WordPress многие вещи можно сделать плагинами!» Чтобы меня не закидали помидорами 🙂 , я подготовил несколько плагинов.
Сам я предпочитаю простые и эффективные решения. Я считаю, что для создания файла robots.txt не нужны плагины, ведь все, что нужно, это создать текстовый файлик с нужным кодом и загрузить его в корень блога. По возможности лучше обходиться без плагинов, так как избыточное их количество создает повышенную нагрузку на хостинг и негативно сказывается на скорости работы вашего блога.
Итак, вот плагины.
Этот плагин позволяет редактировать содержимое файла robots.txt прямо в панели управления вашего блога.
Еще один плагин для работы с файлом robots.txt со схожим функционалом.
Другие плагины WordPress для robots.txt можно найти прямо в админке вашего блога, если зайти в пункт Плагины - Добавить новый и ввести в поле поиска запрос «robots.txt».
Дополнительные материалы по robots.txt
По файлу robots.txt есть полезный сайт https://robotstxt.org.ru/, на котором можно найти всю необходимую информацию.
Вы также можете почитать раздел о robots.txt в Яндекс Помощи для вебмастеров и воспользоваться анализатором robots.txt от Яндекса.
Кроме этого, можно посмотреть информацию об этом файле в разделе помощи для вебмастеров от Google - Блокировка и удаление страниц с помощью файла robots.txt.
Желаю вам хорошего настроения! А я пойду готовить следующий видеоурок 🙂 .
Постовой (как попасть): «Было – стало» - амбициозный стартап о течении времени.
Изготовление наружной рекламы, а также создание баннеров для сайта предлагает вам www.bandesign.ru.
Качественное и профессиональное продвижение сайтов в Туле.
Десерт на сегодня - классная реклама, которую даже хочется смотреть. Все сделано очень стильно:
Подпишитесь на рассылку блога с полезными материалами по SEO
Меня зовут Михаил Шакин, я автор этого блога, занимаюсь SEO с 2006 года. Вы можете заказать у меня