Рубрика | Базовые знания

Основные моменты: Как составить файл robots.txt

Основные моменты: Как составить файл robots.txt

С помощью него можно закрыть от редактирования весь сайт или некоторые его страницы, указать путь зеркала или файла sitemap. Например, стоит скрыть от индексации техническую страницу Вашего сайта, иначе поисковый робот перестанет индексировать эту страницу или случайно скроет полезную информацию на Вашем сайте.

Для начала необходимо произвести создание файла sitemap. После этого, сообщить поисковому роботу о файле, указав путь к нему в текстовом документе Robots.txt. Создание файла sitemap осуществляется при помощи простого текстового редактора. Главным критерием является сохранение его формате .xml файла. Помимо этого, sitemap можно создавать при помощи специальных сервисов, к примеру — htmlweb.ru

На первом этапе создания карты сайта занесите в поле URL точный адрес Вашего ресурса, далее выберите соответствующий формат файла, определитесь с приоритетом индексации Ваших страниц, и укажите частоту обновления страниц. Помимо этого, можете определить другие параметры. В конце создания нажмите на кнопку «выполнить» и через определенное время сгенерируется код для файла sitemap. Скопируйте код в Ваш файл sitemap.xml и укажите путь к нему в файле Robots.txt.

Настройка robots.txt

Для того чтобы настроить robots.txt, необходимо использование двух основных директив: User-agent и Disallow. User-agent указывает на работу, прописанную во второй директиве, которую и будет выполнять поисковый робот. User-agent:* Disallow:/ — это пример запрета индексации всего сайта для любой поисковой системы. Если Вы хотите скрыть от поискового робота определенный участок сайт, то после Disallow нужно прописать путь к этому участку. Для включения индексации вместо Disallow используется команда Allow, которая так же может использоваться как на весь сайт целиком, так и на отдельные его участки.
В зависимости от желаемой команды в robots.txt прописываются и другие директивы:
• Host – предназначена для указания пути основного зеркала на сайте для поисковых систем. Эта директории эффективна при наличии на сайте нескольких зеркал, в таком случае, выдаче поисковых систем будет отображаться указанное Вами зеркало.
• Sitemap – это команда на индексацию карты сайта.
• Crawl-delay – используется для задания странице определенного время для загрузки поисковыми системами. Например, Crawl-delay: 10 задает странице загрузку в течение 10 секунд, что эффективно при использовании на сайте большого числа страниц.
• Request-rate – определяет периодичность загрузки страниц роботом-поисковиком. Например, Request-rate: 1/10 робот будет открывать 1 страницу в 10 секунд.
• Visit-time указывает промежуток времени загрузки страниц. Время выставляется по Гринвичу Visit-time: 0700-0900.

Заключение

Это основные советы по вопросу как составить файл robots.txt. Но стоит отметить, что неправильно созданный файл robots.txt может привести к открытию поисковым роботам страниц с конфиденциальной информацией о пользователях и покупателях или к остановке индексации всего сайта или отдельно взятых участков с важной и полезной информацией. Чтобы быть уверенным в корректности работы robots.txt, можно использовать сервис Яндекс.Вебмастер, он называется Анализ robots.txt. После вписывания в поле поиска адрес домена сайта, он начинает анализ и по окончанию операции указывает на ошибки созданного текста.

Многие гореоптимизаторы даже не задумываются о важности проведения анализа эффективности сайта, но при этом жаждут попасть в топ-10 по самым жирным запросам. А ведь для начала следует поработать над своим сайтом; найти те необходимые методы продвижения, которые эффективны в конкретно вашей нише; проанализировать, как работают конкуренты и т.д..

В этот день я написал...



Понравился блог?
Тогда подпишись на RSS


Комментирование закрыто.



Статистика


Rambler's Top100

Блогоштучки:

заработок в интернете. блоги о заработке.