Регистрация  Напомнить пароль?
 Отправлено SergeyMarina 14 января 2014   

Создание сайта. Часть 3. Правильное создание файлов Robots.txt и Sitemap.xml Основная масса посетителей приходит на сайты с поисковых систем. Поэтому, создавая новый веб-ресурс, важно позаботиться о том, чтобы он был замечен поисковиками. Наполнение базы данных поисковых систем выполняется благодаря поисковому роботу. Он запрашивает страницы с сайтов и индексирует их (то есть, добавляет в базу). Робот также переходит по ссылкам на этих страницах и таким образом обнаруживает новые сайты.

Для общения веб-мастера с поисковыми системами используется два файла — Robots.txt и Sitemap.xml. Первый содержит инструкции относительно того, что индексировать не нужно, а второй, наоборот, подсказывает роботу, что на сайте есть новенького и интересного. О том, как создать такие файлы и как грамотно их использовать, мы расскажем в этой статье.





Назад Вперед

Sitemap.xml — карта сайта для поисковиков

Карта сайта, представляющая собой список его разделов со ссылками, поначалу создавалась в формате HTML и использовалась на сайтах для того, чтобы посетители могли быстро попасть именно на ту страницу, которая им необходима. Теперь же карта сайта создается, в основном, для поисковых систем. Она особенно важна:

• для сайтов, которые часто обновляются (блоги, форумы, новостные ресурсы);
• для тех ресурсов, на которых есть страницы с мультимедийным AJAX-содержанием или изображениями;
• для сайтов, на которых есть множество страниц, плохо связанных друг с другом при помощи ссылок или несвязанных вовсе;
• для новых проектов, на которых пока еще мало внешних ссылок.

В отличие от файла robots.txt, который можно создать однажды и забыть о нем надолго, файл Sitemap.xml нужно постоянно поддерживать в актуальном состоянии (особенно — если на сайте регулярно появляются новости).

Структура файла Sitemap.xml


В отличие от файла robots.txt, карта сайта почти никогда не создается вручную. По крайней мере, для больших сайтов очень сложно вручную перечислить все значимые страницы. Однако любому веб-мастеру не помешает знать структуру этого файла, чтобы при необходимости иметь возможность внести в него правки в ручном режиме.

Итак, файл Sitemap.xml начинается со строк


<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" />


В первой строке указывается кодировка (UTF-8 — обязательное требование для этого файла), во второй идет ссылка на текущий стандарт. Далее перечисляются ссылки. Для каждой ссылки пишется блок команд, которые заключаются в блок . Выглядит это примерно так:

<url>
  <loc>http://www.computerbild.ru/</loc>
  <lastmod>2013-08-12T15:25:56+00:00</lastmod>
  <changefreq>daily</changefreq>
  <priority>1.0</priority>
 </url>


Для каждой ссылки обязательным является только тег
<loc />
, остальные же необязательны, но именно они сообщают поисковым роботам важную информацию относительно страниц сайта. Тег
<lastmod />
содержит информацию о последнем обновлении страницы. Для поискового робота это сигнал не заходить на нее, если он был не ней уже после того, как она была обновлена в последний раз.

Тег
<changefreq />
сообщает поисковому роботу, насколько часто обновляется страница. Параметр daily означает ежедневное обновление. Кроме него, доступны параметры yearly (ежегодное), weekly (еженедельное), monthly (ежемесячное), hourly (каждый час), always (чаще, чем раз в час).

Тег
<priority />
используется для сообщения поисковому роботу о том, насколько важной является веб-страница. Для страниц можно установить разный приоритет — от 0 до 1. Обработав карты сайта, робот в первую очередь проиндексирует страницы с большим приоритетом.

Создание Sitemap.xml

Создавать карту сайта можно по-разному. Для небольших сайтов, которые не очень часто обновляются, подойдут онлайновые генераторы файла Sitemap.xml. Как правило, на таких сервисах есть ограничение на число ссылок в файле. Если на сайте более 500 страниц (число может быть разным для разных сервисов), за услугу создания карты сайта приходится платить. В любом случае, для блога, который обновляется ежедневно, онлайн-генераторы не очень удобны, поскольку веб-мастеру нужно каждый раз вручную создавать карту сайта и перезагружать файл на сервер. Для часто обновляемых проектов гораздо удобнее использовать генераторы Sitemap.xml, встроенные в движок.

Создание сайта. Часть 3. Правильное создание файлов Robots.txt и Sitemap.xml

Работа с сервисом xml-sitemaps.com

Создание карты сайта при помощи сервиса xml-sitemaps.com не займет много времени. Для начала введите адрес сайта в поле Starting URL. В списке Change frequency укажите, насколько часто информация на сайте обновляется. Например, если новости публикуются ежедневно, выберите вариант Daily. В разделе Last modification укажите дату последнего обновления сайта. Активируйте радиокнопку Use server's response, чтобы использовать время сервера. Выберите вариант Use this date/time:, чтобы указать дату и время вручную.

Создание сайта. Часть 3. Правильное создание файлов Robots.txt и Sitemap.xml

В разделе Priority можно определиться с тем, будет ли карта сайта включать параметр приоритета страниц. Выберите вариант None, если тег приоритета добавлять не нужно, или вариант Automatically Calculated Priority, чтобы ресурс автоматически вычислил важность страниц.

Создание сайта. Часть 3. Правильное создание файлов Robots.txt и Sitemap.xml

Нажмите на кнопку Start для начала создания карты сайта. Процесс займет некоторое время, после чего сервис выдаст ссылку на файл.

Загрузите его, а затем закачайте по FTP на сервер сайта. Если загрузка выполнена в корневую директорию, путь к файлу будет выглядеть как http://mysite/sitemap.xml.

Создание карты сайта для блога на Wordpress

Для движка Wordpress существует ряд дополнений, при помощи которых можно создать карту сайта. Основное преимущество такого подхода — карта сайта может обновляться с заданной периодичностью и автоматически пересохраняться в заданной папке.

Воспользуемся плагином Google XML Sitemaps . После установки плагин доступен в разделе админ-панели Параметры > XML Sitemap. Перейдите к его настройкам и щелкните по ссылке Click here для первого создания карты сайта. Если установить флажок в чекбоксе Rebuild sitemap if you change the content of your blog, карта будет обновляться автоматически при добавлении новых публикаций.

Создание сайта. Часть 3. Правильное создание файлов Robots.txt и Sitemap.xml

Как рассказать поисковику о карте сайта


В отличие от файла robots.txt, файл sitemap.xml не обязательно должен располагаться в корневой директории сайта. Но чтобы поисковый робот его нашел, ему нужно сообщить о расположении файла. Самый простой способ это сделать — оставить ссылку на него в файле robots.txt.

Для этого в самом конце этого файла нужно добавить строку

Sitemap: http://mysite/sitemap.xml


Стоит обратить внимание на то, что в этой директиве, в отличие от директивы Host, адрес сайта пишется полностью (с http). Файл sitemap.xml не может содержать более 50 тысяч ссылок и не может иметь размер более 10 Мбайт, поэтому для больших сайтов нужно разбивать карту сайта на несколько файлов. В таких случаях нужно указывать в robots.txt ссылки на все файлы (каждый — с новой строки).

Sitemap: http://mysite/sitemap.xml
Sitemap: http://mysite/sitemap1.xml
Sitemap: http://mysite/sitemap2.xml


Второй способ сообщить поисковику о карте сайта — загрузить файл sitemap.xml через интерфейс панели веб-мастера на популярных поисковых ресурсах.


Сергей и Марина Бондаренко Создание сайта. Часть 3. Правильное создание файлов Robots.txt и Sitemap.xml

Написано для журнала ComputerBild

Назад Вперед








Еще по теме:

  • blekko — поиск в Интернете по-новому
  • Обновление архива файлов



  • Информация

    Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.

    Форум Топик Ответов
    Будьте в курсе новостей