Индексация сайта: robots.txt и sitemap.xml

Файлы robots.txt и sitemap.xml - это файлы, предназначенные для поисковых систем.

Robots.txt - файл для разрешения или запрета индексации страниц поисковиками. В файле robots.txt можно указать параметры индексирования своего сайта как для всех роботов сразу, так и для каждой поисковой системы по отдельности. В целом файл robots носит запрещающий смысл, т.е. в нём прописывается то, что нужно запретить к индексации.

Sitemap.xml - файл с дополнительной информацией о страницах сайта, подлежащих индексированию. С помощью файла sitemap.xml можно сообщить поисковым системам, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на страницах, а также индексирование каких страниц наиболее важно.

В платформе ABCP вы можете самостоятельно управлять данными файлами.

Файл robots.txt

Настройки для управления данным файлом находятся в панели управления меню Настройки->Система->Редактирование robots.txt.

Возможны три варианта индексации:

• Запретить индексирование

При выборе данного варианта вы отключаете индексирование сайта полностью.

• Разрешить индексирование

В данном варианте используется стандартный файл robots.txt платформы ABCP.

• Использовать собственный файл robots.txt

            Вариант для самостоятельного формирования файла robots.txt по вашим требованиям.

Файл sitemap.xml

Настройки для управления данным файлом находятся в панели управления меню Настройки->Система->Редактирование sitemap.xml.

Возможны три варианта настройки:

• Не использовать

Файл sitemap.xml не используется.

• Автоматическая генерация (запускается на 30й минуте каждого часа)

В данном варианте файл sitemap.xml генерируется автоматически.

Можно по выбору настроить генерацию одного из нескольких файлов:

http://www.site.ru/sitemap2.xml - страницы новостей

http://www.site.ru/sitemap3.xml - все созданные в панели управления личные страницы, а также некоторые системные страницы

http://www.site.ru/sitemap4_*.xml - страницы карточек товаров с индивидуальными данными, загруженные в панели управления меню-> Информация о товарах->Просмотр карточек товаров.

• Использовать собственный файл sitemap.xml

           Вариант для загрузки собственного файла sitemap.xml.