Редактирование файла robots.txt

Давайте разберемся что такое robots.txt — это текстовый документ в кодировке UTF-8, который размещается в корневом каталоге сайта. Файл показывает поисковым роботам страницы сайта, которые доступны для сканирования и индексирования.

В Старонке файлы robots.txt и sitemap.xml генерируются автоматически после настройки домена и дополнительного редактирования не требуют. Просмотреть их можно добавив к адресу /robots.txt или /sitemap.xml.

Если же вам мало стандартной настройки robots.txt, тогда наше обновление для вас! Чтобы отредактировать файл robots.txt, перейдите в раздел «SEO-настройки» и введите нужные настройки в поле «Собственный файл robots.txt». При помощи этих настроек вы можете, к примеру, запретить поисковым роботам индексирование отдельных страниц.

Если вы хотите узнать подробнее как работают robots.txt и что можно при помощи них сделать, читайте статью seoportal.net.

Мы будем рады, если вы напишете свои пожелания и замечания на почту help@kvitly.com. Они помогают нам развиваться и становиться лучше!