Файл robots.txt или индексный файл — обычный текстовый документ в кодировке UTF-8, действует для протоколов http, https, а также FTP. Файл дает поисковым роботам рекомендации: какие страницы/файлы стоит сканировать.
При обработке правил в файле robots.txt поисковые роботы получают одну из трех инструкций:
частичный доступ: доступно сканирование отдельных элементов сайта;
полный доступ: сканировать можно все;
полный запрет: робот ничего не может сканировать.
Объём работ в одной услуге?
Настройка robots.txt для одного сайта
 |
Гарантия возврата
Средства моментально вернутся на счет, если что-то пойдет не так.
Подробнее 
|
Исполнитель
