Файл robots.txt или индексный файл — обычный текстовый документ в кодировке UTF-8, действует для протоколов http, https, а также FTP. Файл дает поисковым роботам рекомендации: какие страницы/файлы стоит сканировать.
При обработке правил в файле robots.txt поисковые роботы получают одну из трех инструкций:
частичный доступ: доступно сканирование отдельных элементов сайта;
полный доступ: сканировать можно все;
полный запрет: робот ничего не может сканировать.
Внутренняя SEO-оптимизация сайта в целях его раскрутки и продвижения
Внутренняя SEO-оптимизация сайта в целях его раскрутки и продвижения