Сейчас уже недостаточо делать обычный Robots.txt и Sitemap.xml. В файле Robots уже пишут команды для популярных поисковиков по отдельности, а карты сайта делают на нескольких языках.
Внутренняя SEO-оптимизация сайта в целях его раскрутки и продвижения
Внутренняя SEO-оптимизация сайта в целях его раскрутки и продвижения