Блог
Как правильно составить robots.txt
На сайте обязательно должен быть создан текстовый файл, который называется robots.txt. Он публикуется в корне сайта именно с таким названием и должен открываться по адресу вашдомен/robots.txt. Например, на нашем сайте это http://veresk.top/robots.txt. Создается он в обычном “Блокноте” и автоматически имеет расширение txt. Данный файл ― инструкция для роботов поисковых систем. Читать дальше…