Просто о сложном: Как работать с ?

Еще больше полезной информации на и Как и зачем необходимо создавать файл ? Любой сайт включает не только контент для пользователей, но и множество системных файлов. И когда робот поисковика начинает его сканировать, для него нет разницы – системный это файл или какой-то другой. Он проиндексирует все подряд. Чтобы этого не случилось, необходимо отредактировать файл . В видео мы расскажем о работе с основными директивами: - «User-agent:»; - «Disallo