Robots.txt

Robots.txt – это термин из области seo и интернет технологий, а именно файл ограничения доступа к содержимому роботам на сервере. Этот файл состоит из набора инструкций для поисковых машин, при помощи которых можно задать файлы, страницы или каталоги сайта, которые не должны индексироваться.