Мы не предоставляем хостинг. Во вопросам выбора и заказа хостинга рекомендуем обращаться на сайт хостобзор.ру
Что такое robots.txt
Прежде чем сайт попадет в поисковую выдачу, он должен проиндексироваться поисковыми системами. Но часто на сайтах бывают такие разделы и страницы, которые совсем не обязательно должны быть видны в выдаче поисковых систем (Все помнят скандал с попаданием в выдачу SMS сообщений мегафона и заказов одного интернет магазина?)
Так вот, для того чтобы избежать похожих неприятностей необходимо использовать специальный файл (robots.txt), в которым мы даем инструкции поисковому роботу о том, какие страницы нужно индексировать, а на какие заходить совсем не обязательно.
Правильно составленный роботс позволит избавится от излишнего дублирования контента на страницах сайта, что будет способствовать лучшему продвижению.
Вот несколько примеров использования директив robots.txt для управления индексацией сайта:
1. User-agent: *
Disallow:
Такая конструкция разрешает индексировать все страницы сайта.
2. User-agent: *
Disallow: /
Так мы запрещаем индексацию всех страниц сайта
3. А вот если мы хотим запретить индексацию только одного раздела следует использовать следующую конструкцию.
User-agent: *
Disallow: /rasdelone/
Также можно разрешать или запрещать индексацию определенным роботам.
Например:
User-agent: Yandex
Disallow: /
Такая конструкция запретит индексацию всего сайта поисковой системе Yandex
Однако, следует помнить, что все что прописано в robots.txt только рекомендация, которой следуют большинство поисковых систем (но не все), поэтому защищать страницы с конфиденциальной информацией таким способом нельзя.
Также следует помнить, что некоторые поисковые системы (Google в частности ) включают в поисковую выдачу запрещенные в robots.txt страницы, если на них есть индексируемые ссылки с других страниц вашего сайта или сторонних сайтов.
 
Email
7354:
 

Свежая информация купить бескаркасную мебель в симферополе у нас на сайте. . http://miganpack.ru/ ddc lab проекты дизайн упаковки.