Как запретить в robots.txt индексировать все кроме каталога статей?

Голоса: +1
Скажите пожалуйста можно ли в роботе указать индексирование только катлог статей и все а остальное запретить

Вот мой робот

User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /abnl/

User-agent: Google
Disallow: /a/
Disallow: /stat/
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /abnl/

Sitemap: http://music-mp3.ucoz.com/sitemap.xml
| Автор: | Категория: Вопросы новичков
Редактирование | | Автор: Андрей Рыбаков

Ответов: 1

Голоса: +1
 
Лучший ответ
  1. Ничего дополнительно прописывать не нужно, стандартный роботс так устроен, что вам ничего лишнего прописывать не нужно, кроме случаев если вы приобрели домен для сайта, тогда придется добавить 1-2 строки.
  2. Вам не стоит беспокоиться, будут индексироваться лишь те модули которые активированы, которые не активированы соответственно индексироваться не будут.
  3. Стоило бы предоставить ссылку на сайт и более детально и информативно все описать.
| Автор:
Выбор ответа лучшим | | Автор: Yuri_Geruk
Если все запретить, так у вас кроме каталога сайтов нет, что запрещать, в таком случае добавить в роботс директиву:
Disallow:  /dir/
http://www.beatsmymusic24.ru/
Я хочу чтобы индексировалась только главная страница и карта сайта и каталог сайтов
> Я хочу чтобы индексировалась только главная страница и карта сайта и каталог сайтов
>> В таком случае вы зря создали тему, так как запрещать нет что. Все стороннее уже запрещено в роботе.
можете полностью написать
Вы ответ выше читали или нет? зачем дублировать вопрос если на него уже ответили? либо вам одно и то же 10 раз повторить.
далее, замените:
Sitemap: http://music-mp3.ucoz.com/sitemap.xml

на:
Sitemap: http://beatsmymusic24.ru/sitemap.xml
и под добавьте директиву:
Host: beatsmymusic24.ru

Еще совет, у вас сайт добавлен в очередь на индексацию без www, зачем вы в общих настройках поставили галочку напротив пункта - Домен www.beatsmymusic24.ru является приоритетным, уберите и сохраните.
теперь у меня выводится http://www.beatsmymusic24.ru/panel/?a=publ как это убрать?
> теперь у меня выводится http://www.beatsmymusic24.ru/panel/?a=publ как это убрать?
>> что вы понимаете под убрать, может хотите удалить модуль - Каталог статей?
я имею ввиду под основным меню выходит строчка http://www.beatsmymusic24.ru/panel/?a=publ
Ничего подобного не наблюдаю - http://i.imgur.com/lFFJM5g.png вы скриншот предоставьте, что вы видите, здесь экстрасенсов нет
я все сам разобрася
...