Question

Здравствуйте! Нужна Ваша поммощь! Сайт книжной тематики  Так как существуют ограничения в количестве категорий модуля мы устроили структуру сайта таким образом: некоторые авторы произведений прописаны как теги (категория не создана), а для другой части создаются категории.. Пример: http://vknige.net/search/Олег%20Радзинский  Так же и с сериями книг...  Так вот такой вопрос... Стоит ли открывать доступ к поиску в роботс, так как там присутствует нужный контент, на который можно попасть из поиска.  А сам пооиск реализован через гугл, то есть получается, что пользователь не попадет на другие страницы модуля search

Answer 1

Открывать индексацию поиска (тегов) не нужно так как появится много мусора. Все материалы индексируются по ссылке и робот всех их видит, отдельно открывать к индексации модуль поиск поисковиками лишнее, от этого будет лишь вред.

Comments

А какого мусора, если есть только ссылки с контентом в них?  Другого вида эти ссылки не содержат

---

Николай58,

Мусор в поиске вот такими ссылками http://vknige.net/search/%D0%9E%D0%BB%D0%B5%D0%B3%20%D0%A0%D0%B0%D0%B4%D0%B7%D0%B8%D0%BD%D1%81%D0%BA%D0%B8%D0%B9 хотя если вам именно это и нужно, тогда удалите с фала робот строку:

Disallow: /search/

Answer 2

можете удалить строчку из роботса. это ничего не изменит.