Question

Как закрыть страницу от индексации?

Answer 1

Было бы отлично чтобы вы привели конкретный пример страницы которую нужно закрыть от индексации, после исходя из этого будем давать вам решение.

Comments

http://vsthouse.ru/load/prilogeniya/sekvensory/image_line_fl_studio_producer_edition_12_5_0_58_x86_x64_sekvensor/19-1-0-18823  Можно сделать, чтобы эта страница не появлялась в поисковиках яндекс, гугл а так же в поисковике сайта?

---

Илья Левченко,

В данном случае решение следующее, открыть на редактирование файл robots.txt http://vsthouse.ru/robots.txt найдете его в файловом менеджере, после после строки:

Disallow: /?ssid=

пропишите:

Disallow: /load/prilogeniya/sekvensory/image_line_fl_studio_producer_edition_12_5_0_58_x86_x64_sekvensor/19-1-0-18823

сохраните изменения. Также добавлю, у вас роботс устаревший, советовал бы его заменить на следующий:

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
Disallow: /load/prilogeniya/sekvensory/image_line_fl_studio_producer_edition_12_5_0_58_x86_x64_sekvensor/19-1-0-18823

 

Host: vsthouse.ru

 

Sitemap: http://vsthouse.ru/sitemap.xml

---

Большое спасибо! Только немного непонятно. Вы пишите, что нужно вставить  Disallow: /load/prilogeniya/sekvensory/image_line_fl_studio_producer_edition_12_5_0_58_x86_x64_sekvensor/19-1-0-18823  после Disallow: /?ssid=  Но в вашем новом robots.txt нет такой строчки.  Еще вопрос - что это за строчки с долларами (Disallow: /*-*-*-*-987$) ?  Еще. Если я буду и в дальнейшем закрывать страницы от индексации, то этих строк Disallow: в файле роботс может накопиться большое количество (100-200 и больше) Это может негативно повлиять на индексирование сайта?  И последний вопрос - можно ли закрыть от индексирования сразу все страницы с заголовком, начинающимся с "image_line_fl_studio" ?

---

Илья Левченко,

• > Но в вашем новом robots.txt нет такой строчки
• >> Так и не должно ее быть, добавили мы ее потому, что вы хотите закрыть от индексации этот материал.
• > Еще вопрос - что это за строчки с долларами (Disallow: /*-*-*-*-987$) ?
• >> Читайте полную расшифровку роботса - https://webanetlabs.net/publ/26-1-0-736 там найдете ответ на свой вопрос.
• > Еще. Если я буду и в дальнейшем закрывать страницы от индексации, то этих строк Disallow: в файле роботс может накопиться большое количество (100-200 и больше) Это может негативно повлиять на индексирование сайта?
• >> Негативно никак не повлияет.
• > И последний вопрос - можно ли закрыть от индексирования сразу все страницы с заголовком, начинающимся с "image_line_fl_studio" ?
• >> Можно вот такой директивой 

Disallow: *image_line_fl_studio

---

В итоге в роботс у меня должно быть так?

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Disallow: /?ssid=
Disallow: *image_line_fl_studio

 

Host: vsthouse.ru

 

Sitemap: http://vsthouse.ru/sitemap.xml

И все-таки, строчку "Disallow: /?ssid=" прописывать или нет?

 

Кстати, я сейчас вставил в файл роботс: Disallow: /load/prilogeniya/sekvensory/image_line_fl_studio_producer_edition_12_5_0_58_x86_x64_sekvensor/19-1-0-18823

Но эта страница продолжает индексироваться. В поисковике она находится:

http://vsthouse.ru/search/?q=FL+Studio+12.5.0&m=site&m=news&m=publ&m=load&m=faq&m=gb&m=forum&t=0

---

Илья Левченко,

• > И все-таки, строчку "Disallow: /?ssid=" прописывать или нет? 
• >> Не нужно так как есть директива Disallow: /*? она выполнит задачу за двух и в дубле не нуждается.
• > Кстати, я сейчас вставил в файл роботс: Disallow: /load/prilogeniya/sekvensory/image_line_fl_studio_producer_edition_12_5_0_58_x86_x64_sekvensor/19-1-0-18823 Но эта страница продолжает индексироваться. В поисковике она находится.
• >> Правильно, переиндексация моментально не происходит в эту же секунду, нужно ждать сроком до недели, а может и больше пока произойдет переиндексация.

Советы выше, это для скрытия материала с поисковиков, а не с поиска на сайте. Чтобы исчез материал с поиска на сайте, материал нужно удалить, только так.

---

Большое спасибо! Внес изменения. Буду ждать результата ))

---

Илья Левченко,

Ответ выше дополнил. Вы конкретики сразу не давали по поводу поиска на сайте, а лишь вот в последнем ответе.

---

Печально (( Но все равно спасибо! Буду дальше искать, может, что нарою )))

---

Илья Левченко,

Хотя можно и не удалять, а как пример отредактировать материал и отметить в самом низу пункт - Материал недоступен для просмотра [?], в итоге материал переиндексируется и исчезнет с поиска на сайте.