Question

Помогите пожалуйста. Вопрос в том,что робот яндекс индексирует страницу редактирования материала и это плохо для сайта

я прописал в  техт роботе запрет  Disallow: /publ/0-0-0-13. Но видимо неправильно, если до сих пор он заходит на каждый файл редактирования материала и индексирует именно ее. Скрин прилагается.Ну или попробовать точнее вопрос написать, то как запретить в роботе для  модуля каталог статей  запрет на индексацию станица редактирования материала.

Answer 1

Поправьте ваш роботс, замените содержимое на следующее:

 

роботс

User-agent: *

Allow: /*?page
Allow: /*?ref=
Allow: /*index/
Allow: /*.css?*
Allow: /*.js?*
Allow: /*.woff2?*
Allow: /*.ttf?*
Allow: /index/0-53
Allow: /index/*/0-53
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /index/0-3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /index/poisk/0-54
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /blog/
Disallow: /load/
Disallow: /video/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
Disallow: /faq/
Disallow: /forum/
Disallow: /tag
Disallow: /gb/
Disallow: /dir/
Disallow: /*?*
Disallow: /photo/
Disallow: /avatars
Disallow: /avatars/menu

Host: nettv-new.ru
Sitemap: http://nettv-new.ru/sitemap.xml

так более правильно так как у вас там ошибки были.