Question

Здравствуйте, сначало внимание не оброщал, но думаю это дубль главной страницы и как его можно убрать. Возможно через robots.txt но посмотрев его, вижу что он прописан, так как стандартный установлен, это Allow: /*?page но поиск во так выдает, а точнее каждую страницу. И здесь не понимаю, правильно или нет, хотя думаю так не должно. Спасибо.

 

 

User-agent: *  
Allow: /*?page  
Allow: /*?ref=  
Allow: /stat/dspixel  
Disallow: /*? 
Disallow: /?ssid= 
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/3  
Disallow: /register  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /index/sub/  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /informer/  
Disallow: /secure/  
Disallow: /poll/  
Disallow: /search/  
Disallow: /abnl/  
Disallow: /*_escaped_fragment_=  
Disallow: /*-*-*-*-987$  
Disallow: /shop/order/  
Disallow: /shop/printorder/  
Disallow: /shop/checkout/  
Disallow: /shop/user/  
Disallow: /*0-*-0-17$  
Disallow: /*-0-0-  

Host: zornet.ru

Sitemap: http://zornet.ru/sitemap.xml 
Sitemap: http://zornet.ru/sitemap-forum.xml

Answer 1

Системно разрешена индексация переключателей страниц в роботсе директивой:

Allow: /*?page  

если вы хотите запретить индексацию данных страниц, можно заменить на директиву:

Disallow: /*?page  

Но вы так же должны понимать другой минус если сделать так, если мы перекроем индексацию переключателей, это будет преграда для роботов, чтобы переходить по страницам и индексировать все материалы, то есть робот окажется в тупике, а если это разрешено, то для робота полная свобода и он индексирует материалы без препятствий.