Question

Правильно ли я понимаю, что если добавлю запись в robots.txt с запретом для индексации определеннного модуля к примеру онлайн игры Disallow: /stuff/, то в карте сайта sitemap.xml ссылки не должны появляться?

Comments

Ссылки все равно появляются

Answer 1

На карте сайта могут появляться ссылки/страницы которые запрещены в robots.txt, на ранжирование ПС это никак не влияет

Answer 2

Неправильно понимаете! В карте сайта ссылки будут отображаться, но директива которая будет прописана в роботсе будет запрещать роботам индексировать эти ссылки, роботы будут видеть запрет и будут эти ссылки обходить без индексации.

Answer 3

если хотите чтобы ссылки с модуля не появлялись в карте сайта > закройте материалы модуля на просмотр гостями. и индексироваться с гарантией не будет и в карте не будет ссылок