Question

Я хочу закрыть каталог файлов от индексации поисковыми системами. Как мне добавить в форму robots запрет индексации "load/" и всех подчиненных страниц?

Answer 1

Пропишите в роботсе:

Disallow: /load/