Question

Здравствуйте! Я составила для сайта файл robot.txt такого содержания:

User-agent: Yandex
Disallow: /admin
Host: masterica.ucoz.org

User-agent: Googlebot
Disallow: /admin

User-agent: *
Crawl-delay: 10
Disallow: /admin

Перед загрузкой этого файла, я проверила корень сайта и не нашла там исходного файла robots. После загрузки, я проверила работоспособность файла в яндекс вебмастере, но у меня по запросу вывелся вот такой файл robots:

User-agent: *
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: http://masterica.ucoz.org/sitemap.xml
Sitemap: http://masterica.ucoz.org/sitemap-forum.xml

Получается, что на сайте уже есть загруженный файл robots? Как его можно изменить? И еще - в корне сайта имеются файлы Sitemap.xml, но гугл их не находит - почему? Заранее, спасибо.

 

Answer 1

Да, системный файл робот  уже имеется в вашем файловом менеджере содержимое, которого вы ниже наблюдаете.

На данный момент файл роботс может и не отображаться в корне фтп, но со временем появится, это у молодых сайтов можно такое наблюдать.

Если вы хотите, чтобы файл стал отображаться в файловом менеджере, создайте идентичный файл на компьютере(robots.txt), далее замените содержимое, и загрузите в корень  файлового менеджера.

> И еще - в корне сайта имеются файлы Sitemap.xml, но гугл их не находит - почему?

>> Так как в вебмастере гугла нужно добавить карту, перейдите по адресу - https://www.google.com/webmasters/tools/sitemap-list

Далее добавить карту: