Люди помогите , я уже 2 дне гуглю и толком ничего не понял только запутался , для чего нада эта шняга Sitemaps.htm ,robots.txt , чо вних должно быть ? Нашол кучу статей и кучу разных вариантов ,я так понял
robots.tx
<googlebo: *
User-agent: *
Disallow:
Disallow: /foto/
Disallow: /images/
Disallow: /cgi-bin/
User-agent: Yandex> должно так выглядить?