Если вы не знаете о чем речь, Robots.txt — текстовый файл с инструкциями для поисковых систем, благодаря которому можно, например, запретить те или иные страницы для индексации, правильно «склеить» домены и так далее.
По теме было обнаружено два документа от Google — Robots.txt Specification и Robots meta tag and X-Robots-Tag HTTP header specification.
Мощь и значение Robots.txt не стоит недооценивать. Многие веб-мастера и сеошники почти полностью игнорируют Robots.txt. Политика такая — легче оставить как есть, чем разобраться.
Я не могу похвастаться тем, что поступаю иначе - там где есть возможность редактирования роботс (например, на WP), использую что-то вроде типовой «болванки» (интересно как выглядит ваш типичный Robots?), нет возможности нахожу возможности обойтись без него вообще.
В общем человеком который разбирается в теме «от и до», я никогда не был, поэтому информацию от Google определенно вызывает у меня интерес. Осталось найти время во всем разобраться.
Кстати, могу посоветовать еще одни толковый сайт посвященный данному вопросу — Robotstxt.org.ru.
P.S. Столешница подоконники из натурального, искусственного камня и не только.
Еще читать:
Лучшая система автоматического продвижения