вторник, 7 декабря 2010 г.

Спецификация на Robots.txt от Google

В последнее время Google расщедрился на хорошие советы и ценные рекомендации. То опубликовали инструкцию по SEO для новичков, теперь вот сподобились на спецификацию Robots.txt.

Если вы не знаете о чем речь, Robots.txt — текстовый файл с инструкциями для поисковых систем, благодаря которому можно, например, запретить те или иные страницы для индексации, правильно «склеить» домены и так далее.

По теме было обнаружено два документа от Google — Robots.txt Specification и Robots meta tag and X-Robots-Tag HTTP header specification.

Мощь и значение Robots.txt не стоит недооценивать. Многие веб-мастера и сеошники почти полностью игнорируют Robots.txt. Политика такая — легче оставить как есть, чем разобраться.



Я не могу похвастаться тем, что поступаю иначе - там где есть возможность редактирования роботс (например, на WP), использую что-то вроде типовой «болванки» (интересно как выглядит ваш типичный Robots?), нет возможности нахожу возможности обойтись без него вообще.

В общем человеком который разбирается в теме «от и до», я никогда не был, поэтому информацию от Google определенно вызывает у меня интерес. Осталось найти время во всем разобраться.

Кстати, могу посоветовать еще одни толковый сайт посвященный данному вопросу — Robotstxt.org.ru.

P.S. Столешница подоконники из натурального, искусственного камня и не только.

Еще читать:
Лучшая система автоматического продвижения

Читайте по теме