admin Недавно в сети появился очередной обучающий видеоролик от Google, который был посвящен вопросам по использованию robots.txt. О важности данного файла рассказал Мэтт Катс (Matt Cutts), который на данный момент является ведущим программистом корпорации Google.
Мэтт ответил на следующий вопросы следующего типа: «Лучше создать пустой файл robots.txt или ограничиться содержанием User-agent: *Disallow? «, а также «Можно ли вообще обойтись без robots.txt, если вебмастер не собирается закрывать информацию при сканировании роботом».
Как оказалось, можно использовать любой вариант из двух предложенных — это ответ на первый вопрос. Но тем не менее игнорировать файл robots.txt не следует, поскольку в случае его отсутствия может стать причиной возникновения ошибки 404, что крайне не желательно. Но не стоит паниковать, так как Google научился устранять подобные неполадки, но тем не менее риск возникновения «казуса» составляет 1%.
Как заявил лучший программист компании, использование User-agent: *Disallow позволяет растолковать поисковому роботу, что вебмастер разрешает индексировать все данные на сайты. В то время как пустой файл робот может посчитать очищенным по ошибке.