Вебмастера, получили объяснения Мэтта Каттса (Matt Cutts), о том, почему система Google не удаляет из выдачи, страницы, которые отдают ошибку 404 — Not Found (Не найдено), а также, почему так важно правильно проставлять необходимые коды состояния HTML, с точки зрения оптимизации поиска. С этой целью он издал твит с прикрепленной ссылкой на видео еще 2011 года, но которое актуально и на сегодняшний день.
По его словам, по теории, чаще всего ошибка 404 — Not Found означает, что страница перемещена только на время и вскоре вернется на этот URL. Технически, если нужно указать на то, что страница была перемещена навсегда либо удалена, то нужно использовать код состояния HTTP 410 — Gone (Не существует). Если показываются в выдаче странницы уже с удаленными или перемещенными документами, это значит, что вебмастер делает ошибку, выдавая 404, вместо ошибки 503 (Сервис недоступен). Мэтт утверждает, что чтобы не разочаровывать пользователя, необходимо прислушиваться к его желанию, стараться как можно чаще сканировать выданные странницы с ошибкой 404, чтобы найти «потерявшийся документ» после его восстановления.
Вебмастер может допустить ошибку, проставив код 410-Gone (Не существует), при перезагрузке сервира, реконструкции сайта и в других подобных случаях – это свидетельствует о серьезном повреждении, которое в перспективе будет исправлено.