Google: как изменить скорость сканирования в массовом порядке

В конце прошлого года на форуме Google Webmaster Central Help был задал интересный вопрос: как изменить скорость сканирования для большого числа поддоменов сразу.

В ответ представитель компании Google Джон Мюллер порекомендовал обратиться к команде, отвечающей за сканирование, отправив запрос. По его словам, они занимаются такими проблемами и могут помочь.

Также можно настроить сервер таким образом, чтобы он возвращал код ответа 503. В конце концов, не помешает выяснить, какие URL обрабатывает поисковый робот. Во многих случаях высокая скорость сканирования наблюдается по тем веб-сайтам, которые имеют проблематичную структуру URL. В частности, если она содержит большое число уникальных страниц с аналогичным (или очень подобным) контентом.