Хостинг — снижение нагрузки на процессор
07.08.2008
Недавно обратился старый клиент с новой проблемой. Хостер 1Gb написал очередное письмо счастья о том, что не особо посещаемый форум создаёт большую нагрузку на процессор. К чести хостера нужно сказать, что, в отличие от того же Питерхоста и многих других, в кабинете нашлась достаточно удобная статистика по нагрузке процессора, показывающая, какие страницы и хосты создают повышенную нагрузку. В данном случае невооруженным глазом было сразу видно, что повышенную нагрузку создаёт поисковый робот Яндекса — 87.250.254.240 (spider07.yandex.ru).
Немного почитал справку Яндекса по robots.txt, и создал в корне сайта robots.txt со следующим содержимым:
User-agent: Yandex
Crawl-delay: 20 # задает таймут в 20 секунд
Уже второй день полёт нормальный, нагрузка на процессор как правило не превышает 2%.
01.09.2008 в 21:02
Спасибо, не знал, что они кроме трафика ещё и нагрузку создают.