Куча процессов Apache2, которые вешают сайт

borro · 06.04.2016, 15:51

Здравствуйте.

Отслеживал результаты вывода команды top на Debian7. Возникают ситуации, когда запускается куча команд apache2, которые сжирают всю процессорную мощность, и сайт висит.
1. Сколько в принципе должно быть процессов apache2 для одного сайта, работающего на VPS и под какими пользователями они должны быть?

Нагружающие процессы apache2 то возникают, то исчезают.
2. Как понять, что их инициализирует?

В приложении снимок во время одной из таких пиковых ситуаций
скриншот

Юзер antilopa это тот, кому даны права на папку с сайтом, не root

borro · 06.04.2016, 17:47

Посмотрел access.log в районе времени, когда был зафиксирован пик нагрузки и увидел кучу ботов Яндекса и других поисковиков:

Цитата:

185.15.208.190 - - [06/Apr/2016:14:13:07 +0300] "GET /otobrannye-tovary/znachki__or__praskovejskij-vinzavod__or__mrsk__or__alternativa__or__prekrasno j-polovine__or__religioznaya-tematika-1__or__prielbruse-1/ HTTP/1.0" 200 30762 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:11 +0300] "GET /otobrannye-tovary/professii__or__moskva__or__derevya-i-rasteniya__or__na-vse-sluchai-zhizni__or__breloki-s-voennoj-tekhnikoj-1/ HTTP/1.0" 200 29113 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:10 +0300] "GET /otobrannye-tovary/alanskij-muzhskoj-monastyr__or__znachki__or__alternativa__or__podves ki-i-medalony__or__statuetki-i-kompozitsii__or__kruzhki-2/ HTTP/1.0" 200 29433 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:12 +0300] "GET /otobrannye-tovary/znachki__or__novospasskij-stavropigialnyj-muzhskoj-monastyr__or__lozhki__or__prekrasnoj-polovine__or__religioznaya-tematika-1/ HTTP/1.0" 200 29601 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:14 +0300] "GET /otobrannye-tovary/znachki__or__futbolnyj-klub-rubin-kazan__or__mrsk__or__prekrasnoj-polovine__or__religioznaya-tematika-1__or__statuetki-lyudej/ HTTP/1.0" 200 29702 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:13 +0300] "GET /otobrannye-tovary/alanskij-muzhskoj-monastyr__or__alternativa__or__prielbruse__or__dom baj__or__podveski-i-medalony__or__statuetki-i-kompozitsii__or__rus-sssr-rossiya-1/ HTTP/1.0" 200 29626 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:15 +0300] "GET /otobrannye-tovary/administratsiya-g-stavropolya__or__mangaly-i-shampury__or__prekrasnoj-polovine/ HTTP/1.0" 200 29645 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
185.15.208.190 - - [06/Apr/2016:14:13:15 +0300] "GET /otobrannye-tovary/znachki__or__fskn-rossii__or__mrsk__or__moskva__or__prekrasnoj-polovine__or__religioznaya-tematika-1/ HTTP/1.0" 200 29998 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:16 +0300] "GET /otobrannye-tovary/znachki__or__mrsk__or__podstakanniki__or__prekrasn oj-polovine__or__religioznaya-tematika-1__or__lichnoe-oruzhie__or__kruzhki-1/ HTTP/1.0" 200 29837 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:18 +0300] "GET /otobrannye-tovary/znachki__or__magnity-religiya__or__mrsk__or__pyatigorsk__or__na-vse-sluchai-zhizni__or__prekrasnoj-polovine__or__religioznaya-tematika-1/ HTTP/1.0" 200 29972 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"
185.15.208.190 - - [06/Apr/2016:14:13:17 +0300] "GET /otobrannye-tovary/alanskij-zhenskij-monastyr__or__znachki__or__magnity-religiya__or__mrsk__or__pyatigorsk__or__prekrasnoj-polovine__or__religioznaya-tematika-1/ HTTP/1.0" 200 30236 "-" "Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)"

Могут ли боты генерить кучу процессов apache2?
Сегодня сайт был не доступен полдня. Может из-за этого боты ополчились?

AlexZir · 06.04.2016, 17:57

Вполне возможно, что это именно боты инициализируют запуск процессов, когда индексируют контент. Сайт может быть недоступен также из-за ограничений на пиковую нагрузку процессора, выставленных вашим хостером согласно условиям договора.

borro · 07.04.2016, 10:24

Цитата:

Сообщение от AlexZir

Вполне возможно, что это именно боты инициализируют запуск процессов, когда индексируют контент. Сайт может быть недоступен также из-за ограничений на пиковую нагрузку процессора, выставленных вашим хостером согласно условиям договора.

Здравствуйте, доброго утра. Спасибо. А как оно обычно происходит, с обычными посетителями, им выделяется один процесс apache2 на всех?

AlexZir · 07.04.2016, 10:29

Зависит от настроек web-сервера и уровня оптимизированности сайта.

MagentaTiger · 07.04.2016, 11:08

Вообще в юних-системах апач можно собрать или на "нитях" или на "процессах", у вас видимо второй вариант, он ни лучше и не хуже первого, просто концепция другая, и не так уж много у вас процессов висит,я думаю проблема не в апаче а в том, что он отдает как контент, т.е. надо оптимизировать сайт и php код (или на чём он у вас там), поставить кэширующий прокси и тому подобные танцы с бубуном

Начертательная · 13.05.2016, 21:14

С вероятностью 90% быдлокод в PHP. Спросите у саппорта хостинга, как поставить в логах процессорное время затраченное на генерацию страницы. Потом ищите те страницы которые создают нагрузку и удаляйте всю ненужную хрень.
Ещё 9% я б отдал на неадекватную работу с SQL, иногда бывает что в базе хранят массивы текста и даже фото.

Начертательная · 13.05.2016, 21:17

Цитата:

Сообщение от borro

А как оно обычно происходит, с обычными посетителями

Сервер не различает обычных и не-обычных. Если специально не настраивали, то алгоритм работы с ботами и посетителями одинаковый.

borro · 14.05.2016, 22:33

Цитата:

Сообщение от Начертательная

Спросите у саппорта хостинга, как поставить в логах процессорное время затраченное на генерацию страницы.

Здравствуйте! Спасибо. А это логи от какой программы или как называется такой лог?

Начертательная · 19.05.2016, 02:05

Цитата:

Сообщение от borro

как называется такой лог?

-конкретно, без понятия. К счастью, ещё потребности не возникало. Но логи и профили можно собирать на любом уровне: есть у Apache такая функция и можно в операционной системе или на виртуальной машине регистрировать ресурсы любых процессов. Спросите у поддержки хостинга, если эти ребята адекватные, они точно подскажут. Я даже не знаю что надо тыкать и куда смотреть, конкретно зависит от того, что и как у вас установлено.

Если у вас виртуальный хостинг, то при перегрузке, уже должны были бы прислать предупреждения.

06.04.2016, 15:51	#1 (permalink)
borro Member Регистрация: 01.09.2011 Сообщений: 108 Сказал(а) спасибо: 0 Поблагодарили 0 раз(а) в 0 сообщениях Репутация: 10	Куча процессов Apache2, которые вешают сайт Здравствуйте. Отслеживал результаты вывода команды top на Debian7. Возникают ситуации, когда запускается куча команд apache2, которые сжирают всю процессорную мощность, и сайт висит. 1. Сколько в принципе должно быть процессов apache2 для одного сайта, работающего на VPS и под какими пользователями они должны быть? Нагружающие процессы apache2 то возникают, то исчезают. 2. Как понять, что их инициализирует? В приложении снимок во время одной из таких пиковых ситуаций скриншот Юзер antilopa это тот, кому даны права на папку с сайтом, не root

06.04.2016, 15:51
Helpmaster Member Регистрация: 08.03.2016 Сообщений: 0	Решение для вашей проблемы возможно найдется тут куча вирусов куча проблем! куча троянов, которые не могу удалить куча вирусов(( Куча вирусов...

06.04.2016, 17:57	#3 (permalink)
AlexZir support Регистрация: 19.08.2007 Адрес: Зея Сообщений: 15,797 Записей в дневнике: 71 Сказал(а) спасибо: 166 Поблагодарили 203 раз(а) в 86 сообщениях Репутация: 75760	Вполне возможно, что это именно боты инициализируют запуск процессов, когда индексируют контент. Сайт может быть недоступен также из-за ограничений на пиковую нагрузку процессора, выставленных вашим хостером согласно условиям договора.

07.04.2016, 10:29	#5 (permalink)
AlexZir support Регистрация: 19.08.2007 Адрес: Зея Сообщений: 15,797 Записей в дневнике: 71 Сказал(а) спасибо: 166 Поблагодарили 203 раз(а) в 86 сообщениях Репутация: 75760	Зависит от настроек web-сервера и уровня оптимизированности сайта.

Ads
Яндекс Member Регистрация: 31.10.2006 Сообщений: 40200 Записей в дневнике: 0 Сказал(а) спасибо: 0 Поблагодарили 0 раз(а) в 0 сообщениях Репутация: 55070

07.04.2016, 11:08	#6 (permalink)
MagentaTiger Специалист Регистрация: 27.04.2015 Адрес: Москва Сообщений: 1,423 Записей в дневнике: 4 Сказал(а) спасибо: 52 Поблагодарили 53 раз(а) в 16 сообщениях Репутация: 18120	Вообще в юних-системах апач можно собрать или на "нитях" или на "процессах", у вас видимо второй вариант, он ни лучше и не хуже первого, просто концепция другая, и не так уж много у вас процессов висит,я думаю проблема не в апаче а в том, что он отдает как контент, т.е. надо оптимизировать сайт и php код (или на чём он у вас там), поставить кэширующий прокси и тому подобные танцы с бубуном

13.05.2016, 21:14	#7 (permalink)
Начертательная Member Регистрация: 03.05.2016 Сообщений: 33 Сказал(а) спасибо: 0 Поблагодарили 0 раз(а) в 0 сообщениях Репутация: 253	С вероятностью 90% быдлокод в PHP. Спросите у саппорта хостинга, как поставить в логах процессорное время затраченное на генерацию страницы. Потом ищите те страницы которые создают нагрузку и удаляйте всю ненужную хрень. Ещё 9% я б отдал на неадекватную работу с SQL, иногда бывает что в базе хранят массивы текста и даже фото.