Большое число активных клиентов - перегрузка

eddy_mut · Пт окт 03, 2008 1:57 pm

Всем привет.

При возрастании числа активных сессий свыше ста, сервер начинает тормозить, все ресурсы процессора съедает perl. Это приводит к невозможности авторизации, людей перестает пускать в интернет.

Что с этим можно сделать?

Это случилось после обновления сервера до последней версии абиллса.

С асмодеусом связаться не могу - в аське не отвечает. Центр поддержки разрывается звонками

ran · Сообщение **ran** » Пт окт 03, 2008 2:25 pm

Что с этим можно сделать?

ну... адназначна что-то оптимизировать... а что конкретно - нужна хоть какая-то инфа... покажи хоть top перегруженного сервера

первое что приходит в голову - разнести сервисы на разные сервера до достижения оптимальной производительности... уж по крайней мере NAS и абиллс - стопудово

eddy_mut · Пт окт 03, 2008 3:23 pm

Асмодеус обещал, что на нашем сервере потянет до 400-от сессий, а сейчас их ~130.

Ведь работало же до обновления.

Дело в том что такая же ситуация повторялась год назад, но тогда асмодеус заходил на сервер и что-то там исправлял, после чего все работало нормально год, пока не обновили опять.

eddy_mut · Пт окт 03, 2008 3:23 pm

last pid: 69856; load averages: 1.11, 1.36, 1.46 up 164+10:54:17 19:24:37
144 processes: 2 running, 142 sleeping
CPU states: 26.9% user, 0.0% nice, 6.0% system, 67.2% interrupt, 0.0% idle
Mem: 142M Active, 124M Inact, 115M Wired, 17M Cache, 59M Buf, 88M Free
Swap: 743M Total, 8424K Used, 734M Free, 1% Inuse

PID USERNAME THR PRI NICE SIZE RES STATE TIME WCPU COMMAND
69856 root 1 122 0 5596K 4852K RUN 0:00 15.00% perl5.8.8
62717 mysql 6 20 0 306M 74064K kserel 191:13 0.00% mysqld
57583 root 87 20 0 37860K 17448K kserel 80:31 0.00% mpd4
628 root 4 20 -15 22088K 20560K kserel 59:11 0.00% ipcad
373 root 1 96 0 1300K 424K select 46:33 0.00% syslogd
643 flowtools 1 96 0 2428K 1024K select 20:45 0.00% flow-capture
583 root 1 96 0 3352K 2432K select 14:33 0.00% bsnmpd
52353 root 1 -58 0 3812K 1948K bpf 8:04 0.00% tcpdump
689 root 1 96 0 3356K 260K select 7:55 0.00% sshd
722 root 1 96 0 3420K 860K select 5:58 0.00% sendmail
632 root 1 -58 0 3812K 1932K bpf 5:26 0.00% tcpdump
28888 root 1 -58 0 3884K 2064K bpf 5:21 0.00% tcpdump
74837 root 1 8 0 4092K 2912K wait 1:14 0.00% radiusd
733 root 1 8 0 1312K 204K nanslp 1:02 0.00% cron
526 root 1 96 0 1212K 6

eddy_mut · Пт окт 03, 2008 3:24 pm

Иногда вверху топа появляется по 4-5 процессов perl.

chtito2 · Пт окт 03, 2008 3:28 pm

Если 7-я FreeBSD, нажмите в top'е кнопку "a" и пришлите в таком формате, посмотрим что за перл.

И еще: попробуйте rlm_perl.

ran · Сообщение **ran** » Пт окт 03, 2008 3:35 pm

67.2% interrupt

ухты! а это шо за хрень??? у тя система в основном занимается обработкой каких-то прерываний

eddy_mut · Пт окт 03, 2008 5:11 pm

Асмодеус ответил в аське - сейчас вроде все нормализовалось

Думаю в будущем придется всё-таки разнести NAS и биллинг.

Пт окт 03, 2008 7:38 pm

eddy_mut писал(а):Асмодеус ответил в аське - сейчас вроде все нормализовалось
Думаю в будущем придется всё-таки разнести NAS и биллинг.

перешли на rlm_perl

ran · Сообщение **ran** » Сб окт 04, 2008 6:35 am

а всё-таки... поле интеррапт в топе не смущает?

chtito2 · Сб окт 04, 2008 7:45 am

Сетевушка возможно. systat -ifstat покажет справа чьи это прерывания. Если сетевушка, то некоторым из них можно врубить ifconfig -polling чтобы заменить модель прерываний на модель опрашиваний (предварительно пересобрав ядро с DEVICE_POLLING). Подробней о поддерживаемых устройствах в man 4 polling.

ran · Сообщение **ran** » Сб окт 04, 2008 8:30 am

Если сетевушка, то некоторым из них можно врубить ifconfig -polling чтобы заменить модель прерываний на модель опрашиваний

речь о том, что в любом случае - это ненормально и связано либо спроблемами с железом либо с криво собранным/настроенным ядром либо с кривыми дровами чего-то

chtito2 · Сб окт 04, 2008 8:38 am

Если трафика в единицу времени достаточно, а цпу не ахти, то такая загрузка - норма. То есть не то чтобы норма, но ожидаемо

chtito2 · Сб окт 04, 2008 8:44 am

eddy_mut, вы еще подождите две-три недели, пусть юзеры накачаются, вот когда у вас traffi2sql (вернее MySQL от него) начнет тормозить по роста архива их посещений в БД, тогда вспомните о моем патче

ran · Сообщение **ran** » Сб окт 04, 2008 10:00 am

chtito2 писал(а):Если трафика в единицу времени достаточно, а цпу не ахти, то такая загрузка - норма. То есть не то чтобы норма, но ожидаемо

не... ну яж не рассматриваю клинические случаи типа втыкания в целерон 400 с десяток сетевух (лучше всего - гигабитных )

хотя... встречались и таки "умельцы"

я о том что если железо сбалансировано - то см. выше