Большая загрузка swi и em1

[star]

Народ в общем проблема, в следующем, большая нагрузка swi и em1. Ната нет, всем раздаю реальные ИП. Abills 0.42, exppp. Собственно основная информация ниже.

Код: Выделить всё

Copyright (c) 1992-2008 The FreeBSD Project.
Copyright (c) 1979, 1980, 1983, 1986, 1988, 1989, 1991, 1992, 1993, 1994
        The Regents of the University of California. All rights reserved.
FreeBSD is a registered trademark of The FreeBSD Foundation.
FreeBSD 6.4-RELEASE #0: Mon Oct 12 03:06:26 UTC 2009
    star@user.v-lan.com.ua:/usr/src/sys/amd64/compile/MAIL-VLAN
ACPI APIC Table: <INTEL  DG41RQ  >
Timecounter "i8254" frequency 1193182 Hz quality 0
CPU: Intel(R) Core(TM)2 Quad CPU    Q6600  @ 2.40GHz (2399.97-MHz K8-class CPU)
  Origin = "GenuineIntel"  Id = 0x6fb  Stepping = 11
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0xe3bd<SSE3,RSVD2,MON,DS_CPL,VMX,EST,TM2,SSSE3,CX16,xTPR,PDCM>
  AMD Features=0x20100800<SYSCALL,NX,LM>
  AMD Features2=0x1<LAHF>
  Cores per package: 4
real memory  = 5368709120 (5120 MB)
avail memory = 4078592000 (3889 MB)
FreeBSD/SMP: Multiprocessor System Detected: 4 CPUs

При выводе команды топ видно, что даже при небольшой найгрузке (160 человек) уже наблюдаются проблемы.

Код: Выделить всё

last pid: 28568;  load averages:  2.52,  2.85,  2.72                                                                                  up 0+02:01:01  19:02:33
436 processes: 13 running, 410 sleeping, 13 waiting
CPU:  8.0% user,  0.0% nice, 13.7% system, 37.8% interrupt, 40.4% idle
Mem: 308M Active, 32M Inact, 121M Wired, 72K Cache, 214M Buf, 3394M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   16 root        1 -44 -163     0K    16K CPU2   2  54:27 71.58% swi1: net
   23 root        1 -68 -187     0K    16K WAIT   1  49:32 66.41% irq16: em1
   10 root        1 171   52     0K    16K RUN    3  85:54 49.12% idle: cpu3
   13 root        1 171   52     0K    16K RUN    0  77:03 40.77% idle: cpu0
   11 root        1 171   52     0K    16K RUN    2  67:02 33.84% idle: cpu2
   12 root        1 171   52     0K    16K RUN    1  55:11 19.24% idle: cpu1
19083 root        1  99    0  3660K  1220K select 0   0:20  8.54% pptpctrl
19084 root        1  98    0 13900K  3452K CPU2   0   0:19  7.32% ppp
13714 root        1  97    0  3848K  1408K select 0   0:42  5.08% pptpctrl
   22 root        1 -68 -187     0K    16K CPU2   2   4:01  4.44% irq17: em0
13715 root        1  97    0 13912K  3452K CPU0   2   0:43  4.30% ppp
22168 root        1  97    0  3868K  1428K select 1   1:22  4.00% pptpctrl
26342 root        1  97    0  3704K  1264K select 0   1:03  3.91% pptpctrl
22169 root        1  97    0 13900K  3468K RUN    3   1:26  3.66% ppp
18719 root        1  96    0  3664K  1224K select 1   2:02  2.54% pptpctrl
18720 root        1  96    0 13900K  3456K select 1   2:02  2.44% ppp
26343 root        1  96    0 13944K  3488K select 2   0:49  2.20% ppp
10634 root        1  96    0  3660K  1220K select 1   0:24  1.27% pptpctrl
27437 root        1  96    0 13904K  3448K select 0   0:11  1.22% ppp
10635 root        1  96    0 13944K  3484K select 2   0:23  1.17% ppp
25109 root        1  96    0 13776K  3488K select 0   0:05  1.17% ppp
12813 root        1  96    0 13848K  3432K select 1   2:05  1.12% ppp
27436 root        1  96    0  3660K  1220K select 0   0:11  1.12% pptpctrl
25108 root        1  96    0  3660K  1220K select 2   0:05  0.98% pptpctrl
12812 root        1  96    0  3852K  1412K select 0   1:56  0.93% pptpctrl
25208 root        1  96    0  3660K  1212K select 3   0:08  0.20% pptpctrl
26906 root        1  96    0  3660K  1220K select 3   0:05  0.20% pptpctrl
17533 root        1  96    0 13840K  3464K select 0   0:48  0.10% ppp
13797 root        1  96    0 13900K  3456K select 0   0:45  0.10% ppp
23679 root        1  96    0 13348K  2984K select 3   0:06  0.10% ppp
27954 root        1  96    0  3660K  1220K select 2   0:01  0.10% pptpctrl
12634 root        1  96    0  3756K  1316K select 0   0:51  0.05% pptpctrl
12635 root        1  96    0 13908K  3436K select 2   0:50  0.05% ppp
12193 root        1  96    0 13348K  2996K select 2   0:25  0.05% ppp
25209 root        1  96    0 13900K  3460K select 3   0:07  0.05% ppp
26907 root        1  96    0 13468K  3004K CPU2   1   0:05  0.05% ppp
11495 root        1  96    0  3660K  1220K select 3   0:03  0.05% pptpctrl
26235 root        1  96    0  3660K  1220K select 2   0:01  0.05% pptpctrl

Да и еще потери начинаются на внешнем интерфейсе

Код: Выделить всё

user# netstat -w1 -I em1
            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
     10432     0   12340254       6793     0    1319658     0
     12087     0   14470700       8187     0    1315946     0
     12134    30   14544822       8232     0    1360013     0
     10466    43   11971412       7071     0    1329221     0
      9342     0   10696734       6521     0    1318082     0
     10013     0   11144201       7377     0    1458858     0
     10151     0   11999111       6758     0    1274083     0
      9351     0   10652413       6847     0    1495174     0
     10227     0   11621749       7009     0    1375265     0

Код: Выделить всё

user# netstat -w1
            input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls
     30322     0   16460799      37537     0   39587402     0
     31375     0   17139401      39566     0   42553070     0
     33678     0   18424309      40183     0   40584328     0
     32661     0   18398263      39910     0   41968885     0
     27948     0   14805225      34493     0   35860758     0
     29777     0   15512084      36535     0   37772717     0
     35104     3   18513514      43566     0   45832603     0
     30693     0   16217347      37861     0   38739667     0
     28220     0   14453592      34210     0   34312774     0

Код: Выделить всё

user# ifconfig -an | grep tun | grep UP | wc -l
       167

В общем готов выслушать все идеи и предположения.

[sopov]

А почему у вас процессор Intel, а ядро из amd64 собиралось? Я бы посоветовал поставить 32 битную ос, mpd и интерфейсы em или fxp в режиме поллинга. Также отключить smp - т.к. польза от мультипроцессорности будет только на сервере биллинга с radius+mysql, а насу от нее только хуже.

Код: Выделить всё

nas2# ifconfig -an | grep ng | grep UP | wc -l
     878

Код: Выделить всё

nas2# netstat -w1 -I fxp1
            input          (fxp1)           output
   packets  errs      bytes    packets  errs      bytes colls
      13818     0     856404       14540     0    4498726     0
      13764     0     893619       14411     0    4278166     0
      13487     0     781380       14189     0    4263045     0
      13806     0     794355       14526     0    4581842     0
      13697     0     808411       14221     0    4559549     0
      13653     0     834169       14050     0    4107571     0
      13982     0     900316       14286     0    4260684     0
      13892     0     889096       14375     0    4388892     0
      13697     0     810056       14429     0    4496189     0
      13891     0     858860       14416     0    4586805     0
      13794     0     895104       14322     0    4381479     0
      13799     0     881283       14272     0    4291341     0

Код: Выделить всё

last pid: 74148;  load averages:  0.01,  0.09,  0.08   up 62+05:33:39  18:07:01
61 processes:  2 running, 45 sleeping, 14 waiting
CPU:  0.0% user,  0.0% nice,  0.4% system,  1.5% interrupt, 98.1% idle
Mem: 22M Active, 222M Inact, 157M Wired, 40K Cache, 112M Buf, 1601M Free
Swap: 4000M Total, 4000M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE    TIME   WCPU COMMAND
   10 root        1 171   52     0K     8K RUN    1309.8 96.88% idle
   11 root        1 -32 -151     0K     8K WAIT    24.9H  0.05% swi4: clock sio
   13 root        1 -44 -163     0K     8K WAIT   137.2H  0.00% swi1: net
    8 root        1 -68    0     0K     8K -      474:13  0.00% dummynet
   14 root        1  96    0     0K     8K -      146:38  0.00% yarrow
  829 root        3  20    0 31512K 11440K kserel  92:55  0.00% mpd5
   29 root        1  20    0     0K     8K syncer  41:25  0.00% syncer
  774 root        1  96    0  1408K  1080K select  15:23  0.00% syslogd
   27 root        1 171   52     0K     8K pgzero   9:15  0.00% pagezero
  720 root        1  96    0  2436K  2064K select   7:42  0.00% zebra
  726 root        1  96    0  3324K  2916K select   6:55  0.00% ospfd
   26 root        1 171   52     0K     8K pollid   3:07  0.00% idlepoll
   20 root        1 -64 -183     0K     8K WAIT     1:50  0.00% irq19: atapci1
    4 root        1  -8    0     0K     8K -        1:18  0.00% g_down
   32 root        1  96    0     0K     8K -        0:58  0.00% schedcpu
    2 root        1  -8    0     0K     8K -        0:57  0.00% g_event

Код: Выделить всё

FreeBSD 6.4-RELEASE #2: Thu Aug 20 12:29:26 EEST 2009
    root@nas2:/usr/obj/usr/src/sys/FAST
MPTable: <TEMPLATE ETEMPLATE   >
Timecounter "i8254" frequency 1193182 Hz quality 0
CPU: Intel(R) Core(TM)2 Duo CPU     E7400  @ 2.80GHz (2802.79-MHz 686-class CPU)
  Origin = "GenuineIntel"  Id = 0x1067a  Stepping = 10

[NiTr0]

А почему у вас процессор Intel, а ядро из amd64 собиралось?

Да очевидно потому, что amd64 - название 64бит архитектуры, разработанной АМД, а в последствии - реализованной и интелом в своих процессорах

Также отключить smp - т.к. польза от мультипроцессорности будет только на сервере биллинга с radius+mysql, а насу от нее только хуже.

Угу, и вместо 4 ядер пользовать одно Проще уже тогда целерон какой-то поставить, чтобы не мучиться...
Не говоря уже о том, что в бзде, говорят, шейпера благополучно пользуют все доступные ядра (в отличие от линукса, где шейпер обрабатывается тем же ядром, что получило пакет в прерывании от сетевухи).

2 топикстартер: было бы неплохо озвучить модель сетевухи - может с ней проблема собссно

[sopov]

Ну так а кто заставляет ставить такие процы под нас, если вы не сможете их полноценно использовать? Ну неработает нормально smp в 6.4, только в 7.2 немного исправили ситуацию благодаря SHED_ULE, зато вылезло куча других косяков. Следовательно какой смысл в 4 ядрах на сервере доступа если mpd и сетевому стеку от этого ни холодно ни жарко. Ядро следует собирать в соответствии с архитектурой железа, amd64 и EM-64T вовсе не одно и тоже... Автор указал что сетевая em1, а значит intel. В выводе команды top ясно видно что проблемы связаны с аномальной загрузкой процессора сетевой подсистемой freebsd swi1:net и poptop, плюс нагрузка от прирываний... Посмотрите на вывод команд с моего наса, при том, что мой проц гораздо слабее и сравните с тем, что у топикстартера. Свои рекомендации я описал выше...

[star]

Собственно как заметил sopov сетевые интел

Код: Выделить всё

em0: <Intel(R) PRO/1000 Network Connection Version - 6.7.3> port 0xd040-0xd07f mem 0xd04a0000-0xd04bffff,0xd0480000-0xd049ffff irq 17 at device 0.0 on pci4
em0: Ethernet address: 00:07:e9:0a:f4:0f
em1: <Intel(R) PRO/1000 Network Connection Version - 6.7.3> port 0xd000-0xd03f mem 0xd0440000-0xd045ffff,0xd0420000-0xd043ffff irq 16 at device 1.0 on pci4
em1: Ethernet address: 00:07:e9:0c:45:ce

Полинг отключен.С полингом ситуация еще хуже. С SMP работает на порядок лушче, причем сначала стоял для теста core duo, системе было еще тяжелей. Так нагрузка красиво разделилась на один проц на одну сетевуху, второй на вторую, а еще два проца остальным занимаются.
Но меня больше всего волнует вопрос почему на внешний интерфейс нагрузка выше чем на внутренний??? С чем это может быть связано, может че-то не так с железом. На внешней ведь нагрузка на порядок меньше, нет всяких ттпт сессий и т.д... Короче нонсенс.

По поводу ядра амд64 все правильно написал NiTr0 это название архитектуры а не тип процессора, просто первой на 64 разрядную прыгнула АМД. Потом это поддержал интел с добавлением своих инструкций и т.д.

А почему у вас процессор Intel, а ядро из amd64 собиралось? Я бы посоветовал поставить 32 битную ос, mpd и интерфейсы em или fxp в режиме поллинга. Также отключить smp - т.к. польза от мультипроцессорности будет только на сервере биллинга с radius+mysql, а насу от нее только хуже.

Этот сервер в данный момент еще держит еще и radius+mysql+apache

Сейчас

Код: Выделить всё

last pid:  7526;  load averages:  4.33,  4.37,  4.01                                                  up 1+05:15:25  22:16:57
490 processes: 28 running, 448 sleeping, 14 waiting
CPU:  8.9% user,  0.0% nice, 19.5% system, 46.9% interrupt, 24.7% idle
Mem: 347M Active, 340M Inact, 192M Wired, 214M Buf, 2897M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   16 root        1 -44 -163     0K    16K WAIT   2 738:28 93.21% swi1: net
   23 root        1 -68 -187     0K    16K CPU1   1 675:06 79.35% irq16: em1
   10 root        1 171   52     0K    16K RUN    3  21.7H 34.67% idle: cpu3
   11 root        1 171   52     0K    16K RUN    2  17.6H 33.20% idle: cpu2
   13 root        1 171   52     0K    16K RUN    0  19.4H 20.31% idle: cpu0
   12 root        1 171   52     0K    16K RUN    1 885:53 11.96% idle: cpu1
84521 root        1  99    0  3736K  1296K RUN    3   1:48  8.06% pptpctrl
84522 root        1  98    0 13960K  3512K RUN    2   1:22  6.15% ppp
 5593 root        1  98    0  3660K  1220K RUN    2   0:48  5.71% pptpctrl
   22 root        1 -68 -187     0K    16K WAIT   2  54:23  5.22% irq17: em0
96403 root        1  97    0  3664K  1224K select 2   1:22  4.44% pptpctrl
 5594 root        1  97    0 13852K  3476K select 3   0:43  4.10% ppp
 6329 root        1  97    0  3832K  1392K RUN    2   0:40  3.56% pptpctrl

Код: Выделить всё

user# wq
VPN users ONLINE: 194

наверно над поменять сетевую. Хотя на этой маме есть встроенная Интел 1000 но чето не видит ее 6.4. Можно для начала поиграться с дровами поставить поновей или вообще от яндекса

p.s. 2

Код: Выделить всё

sopov

ваша статистика с внутреннего интерфейса, а не с внешнего т.к. у вас трафик больше на отдачу. А у меня проблема почему-то именно на внешнем...
да и трафик у меня не 4 Мб/сек ,а у меня под 100 мбит это норма (что собственно около 12Мб) , а бывает и под 300мбит

Код: Выделить всё

user# netstat -w 1 -I em0
            input          (em0)           output
   packets  errs      bytes    packets  errs      bytes colls
      8167     0    2279771      10363     0   12460068     0
      8277     0    2398460      10638     0   12972808     0
      8023     0    2409063       9965     0   11917655     0
      8037     0    2242046      10288     0   12452616     0
      8017     0    2166441      10467     0   13050464     0
      8129     0    2319069      10011     0   11850380     0
^C
user# netstat -w 1 -I em1
            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
     10723    17   11488038       8420     0    2211479     0
     10579    26   10712365       8823     0    2112442     0
     10672    45   11120573       8469     0    2148805     0
     10732    28   10767217       8923     0    2260145     0
     10606    18   11153905       8751     0    2308823     0
     10918    42   11407304       8557     0    2117008     0
     10781     7   10673829       8890     0    2399784     0
     10921    45   11274292       8806     0    2495437     0
^C

Ошибки не радуют совсем ;(

не ну это финиш ;(

Код: Выделить всё

last pid:  8418;  load averages:  3.93,  4.32,  4.25                                                  up 1+05:32:09  22:33:41
486 processes: 18 running, 454 sleeping, 14 waiting
CPU: 10.0% user,  0.0% nice, 20.6% system, 51.2% interrupt, 18.3% idle
Mem: 345M Active, 343M Inact, 192M Wired, 214M Buf, 2896M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   16 root        1 -44 -163     0K    16K CPU0   2 754:35 99.07% swi1: net
   23 root        1 -68 -187     0K    16K WAIT   1 689:49 88.87% irq16: em1
   10 root        1 171   52     0K    16K RUN    3  21.7H 23.34% idle: cpu3
   11 root        1 171   52     0K    16K RUN    2  17.7H 21.63% idle: cpu2
 4736 root        1 103    0  3696K  1256K RUN    2   1:24 19.04% pptpctrl
 4737 root        1 102    0 13956K  3544K RUN    1   1:12 16.85% ppp
   13 root        1 171   52     0K    16K RUN    0  19.4H 12.01% idle: cpu0
   12 root        1 171   52     0K    16K RUN    1 887:28  7.37% idle: cpu1
   22 root        1 -68 -187     0K    16K WAIT   2  55:17  6.15% irq17: em0

[NiTr0]

Если траффик под 300 Мбит, и обе сетевухи pci - собссно ничего удивительного нет, потолок pci шины - порядка 700 Мбит. Ну может чуть больше (жесткой потолок в 700 Мбит - 350прием+350передача - я увидел на rtl8169). Если сетевухи pci-e - то возможно с железом проблемы...

[sopov]

Ошибки crc может давать просто битый патч-корд. Но нагрузка такая всеравно не нормально. Ваше железо может без проблем прокачать и 1G, но это при условии mpd и нормальной работы системы в целом. Трафик особого значения не имеет, гораздо важнее pps. Драйвера от яндекс тоже не панацея, т.к. это вобщемто тотже поллинг, только немного извращенный - тут гдето было обсуждение. Также необходимо поменять некоторые значения sysctl.

[star]

Ошибки crc может давать просто битый патч-корд. Но нагрузка такая всеравно не нормально. Ваше железо может без проблем прокачать и 1G, но это при условии mpd и нормальной работы системы в целом. Трафик особого значения не имеет, гораздо важнее pps. Драйвера от яндекс тоже не панацея, т.к. это вобщемто тотже поллинг, только немного извращенный - тут гдето было обсуждение. Также необходимо поменять некоторые значения sysctl.

Если есть возможность на mpd поделить трафик на мир и Украину - научите, я пока не вижу возможности перейти с exppp на mpd.
С патчкодром - идея нравится, по крайней мере это логически подходит, т.к. визически нагрузка на em1 меньше чем на em0 , а ведет он себя как нагруженный в три-пять да чего-там десять раз больше .
Относительно пропускной способности PCI

Код: Выделить всё

Типы PCI-слотов
    * PCI 2.0 — первая версия базового стандарта, получившая широкое распространение, использовались как карты, так и слоты с сигнальным напряжением только 5 В. Пиковая пропускная способность — 133 Мбайт/с;
    * PCI 2.1-3.0 — отличались от 2.0 возможностью одновременной работы нескольких bus-master устройств (т. н. конкурентный режим), а также появлением универсальных карт расширения, способных работать как в 5 В, так и в 3,3 В слотах (с частотой 33 и 66 МГц соответственно). Пиковая пропускная способность для 33 МГц — 133 Мбайт/с, а для 66 МГц — 266 Мбайт/с; 

Итого в самом худшем случае PCI слот пропускает через себя 133МегаБАЙТА /Сек, что умножив на 8 получм в МЕГАБИТАХ 1064, собственно больше 1000 мегабит/сек (1 Gb/s) поэтому пинять на PCI разьем пока рановато. Хотя не исключаю и такой вожможности, что проблемы с PCI слотом могут быть.

[NiTr0]

Итого в самом худшем случае PCI слот пропускает через себя 133МегаБАЙТА /Сек

Нет, это самый лучший, идеальный случай "сферического коня в вакууме".
Т.к. :
1) На PCI мультиплексированная шина адреса/данных - т.е. и адрес, и данные передаются по одним и тем же линиям
2) Передаются-то не только пакеты, но и собссно управляющая информация девайса
3) Пропускная способность распределяется между всеми устройствами на шине - т.к. линии адреса-данных во всех слотах запараллелены
4) ...продолжать?

Я лично убедился в потолке 700 мбит для PCI карточки от реалтека (для других, возможно, это значение будет несколько другим - но тоже этого порядка, ИМХО +- несколько десятков Мбит) - на графиках кактуса это четко было видно Топикстартер похоже к этому потолку и приблизился...

[sopov]

Все может быть, но давайте начнем с простого - поменяем патчкорд и ядро на i386 + включим polling, а в sysctl.conf добавим примерно это:

Код: Выделить всё

net.inet.ip.fw.verbose=1
net.inet.ip.fw.verbose_limit=100
net.inet.tcp.blackhole=2
kern.ipc.somaxconn=8192
kern.ipc.maxsockets=204800
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=1
net.inet.ip.redirect=0
net.inet6.ip6.redirect=0
net.inet.ip.intr_queue_maxlen=5000
kern.ipc.maxsockbuf=8388608
net.inet.tcp.sendspace=3217968
net.inet.tcp.recvspace=3217968
####Polling####
kern.polling.enable=1
kern.polling.burst_max=1000
kern.polling.each_burst=50
#kern.polling.idle_poll=1
kern.polling.user_frac=50
net.inet.ip.fastforwarding=1
net.inet.ip.portrange.randomized=0
net.inet.ip.dummynet.hash_size=512
net.inet.ip.dummynet.io_fast=1
net.inet.tcp.nolocaltimewait=1
net.inet.tcp.maxtcptw=40960
net.inet.ip.portrange.first=1024
net.graph.recvspace=128000
net.graph.maxdgram=128000
kern.ipc.nmbclusters=65536

А дальше будет видно... Деление трафика на зоны в MPD5 уже риализированно в ABillS 0.5

[star]

Так, хочу отчитаться о проведенной работе.
При так называемом внешнем осмотре было обнаружено, что на чипах сетевых карт была высокая температура, палец на чипе удержать было нереально. Решил установить радиаторы, и обдув.
Радиаторы взял со старых мамок, один толщиной примерно 7мм, второй более 20и мм. В качестве пружины использовал стальную проволоку от самоподвесного оптического кабеля finmark. Что получилось в итоге? В итоге получилось примерно следующее.

Код: Выделить всё

CPU:  7.6% user,  0.0% nice, 15.0% system, 38.9% interrupt, 38.5% idle
Mem: 272M Active, 18M Inact, 124M Wired, 48K Cache, 163M Buf, 3440M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   16 root        1 -44 -163     0K    16K WAIT   2  25:01 68.07% swi1: net
   23 root        1 -68 -187     0K    16K CPU1   1  25:30 61.62% irq16: em1
   10 root        1 171   52     0K    16K RUN    3  54:12 58.45% idle: cpu3
   13 root        1 171   52     0K    16K RUN    0  49:50 46.39% idle: cpu0
   11 root        1 171   52     0K    16K RUN    2  40:52 37.16% idle: cpu2
   12 root        1 171   52     0K    16K RUN    1  33:59 21.63% idle: cpu1
14026 root        1  98    0  3696K  1256K select 2   1:23 10.45% pptpctrl
14027 root        1  98    0 13948K  3464K RUN    3   1:19  9.33% ppp
 6334 root        1  97    0  3700K  1260K select 0   2:31  6.01% pptpctrl
   22 root        1 -68 -187     0K    16K WAIT   2   2:07  4.79% irq17: em0
 6335 root        1  97    0 13908K  3452K select 2   2:03  3.86% ppp
15540 root        1  96    0  3732K  1292K select 0   0:17  3.12% pptpctrl
15541 root        1  96    0 13856K  3448K RUN    0   0:17  2.98% ppp
 8271 root        1  96    0 13844K  3420K select 2   0:20  1.37% ppp
16075 root        1  96    0  3764K  1324K select 0   0:12  1.22% pptpctrl
16076 root        1  96    0 13408K  2992K select 0   0:12  1.17% ppp
 8270 root        1  96    0  3724K  1284K select 0   0:18  0.98% pptpctrl
13793 root        1  96    0  3660K  1220K select 2   0:18  0.88% pptpctrl
13794 root        1  96    0 13900K  3440K select 3   0:18  0.78% ppp
11148 root        1  96    0  3660K  1220K select 2   0:04  0.29% pptpctrl
10779 root        1  96    0  3660K  1220K select 0   0:21  0.15% pptpctrl
14340 root        1  96    0 13732K  3428K select 2   0:07  0.15% ppp
 8343 root        1  96    0 13904K  3428K select 2   0:57  0.10% ppp
10780 root        1  96    0 13928K  3476K select 1   0:21  0.10% ppp
 8342 root        1  96    0  3660K  1220K select 0   0:54  0.05% pptpctrl
12249 root        1  96    0  3660K  1220K select 3   0:07  0.05% pptpctrl
 7385 root        1  96    0  3736K  1296K select 2   0:06  0.05% pptpctrl
16163 root        1  96    0 13908K  3468K CPU3   3   0:03  0.05% ppp

user# wq
VPN users ONLINE: 152

Нагрузка на сетевой интерфейс так и не упала

Код: Выделить всё

user# netstat -w1 -I em1
            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
      8353     0    7678723       7113     0    1771345     0
      9930     0    9639713       8173     0    2199511     0
      8429     0    7464997       7593     0    2357299     0
      8773     0    8033827       7188     0    1546070     0
      6988     0    5988002       6127     0    1862548     0
      6505     0    5156461       5940     0    1930618     0
      8587     0    8305953       7049     0    1691774     0
      8380     0    8293366       7032     0    1861950     0
      8893     0    8309999       7644     0    2324098     0
      9296     0    9095267       7840     0    2160971     0
      9674     0    9452181       7873     0    1819405     0

ошибок пока не наблюдаю.
Странички вылетают как из автомата , что собственно радует
Онтосительно i386 - пробывал, становится только хуже.
Параметры sysctl такие-же как у Вас.
С полингом даже при небольшой нагрузке идут большие потери, кстати о полинге параметр kern.polling.enable=1 вам выдаст примерно следующую ошибку. "kernel: kern.polling.enable is deprecated (осужденное). Use ifconfig(8)",т.к. правильно включать полниг именно на сетевых картах ifconfig em0 polling или выключать его ifconfig em0 -polling.

А дальше будет видно... Деление трафика на зоны в MPD5 уже риализированно в ABillS 0.5

да че-то пока не решаюсь я на него переходить. Хотя думаю это будет логичным завершением этой эпопеи
Сначала подниму еще одни сервер с core cuad + freebsd 7.2 + mpd5 + abills 5.0 потестим тихонько денек - два - недельку . А потом и если все будет ок, то перейдем.

Код:
nas2# ifconfig -an | grep ng | grep UP | wc -l
     878

Я у Вас пользователи по ППТП или ППОЕ авторизируются ?
-------
не, те-же яйца ;(

Код: Выделить всё

user# netstat -w1 -I em1
            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
     12234    38   14114260       9321     0    2397174     0
     12166    21   14256573       9255     0    2294592     0
     11935    37   13809185       9545     0    2450576     0
     11711    15   13135877       9330     0    2509225     0
     12363    32   13133876      10235     0    2987771     0
     11682    37   13224536       9508     0    2894967     0
     11749     0   13137745       9561     0    3113254     0
^C
user# wq
VPN users ONLINE: 180

Код: Выделить всё

last pid: 19639;  load averages:  3.92,  2.99,  2.74                                                                                  up 0+01:37:44  20:04:07
462 processes: 14 running, 436 sleeping, 12 waiting
CPU:  2.5% user,  0.0% nice, 13.0% system, 26.0% interrupt, 58.5% idle
Mem: 304M Active, 18M Inact, 133M Wired, 48K Cache, 168M Buf, 3397M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   16 root        1 -44 -163     0K    16K CPU2   2  43:00 87.21% swi1: net
   23 root        1 -68 -187     0K    16K CPU1   1  41:04 85.74% irq16: em1
   10 root        1 171   52     0K    16K RUN    3  72:45 34.77% idle: cpu3
   11 root        1 171   52     0K    16K RUN    2  53:57 28.08% idle: cpu2
   13 root        1 171   52     0K    16K RUN    0  64:53 24.76% idle: cpu0
18396 root        1 102    0  3660K  1220K select 2   0:17 22.66% pptpctrl
18397 root        1 101    0 13932K  3484K select 3   0:15 19.97% ppp
   12 root        1 171   52     0K    16K RUN    1  43:00 10.25% idle: cpu1
   22 root        1 -68 -187     0K    16K CPU2   2   3:16  5.03% irq17: em0
18903 root        1  97    0  3660K  1220K select 1   0:10  3.52% pptpctrl

[sopov]

У меня ppoe. Кстати 1 нас на базе обычного одноядерного 2.8 HT без smp имеет точно такуюже нагрузку как в моих листингах по 2 насу, так что разницы в проце не ощущаю.
Полинг на обоих насах включен только kern.polling.enable=1 с HZ=1000. У вас машина от прерываний на em1 загибается, хотя в тоже время em0 свободна.

[star]

У меня ppoe. Кстати 1 нас на базе обычного одноядерного 2.8 HT без smp имеет точно такуюже нагрузку как в моих листингах по 2 насу, так что разницы в проце не ощущаю.
Полинг на обоих насах включен только kern.polling.enable=1 с HZ=1000. У вас машина от прерываний на em1 загибается, хотя в тоже время em0 свободна.

Не совсем согласен относительно прерываний. Т.к.

Код: Выделить всё

CPU:  5.8% user,  0.0% nice, 13.4% system, 30.3% interrupt, 50.5% idle
Mem: 302M Active, 21M Inact, 171M Wired, 40K Cache, 214M Buf, 3354M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME  THR PRI NICE   SIZE    RES STATE  C   TIME   WCPU COMMAND
   16 root        1 -44 -163     0K    16K WAIT   2 206:20 71.04% swi1: net
   10 root        1 171   52     0K    16K RUN    3 238:07 55.32% idle: cpu3
   23 root        1 -68 -187     0K    16K CPU1   1 190:27 53.52% irq16: em1
   13 root        1 171   52     0K    16K RUN    0 202:06 47.07% idle: cpu0
   11 root        1 171   52     0K    16K RUN    2 172:21 41.80% idle: cpu2
   12 root        1 171   52     0K    16K RUN    1 126:33 28.86% idle: cpu1
   22 root        1 -68 -187     0K    16K WAIT   2  14:51  3.96% irq17: em0

в это-же время

Код: Выделить всё

user# systat -vmstat 1

    2 users    Load  2.61  3.06  3.16                  Oct 24 19:25

Mem:KB    REAL            VIRTUAL                       VN PAGER   SWAP PAGER
        Tot   Share      Tot    Share    Free           in   out     in   out
Act  326668   13784   563060    17424 3437308  count
All  371472   16536  4950944    21088          pages
Proc:                                                            Interrupts
  r   p   d   s   w   Csw  Trp  Sys  Int  Sof  Flt     26 cow   16090 total
  9         391   7   52k  105 162k  19k  507  100     50 zfod        atkbd0 1
                                                       50 ozfod  3030 em1 irq16
11.1%Sys  27.2%Intr  6.6%User  0.0%Nice 55.2%Idle     100%ozfod  5072 em0 irq17
|    |    |    |    |    |    |    |    |    |    |       daefr       atapci1 19
======+++++++++++++>>>                                  7 prcfr  2020 cpu0: time
                                        24 dtbuf       33 totfr  1974 cpu3: time
Namei     Name-cache   Dir-cache    100000 desvn          react  2020 cpu1: time
   Calls    hits   %    hits   %     16331 numvn          pdwak  1974 cpu2: time
      34      34 100                  6846 frevn          pdpgs
                                                          intrn
Disks   ad4                                        175240 wire
KB/t   0.00                                        306344 act
tps       0                                         21144 inact
MB/s   0.00                                            48 cache
%busy     0                                       3437260 free
                                                   219632 buf

Если обратить внимание на прерывания то , 3030 em1 irq16 и 5072 em0 irq17, как-же так нагрузка по прерываниям почти в два раза меньше, а интерфейс ложится

[sopov]

Мне кажется, что 30.3% interrupt и 53.52% irq16: em1 в top многовато. Что будет если включить поллинг с kern.polling.idle_poll=0 ?

[star]

Мне кажется, что 30.3% interrupt и 53.52% irq16: em1 в top многовато. Что будет если включить поллинг с kern.polling.idle_poll=0 ?

Говорю-же с полингом все намного хуже .

Код: Выделить всё

user# netstat -w1 -I em1
            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
     10936     5   10680946       9659     0    2185626     0
     11426     5   11625259       8875     0    1771435     0
     11512     5   11007638       9770     0    2349282     0
     10818     8   10655428       9641     0    2253676     0
     12543    52   11921352      10101     0    2210575     0
     12064    11   12084861       9790     0    1986747     0
     11524    52   11548049       9778     0    2287935     0
^C
user# ifconfig em1 polling
user# netstat -w1 -I em1
            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
      4896   299    3403687       5154     0    1688161     0
      4762   276    3113930       5438     0    1712457     0
      4935   241    3171720       5776     0    1693025     0
      4706   183    2905840       5373     0    1593387     0
      4782   269    2818827       5252     0    1420250     0
      4700   213    2694358       5704     0    1531504     0
      4862   315    2870382       5641     0    1758218     0
      4847   227    3156678       5498     0    1693314     0
      4732   378    3208700       5744     0    1702770     0
^C
user# ifconfig em1 -polling
user# netstat -w1 -I em1
            input          (em1)           output
   packets  errs      bytes    packets  errs      bytes colls
     11148   113   11320259       9429     0    2209877     0
     11892   127   11804648       9614     0    1972943     0
     11494   142   11496907       9746     0    1916839     0
     11234    77   11556694       9359     0    2009487     0
     11722    90   11597012       9728     0    1957351     0
     11833    27   11817432       9740     0    2068165     0
     11183   119   10927169       9616     0    2101142     0
^C
user# wq
VPN users ONLINE: 184