Велике навантаження на мережевий інтерфейс

andre13161
Сообщения: 30
Зарегистрирован: Вс сен 26, 2010 11:42 pm

Велике навантаження на мережевий інтерфейс

Сообщение andre13161 »

Всім привіт.
До недавнього часу все працювало без ніяких збоїв. І тут вчора захожу і бачу печальну річ, мережевий інтерфейс який дивиться в світ грузить процесор на 100%

top -SHPI

(статистика взята сьогодні не в пік)

Код: Выделить всё

last pid:  5117;  load averages:  1.29,  1.14,  0.74    up 0+00:14:32  13:07:09
100 processes: 5 running, 77 sleeping, 5 zombie, 13 waiting
CPU 0: 11.6% user,  0.0% nice,  5.2% system, 26.9% interrupt, 56.3% idle
CPU 1: 26.1% user,  0.0% nice, 12.3% system,  0.0% interrupt, 61.6% idle
CPU 2: 18.3% user,  0.0% nice,  5.2% system, 14.6% interrupt, 61.9% idle
CPU 3: 26.9% user,  0.0% nice, 10.4% system,  0.4% interrupt, 62.3% idle
Mem: 42M Active, 21M Inact, 65M Wired, 148K Cache, 46M Buf, 1870M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   12 root     171 ki31     0K     8K CPU2    2  10:13 71.88% idle: cpu2
   11 root     171 ki31     0K     8K CPU3    3   9:53 71.19% idle: cpu3
   13 root     171 ki31     0K     8K RUN     1   9:42 67.19% idle: cpu1
   14 root     171 ki31     0K     8K RUN     0   8:51 62.26% idle: cpu0
   33 root     -68    -     0K     8K WAIT    0   3:27 30.86% irq28: bge0
   34 root     -68    -     0K     8K WAIT    2   1:11 11.28% irq29: bge1
    4 root     -68    -     0K     8K sleep   1   0:33  3.56% ng_queue2
    3 root     -68    -     0K     8K sleep   3   0:33  3.37% ng_queue1
    5 root     -68    -     0K     8K sleep   1   0:33  3.37% ng_queue3
    2 root     -68    -     0K     8K sleep   3   0:33  3.27% ng_queue0
netstat -hdw 1 -i bge0

Код: Выделить всё

    input        (Total)           output
   packets  errs      bytes    packets  errs      bytes colls drops
      7.0K     0       4.0M       6.6K     0       5.3M     0     0
      7.0K     0       4.3M       6.4K     0       5.1M     0     0
      6.9K     0       4.3M       6.7K     0       5.6M     0     0
      6.6K     0       4.1M       6.2K     0       5.2M     0     0
      6.7K     0       4.0M       6.6K     0       5.4M     0     0
      7.4K     0       4.4M       7.2K     0       6.1M     0     0
      8.3K     0       5.4M       7.8K     0       6.6M     0     0
      7.7K     0       4.4M       7.3K     0       5.8M     0     0
      7.8K     0       4.9M       7.2K     0       5.9M     0     0
      8.4K     0       4.8M       7.8K     0       5.9M     0     0
      7.8K     0       4.6M       7.4K     0       5.9M     0     0
      7.1K     0       4.4M       6.3K     0       4.9M     0     0
      8.2K     0       4.6M       7.6K     0       5.9M     0     0
      7.3K     0       4.5M       7.0K     0       5.7M     0     0
      6.8K     0       3.8M       6.6K     0       5.1M     0     0
      8.0K     0       4.6M       7.7K     0       6.1M     0     0
      7.0K     0       4.0M       6.6K     0       5.1M     0     0
      7.1K     0       4.4M       6.6K     0       5.3M     0     0
      7.8K     0       4.8M       7.0K     0       5.5M     0     0
      7.7K     0       4.4M       7.3K     0       5.5M     0     0

Методом тику і виключень було найдено що навантажує інтерфес тільки незрозуміло чому
правила фаєрвола

ipfw show

Код: Выделить всё

00100    8058    1503536 allow ip from any to any via lo0
00200       0          0 deny ip from any to 127.0.0.0/8
00300       0          0 deny ip from 127.0.0.0/8 to any
01200 1512820  581962799 nat 1 ip from table(2) to any via bge0
01300 2103501 1906113498 nat 1 ip from any to (зовнішній ІР) via bge0
08801       0          0 fwd 127.0.0.1,80 tcp from table(32) to any dst-port 80 via ng*
08811       0          0 allow ip from table(32) to (DNS1) dst-port 53 via ng*
08811       0          0 allow ip from table(32) to (DNS2) dst-port 53 via ng*
08831       0          0 deny ip from table(32) to any via ng*
09970       0          0 skipto 10130 ip from table(14) to table(3) in recv ng*
09975       0          0 skipto 10135 ip from table(3) to table(15) out xmit ng*
09980       0          0 skipto 10120 ip from table(12) to table(2) in recv ng*
09985       0          0 skipto 10125 ip from table(2) to table(13) out xmit ng*
10000 1778904  626637295 netgraph tablearg ip from table(10) to any in recv ng*
10010 2112179 2176656695 netgraph tablearg ip from any to table(11) out xmit ng*
10020       0          0 allow ip from table(9) to any in recv ng*
10025       0          0 allow ip from any to table(9) out xmit ng*
10120       0          0 netgraph tablearg ip from table(12) to any in recv ng*
10125       0          0 netgraph tablearg ip from any to table(13) out xmit ng*
10130       0          0 netgraph tablearg ip from table(14) to any in recv ng*
10135       0          0 netgraph tablearg ip from any to table(15) out xmit ng*
10220       0          0 allow ip from table(9) to table(2) in recv ng*
10225       0          0 allow ip from table(2) to table(9) out xmit ng*
10230       0          0 allow ip from table(9) to table(3) in recv ng*
10235       0          0 allow ip from table(3) to table(9) out xmit ng*
65535  996156  575699152 allow ip from any to any
Ставлю правило на початку

Код: Выделить всё

ipfw add 10 allow all from any to any
з інтерфейсу зникає навантаження, але при цьому інтернету не мають ті, хто натиться. А в кого біла ІР адреса то все гуд.

При видалені правил

Код: Выделить всё

01200 1512820  581962799 nat 1 ip from table(2) to any via bge0
01300 2103501 1906113498 nat 1 ip from any to (зовнішній ІР) via bge0
Навантаження падає.

Тепер питання:
Чому таке навантаження викликає фаєрвол на інтерфейс?
Чи це просто інтерфейс глючний?

Відмічу що до цього часу все працювало більше як 2 роки без збоїв і нарікань
Ніяких коректив не вносив

andre13161
Сообщения: 30
Зарегистрирован: Вс сен 26, 2010 11:42 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение andre13161 »

Код: Выделить всё

last pid: 33785;  load averages:  3.63,  3.44,  3.38                                                                               up 0+02:56:32  15:49:09
119 processes: 9 running, 93 sleeping, 6 zombie, 11 waiting
CPU 0:  6.0% user,  0.0% nice,  5.6% system, 57.1% interrupt, 31.2% idle
CPU 1: 15.0% user,  0.0% nice, 28.8% system,  1.9% interrupt, 54.3% idle
CPU 2: 19.1% user,  0.0% nice, 11.2% system, 18.4% interrupt, 51.3% idle
CPU 3: 27.7% user,  0.0% nice, 19.1% system,  1.9% interrupt, 51.3% idle
Mem: 56M Active, 27M Inact, 129M Wired, 924K Cache, 107M Buf, 1786M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   33 root     -68    -     0K     8K CPU0    0  63:14 65.28% irq28: bge0
   11 root     171 ki31     0K     8K RUN     3 103:56 40.38% idle: cpu3
   13 root     171 ki31     0K     8K RUN     1 101:18 38.96% idle: cpu1
   12 root     171 ki31     0K     8K RUN     2  97:00 36.47% idle: cpu2
   14 root     171 ki31     0K     8K RUN     0  81:49 25.49% idle: cpu0
   34 root     -68    -     0K     8K CPU2    2  27:50 21.97% irq29: bge1
    5 root     -68    -     0K     8K sleep   3  12:28 12.16% ng_queue3
    3 root     -68    -     0K     8K CPU1    1  12:27 11.96% ng_queue1
    4 root     -68    -     0K     8K sleep   3  12:37 11.47% ng_queue2
    2 root     -68    -     0K     8K sleep   3  12:29 11.28% ng_queue0
   15 root     -32    -     0K     8K WAIT    3   5:06  1.46% swi4: clock
33785 root      72    0  8908K  6908K CPU2    2   0:00  0.00% perl5.8.9
и до недавна load averages неподымался выше 0,3 (в основном 0,1-0,3 в работе)
а сейчас load averages: 3.63, 3.44, 3.38
Последний раз редактировалось andre13161 Чт янв 31, 2013 3:44 pm, всего редактировалось 1 раз.

andre13161
Сообщения: 30
Зарегистрирован: Вс сен 26, 2010 11:42 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение andre13161 »

самое странное то, что после ребута сервера при том же количесте абонентов загрузка растёт динамически

andre13161
Сообщения: 30
Зарегистрирован: Вс сен 26, 2010 11:42 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение andre13161 »

Код: Выделить всё

last pid: 72824;  load averages:  1.19,  1.06,  0.85                                                 up 1+06:50:11  10:59:47
103 processes: 7 running, 80 sleeping, 4 zombie, 12 waiting
CPU 0:  0.0% user,  0.0% nice,  1.5% system, 97.8% interrupt,  0.7% idle
CPU 1: 13.9% user,  0.0% nice, 57.7% system,  2.6% interrupt, 25.8% idle
CPU 2: 15.0% user,  0.0% nice,  9.0% system, 10.9% interrupt, 65.2% idle
CPU 3:  5.6% user,  0.0% nice, 26.2% system,  1.5% interrupt, 66.7% idle
Mem: 54M Active, 875M Inact, 196M Wired, 96K Cache, 112M Buf, 874M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   33 root     -68    -     0K     8K CPU2    1 372:38 100.00% irq28: bge0
   11 root     171 ki31     0K     8K CPU3    3  25.4H 71.39% idle: cpu3
   12 root     171 ki31     0K     8K RUN     2  24.7H 69.78% idle: cpu2
   13 root     171 ki31     0K     8K RUN     1  24.4H 37.16% idle: cpu1
    5 root     -68    -     0K     8K sleep   0  76:06 25.20% ng_queue3
    3 root     -68    -     0K     8K sleep   0  76:33 23.68% ng_queue1
    4 root     -68    -     0K     8K CPU0    0  77:08 19.87% ng_queue2
   34 root     -68    -     0K     8K WAIT    3 160:11 18.36% irq29: bge1
    2 root     -68    -     0K     8K sleep   0  76:51 16.36% ng_queue0
   15 root     -32    -     0K     8K WAIT    1  40:02  0.68% swi4: clock

andre13161
Сообщения: 30
Зарегистрирован: Вс сен 26, 2010 11:42 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение andre13161 »

А ето могут быть атаки из вне? Ато чтото какаято вобще хрень творится

sopov
Сообщения: 610
Зарегистрирован: Вс апр 02, 2006 7:13 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение sopov »

Не используйте адаптеры broadcom на серверах доступа! Нужно использовать igb intel pro et. И раскидать их прерывания по ядрам.

andre13161
Сообщения: 30
Зарегистрирован: Вс сен 26, 2010 11:42 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение andre13161 »

приплыли

Код: Выделить всё

last pid: 22366;  load averages:  0.26,  0.25,  0.37                                                                    up 0+03:11:32  15:42:35
107 processes: 7 running, 89 sleeping, 11 waiting
CPU 0:  0.0% user,  0.0% nice,  0.0% system,  100% interrupt,  0.0% idle
CPU 1:  1.5% user,  0.0% nice,  1.9% system,  0.7% interrupt, 95.9% idle
CPU 2:  0.0% user,  0.0% nice,  0.4% system, 65.8% interrupt, 33.8% idle
CPU 3: 10.1% user,  0.0% nice, 18.7% system,  0.7% interrupt, 70.4% idle
Mem: 50M Active, 46M Inact, 108M Wired, 140K Cache, 112M Buf, 1794M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   33 root     -68    -     0K     8K CPU0    0  59:37 100.00% irq28: bge0
   11 root     171 ki31     0K     8K RUN     3 161:04 87.16% idle: cpu3
   13 root     171 ki31     0K     8K CPU1    1 165:18 85.16% idle: cpu1
   34 root     -68    -     0K     8K CPU2    2  21:06 82.28% irq29: bge1
   12 root     171 ki31     0K     8K RUN     2 155:59 24.27% idle: cpu2
    2 root     -68    -     0K     8K sleep   3   9:59  3.27% ng_queue0
    4 root     -68    -     0K     8K sleep   1  10:07  0.88% ng_queue2
   14 root     171 ki31     0K     8K RUN     0 123:59  0.39% idle: cpu0


andre13161
Сообщения: 30
Зарегистрирован: Вс сен 26, 2010 11:42 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение andre13161 »

sopov писал(а):Не используйте адаптеры broadcom на серверах доступа! Нужно использовать igb intel pro et. И раскидать их прерывания по ядрам.
Может и так.
Просто проработало очень долго и тут пришол пипец...
Вчера была попытка замены сетевухи результат нулевой

sopov
Сообщения: 610
Зарегистрирован: Вс апр 02, 2006 7:13 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение sopov »

Покажите netstat -w 1 -I bge0. Там нат?

andre13161
Сообщения: 30
Зарегистрирован: Вс сен 26, 2010 11:42 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение andre13161 »

Сейчас немогу, сервера в дауне (тупо завис)
Невидно из вне
Но могу сказать что при том, когда подымалась нагрузка были ероры и пакето пропадали и скорость падала практически до нуля

Код: Выделить всё

      1.1K     557       1.1M       1.0K     0       0,7M     0     0

както так

тоисть были ероры

andre13161
Сообщения: 30
Зарегистрирован: Вс сен 26, 2010 11:42 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение andre13161 »

забыл сказать что у меня в настройках системы прописано

Код: Выделить всё

net.inet.tcp.blackhole=2
   net.inet.udp.blackhole=1

sopov
Сообщения: 610
Зарегистрирован: Вс апр 02, 2006 7:13 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение sopov »

Скорее всего проблема хардварная. Может даже патчкорд.. Но посмотрите trafshow что там происходит. И все таки поменяйте сетевые на igb.
Вот sysctl с живого браса на 1500 онлайна и 800 мегабит трафика.

Код: Выделить всё

hw.acpi.power_button_state=NONE
dev.igb.0.enable_aim=0
dev.igb.0.flow_control=0
dev.igb.0.rx_processing_limit=4096
dev.igb.1.enable_aim=0
dev.igb.1.flow_control=0
dev.igb.1.rx_processing_limit=4096
kern.ipc.somaxconn=32768
kern.ipc.maxsockets=204800
kern.ipc.maxsockbuf=16777216
kern.ipc.nmbclusters=262144
kern.polling.enable=0
kern.polling.burst_max=1000
kern.polling.each_burst=50
#kern.polling.idle_poll=1
kern.polling.user_frac=50
net.link.ether.inet.log_arp_wrong_iface=0
net.inet.ip.ttl=128
net.inet.ip.portrange.first=1024
net.inet.ip.fastforwarding=0
net.inet.ip.fw.verbose=1
net.inet.ip.fw.debug=0
net.inet.ip.portrange.randomized=0
net.inet.ip.dummynet.hash_size=2048
net.inet.ip.dummynet.io_fast=1
net.inet.ip.fw.dyn_buckets=2048
net.inet.ip.fw.dyn_max=16384
net.inet.ip.fw.verbose=1
net.inet.ip.fw.verbose_limit=100
net.inet.ip.redirect=0
####net.inet.ip.intr_queue_maxlen=256
net.inet.ip.intr_queue_maxlen=10000
############test##############
net.inet.icmp.icmplim=1000
net.route.netisr_maxqlen=512
##############################
net.inet6.ip6.redirect=0
net.inet.tcp.nolocaltimewait=1
net.inet.tcp.maxtcptw=40960
net.inet.tcp.sendspace=3217968
net.inet.tcp.recvspace=3217968
net.inet.udp.recvspace=3217698
net.inet.udp.maxdgram=100000
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=1
#net.graph.recvspace=256000
#net.graph.maxdgram=256000
net.graph.maxdgram=3072000
net.graph.recvspace=3072000
#################
net.inet.tcp.inflight.enable=1
net.inet.tcp.delayed_ack=1
net.isr.direct=1

andre13161
Сообщения: 30
Зарегистрирован: Вс сен 26, 2010 11:42 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение andre13161 »

только что после ребута

Код: Выделить всё

input         (bge0)           output
   packets  errs      bytes    packets  errs      bytes colls
       606   102     171108        206     0      27160     0
       549   240     151321        199     0      13413     0
       609   146     180643        161     0      18887     0
       689   143     296211        266     0      24236     0
       624   205     213146        186     0      23699     0
       526    39     142985        187     0      15322     0
       561   366     166865        166     0      20605     0
       369   332     103834        161     0      11401     0
       507   355     135599        153     0      15203     0
       571   200     189327        202     0      21353     0
       462   217     152280        171     0      16800     0
       405   449     132651        110     0      22736     0
       407   362     131539        243     0      21846     0
       379   401      92305         96     0      14693     0
       409   249     133509        187     0      22122     0
       389   308      76795        115     0      16020     0
       337   268      70858        110     0      12399     0
       300   450      51250        103     0      10424     0
       375   363      56812        117     0      16457     0
       450   341      98287        121     0      17648     0
       412   339      79987        200     0      19356     0

Код: Выделить всё

00100    896   177070 allow ip from any to any via lo0
00200      0        0 deny ip from any to 127.0.0.0/8
00300      0        0 deny ip from 127.0.0.0/8 to any
01200  53236  4987300 nat 1 ip from table(2) to any via bge0
01300 103719 57750935 nat 1 ip from any to [b]my_rial_IP[/b] via bge0
08801      0        0 fwd 127.0.0.1,80 tcp from table(32) to any dst-port 80 via ng*
08811      0        0 allow ip from table(32) to 80.93.112.3 dst-port 53 via ng*
08811      0        0 allow ip from table(32) to 80.93.112.5 dst-port 53 via ng*
08831      0        0 deny ip from table(32) to any via ng*
09970      0        0 skipto 10130 ip from table(14) to table(3) in recv ng*
09975      0        0 skipto 10135 ip from table(3) to table(15) out xmit ng*
09980      0        0 skipto 10120 ip from table(12) to table(2) in recv ng*
09985      0        0 skipto 10125 ip from table(2) to table(13) out xmit ng*
10000  64423  5708434 netgraph tablearg ip from table(10) to any in recv ng*
10010  53653 52515024 netgraph tablearg ip from any to table(11) out xmit ng*
10020      0        0 allow ip from table(9) to any in recv ng*
10025      0        0 allow ip from any to table(9) out xmit ng*
10120      0        0 netgraph tablearg ip from table(12) to any in recv ng*
10125      0        0 netgraph tablearg ip from any to table(13) out xmit ng*
10130      0        0 netgraph tablearg ip from table(14) to any in recv ng*
10135      0        0 netgraph tablearg ip from any to table(15) out xmit ng*
10220      0        0 allow ip from table(9) to table(2) in recv ng*
10225      0        0 allow ip from table(2) to table(9) out xmit ng*
10230      0        0 allow ip from table(9) to table(3) in recv ng*
10235      0        0 allow ip from table(3) to table(9) out xmit ng*
65535  31977  4150594 allow ip from any to any

Код: Выделить всё

last pid:  6142;  load averages:  1.01,  0.71,  0.35                            up 0+00:06:08  16:22:08
89 processes:  7 running, 68 sleeping, 2 zombie, 12 waiting
CPU 0:  0.0% user,  0.0% nice,  0.0% system,  100% interrupt,  0.0% idle
CPU 1: 12.0% user,  0.0% nice, 31.2% system,  1.9% interrupt, 54.9% idle
CPU 2: 10.2% user,  0.0% nice, 30.8% system,  4.1% interrupt, 54.9% idle
CPU 3: 12.4% user,  0.0% nice, 19.2% system,  1.5% interrupt, 66.9% idle
Mem: 37M Active, 41M Inact, 40M Wired, 100K Cache, 112M Buf, 1881M Free
Swap: 4096M Total, 4096M Free

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   33 root     -68    -     0K     8K CPU0    0   2:40 100.00% irq28: bge0
   11 root     171 ki31     0K     8K CPU3    3   4:17 72.85% idle: cpu3
   12 root     171 ki31     0K     8K RUN     2   4:25 64.45% idle: cpu2
   13 root     171 ki31     0K     8K RUN     1   4:12 55.96% idle: cpu1
    4 root     -68    -     0K     8K sleep   1   0:18 19.29% ng_queue2
    3 root     -68    -     0K     8K CPU2    2   0:19 16.06% ng_queue1
    5 root     -68    -     0K     8K sleep   3   0:19 14.45% ng_queue3
    2 root     -68    -     0K     8K sleep   1   0:19 13.87% ng_queue0
   34 root     -68    -     0K     8K WAIT    3   0:07  4.39% irq29: bge1
   15 root     -32    -     0K     8K WAIT    1   0:04  3.47% swi4: clock
   36 root     -68    -     0K     8K -       3   0:02  2.29% dummynet
   14 root     171 ki31     0K     8K RUN     0   2:31  1.76% idle: cpu0

и очень интересно почему правили

Код: Выделить всё

01200 1512820  581962799 nat 1 ip from table(2) to any via bge0
01300 2103501 1906113498 nat 1 ip from any to (зовнішній ІР) via bge0
так влияют на внешний интерфейс?

sopov
Сообщения: 610
Зарегистрирован: Вс апр 02, 2006 7:13 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение sopov »

Ерунда какая-то... Трафика нет, а 100.00% irq28: bge0... С чего бы ей столько прерываться, если нет трафика... Попробуйте этот же винт на другом железе и сетевой. Плюс со стороны свича посмотрите что происходит, может где-то кольцо.

andre13161
Сообщения: 30
Зарегистрирован: Вс сен 26, 2010 11:42 pm

Re: Велике навантаження на мережевий інтерфейс

Сообщение andre13161 »

отключил полностю внутренюю сеть
вот что происходит

Код: Выделить всё

 input         (bge0)           output
   packets  errs      bytes    packets  errs      bytes colls
       378     0      51176         12     0       1342     0
       373     0      51785         11     0       1090     0
       363     0      49491          9     0        804     0
       365     0      54306         17     0       2696     0
       354     0      53316         19     0       1535     0
       346     0      45112         11     0        854     0
       357     0      50240         16     0       2688     0
       343     0      48967         15     0       1174     0
       327     0      47393         14     0       1104     0
       354     0      48724         13     0       1090     0
       379     0      53654         12     0       1080     0
       348     0      48470          9     0        774     0
       369     0      54721         14     0       1152     0
       364     0      53843         12     0       2464     0
       356     0      51585         27     0       3801     0
       370     0      55305         16     0       2662     0
       317     0      45444          7     0        654     0
       319     0      43626         12     0       1506     0
       387     0      52470         19     0       1276     0
вчера после замены сетевой тот самый трабл был.
У меня сейчас 0 клиентов на линии ...

Ответить