Страница 1 из 1

Пути увеличения производительности traffic2sql

Добавлено: Пн сен 28, 2009 5:56 pm
chtito
Статистику трафика через netflow собирает flow-tools и складывает в файл раз в минуту. При ок. 4100 онлайн абонентах traffic2sql, запускаясь раз в минуту, завершается примерно через 35-37 секунд. Согласно top процессор грузит именно traffic2sql, а не mysql. Очевидно мне самое время думать, а не ждать, когда с нашими темпами роста через два-три месяца одной минуты уже не хватит :) Запуск traffic2sql реже, например раз в две минуты, не меняет картины, ведь накапливается вдвое больше статистики, которую нужно обработать, и на это требуется все те же вдвое больше времени. Сам код, чтобы найти грузящие проц части пока не копал, конечно же буду, но также скажу спасибо за любые советы.

Re: Пути увеличения производительности traffic2sql

Добавлено: Вт сен 29, 2009 7:42 am
ran
Согласно top процессор грузит именно traffic2sql, а не mysql
а у меня как раз мускл при работающем traffic2sql грузит проц гораздо сильнее

Re: Пути увеличения производительности traffic2sql

Добавлено: Вт сен 29, 2009 12:01 pm
chtito
ran писал(а):
Согласно top процессор грузит именно traffic2sql, а не mysql
а у меня как раз мускл при работающем traffic2sql грузит проц гораздо сильнее
Значит у вас заводской traffic2sql. Я ведь написал 4100 онлайн, с каких это пор заводской столько осиливает? :) Теоретически 500-1000, согласно заявлениям автора. У меня переписана та часть чтобы не бороздить просторы таблицы ipn_log каждую минуту, а брать из специально созданной таблицы ipn_cache и это улучшило производительность раз в 50. Но это дела не касается, сейчас встал вопрос именно в нагрузке traffic2sql 35-37 секунд в минуту при 4100 абонентов, т.е. перл.

Re: Пути увеличения производительности traffic2sql

Добавлено: Вт окт 20, 2009 12:52 pm
~AsmodeuS~
1 уже сделаны месяца 3 назад такие нововедения как предлагал chito в системе, без его помощи так как он только гаразд говорить про опен сорс но когда доходит до дела начинает отмазываться

2 Счас подумываю сделать прямую читку из файлов и оптимизировать перебор пиринговых сетей, так как замечено реальное торможени при большом пиринговом трафике




2run новіе опции
FLOWTOOLS_IP_AGGREGATION
PREPAID_STORE

Re: Пути увеличения производительности traffic2sql

Добавлено: Ср ноя 04, 2009 12:31 pm
chtito
~AsmodeuS~ писал(а):1 уже сделаны месяца 3 назад такие нововедения как предлагал chito в системе, без его помощи так как он только гаразд говорить про опен сорс но когда доходит до дела начинает отмазываться
Ну во-первых, не 3 месяца назад, а 20 дней назад, 30-го сентября мы переговаривались по ЛС. Во-вторых, не намекнули бы вы что согласно GPL я вам _обязан_ выдавать свои изменения, мне бы не бзикнуло поискать опровержения этих слов в самой же лицензии, и я бы не отказался помочь. На форуме достаточно свидетелей того, что я совершенно безвозмездно делюсь своими наработками и что моя помощь тоже может кому-то быть полезной.

Re: Пути увеличения производительности traffic2sql

Добавлено: Ср ноя 04, 2009 4:53 pm
~AsmodeuS~
Давайте не разводить полемику

я попросил поделиться Вашими наработками для того чтобы не наступить на новые грабли Вы отказали и не надо рассказывать опен сорс нам он нравиться и т д. Нужно или жить по правилам или не рассказывать что вы им следуете.

То что Вы принесли сюда немного идей никто не опровергает но многие из них довольно рваны.

Re: Пути увеличения производительности traffic2sql

Добавлено: Пт ноя 06, 2009 7:33 am
chtito
~AsmodeuS~ писал(а):Давайте не разводить полемику

я попросил поделиться Вашими наработками для того чтобы не наступить на новые грабли Вы отказали и не надо рассказывать опен сорс нам он нравиться и т д. Нужно или жить по правилам или не рассказывать что вы им следуете.
Давайте не будем говорить неправду. Вы попросили не конкретно интересующие вас изменения, которыми я готов был поделиться, а целиком файлы Auth.pm & Acct.pm, содержащие все мои изменения, в том числе не касающиеся вопроса, намекнув на то, что "лицензия продукта это предвидит" (ваши слова). Да ни фига она не предвидит, и я вам это доказал скопировав цитату из ЧаВО по GPL.

Причем ваш продукт отнюдь не обошелся мне бесплатно, я заплатил $60 (модуль карточки), больше чем оно того стоило, так как мне пришлось потратить много часов на доведение этого продукта до адекватного по производительности traffic2sql с больше чем 500-600 юзерами состояния, не говоря о багах получения юзерами дубликатов IP адресов, некорректного перехода на летнее время и обратно, и прочем.
То что Вы принесли сюда немного идей никто не опровергает но многие из них довольно рваны.
Ну уж какой код, такие и дополнения. Для меня важно было чтобы работало.

Re: Пути увеличения производительности traffic2sql

Добавлено: Сб ноя 07, 2009 11:13 am
~AsmodeuS~
я уже Вам писал что для оценки все нужно весь файл а не куски. И если Вы тако приверженец открытого кода то думаю этоне составило бы для Вас труда.

1 Система обошлась Вам совершенно бесплатно и Вы сэкономили годы времени и тысячи долларов
2 Вы заплатили только за модуль 60 $ это слишком много так почему Вы сами его не написали, было бы дешевле. Не забывайте что предлагал Вам вернуть деньги назад но Вы отказались ).

Я не несу никакой ответственности за работу некоммерческих систем и не могу дать гарантий что не работало способность системы не связана с Вашими доработками.

Это всё я пишу уже в 10 раз думаю стоит внимательно читать и осознавать.

И факт остаётся факто Вы приверженец поговорить, а мы работаем, создаём и помогаем людям и не рассказываем сказки.

Re: Пути увеличения производительности traffic2sql

Добавлено: Пн ноя 09, 2009 6:50 am
chtito
~AsmodeuS~ писал(а):я уже Вам писал что для оценки все нужно весь файл а не куски. И если Вы тако приверженец открытого кода то думаю этоне составило бы для Вас труда.
Извините, но мне как-то самому решать что я хочу предоставить в открытый доступ, а что нет. И еще раз скажу, что я готов был помочь вам в вашем вопросе, и даже спросил у вас о деталях, но вы захотели файлы полностью, сославшись на GPL. То есть вышло так, как будто я вам свои наработки обязан предоставить по первому требованию только потому, что пользуюсь вашим GPL кодом, хотя заплатившая сторона я, а не вы, и что лицензия GPL утверждает обратное. Понятно что мне это не понравилось и в результате вы не получили ничего.
1 Система обошлась Вам совершенно бесплатно и Вы сэкономили годы времени и тысячи долларов
2 Вы заплатили только за модуль 60 $ это слишком много так почему Вы сами его не написали, было бы дешевле. Не забывайте что предлагал Вам вернуть деньги назад но Вы отказались ).
У меня бы на написание и отладку модуля карточек ушло бы дней 10-15, так что намного дороже бы обошлось. Дело не в этом. Мне все равно пришлось потратить кучу дней и недель на починку явных багов Абиллса, малую часть которых я перечислил выше, так что все сэкономленное время от $60 свелось на нет. Я про весь продукт, не только модуль карточек. Абиллс с теми багами, которые в нем были в версии 0.4 был абсолютно бесполезен для серьезной работы (взять хотя бы дубликаты IP и производительность traffic2sql), с модулем карточек или без.

Re: Пути увеличения производительности traffic2sql

Добавлено: Пн ноя 09, 2009 8:18 am
~AsmodeuS~
Зачем Вы своими постами заводите людей в заблуждение и отнимаете моё время, я предлагал сотрудничество вы отказались

1. Я просил ко который идёт под лицензией GPL а не платный функционал
2. В одном топике Вы говорите что 60 это дорого за модуль в другом что дёшево, определитесь
3. Большенство багов у Вас связано с неправильно натсройкой и игнорирование инструкции по установке
4. Про какую серёзную компанию вы говорите для которой 60 доларов это много, и она не может себе позволить сопровождение от разработчика.
5. Учитывая что пользуетесь именно ABillS сами понимаете альтернатив нету, а то хотите ли вы помогать или нет в разработке это сугубо ваше мнение и не надо плевать в миску с которой едите.

Re: Пути увеличения производительности traffic2sql

Добавлено: Пн ноя 09, 2009 11:04 pm
~AsmodeuS~
в планах внести многопоточную обработку