Пути увеличения производительности traffic2sql

[chtito]

Статистику трафика через netflow собирает flow-tools и складывает в файл раз в минуту. При ок. 4100 онлайн абонентах traffic2sql, запускаясь раз в минуту, завершается примерно через 35-37 секунд. Согласно top процессор грузит именно traffic2sql, а не mysql. Очевидно мне самое время думать, а не ждать, когда с нашими темпами роста через два-три месяца одной минуты уже не хватит Запуск traffic2sql реже, например раз в две минуты, не меняет картины, ведь накапливается вдвое больше статистики, которую нужно обработать, и на это требуется все те же вдвое больше времени. Сам код, чтобы найти грузящие проц части пока не копал, конечно же буду, но также скажу спасибо за любые советы.

[ran]

Согласно top процессор грузит именно traffic2sql, а не mysql

а у меня как раз мускл при работающем traffic2sql грузит проц гораздо сильнее

[chtito]

Согласно top процессор грузит именно traffic2sql, а не mysql

а у меня как раз мускл при работающем traffic2sql грузит проц гораздо сильнее

Значит у вас заводской traffic2sql. Я ведь написал 4100 онлайн, с каких это пор заводской столько осиливает? Теоретически 500-1000, согласно заявлениям автора. У меня переписана та часть чтобы не бороздить просторы таблицы ipn_log каждую минуту, а брать из специально созданной таблицы ipn_cache и это улучшило производительность раз в 50. Но это дела не касается, сейчас встал вопрос именно в нагрузке traffic2sql 35-37 секунд в минуту при 4100 абонентов, т.е. перл.

[~AsmodeuS~]

1 уже сделаны месяца 3 назад такие нововедения как предлагал chito в системе, без его помощи так как он только гаразд говорить про опен сорс но когда доходит до дела начинает отмазываться

2 Счас подумываю сделать прямую читку из файлов и оптимизировать перебор пиринговых сетей, так как замечено реальное торможени при большом пиринговом трафике




2run новіе опции
FLOWTOOLS_IP_AGGREGATION
PREPAID_STORE

[chtito]

1 уже сделаны месяца 3 назад такие нововедения как предлагал chito в системе, без его помощи так как он только гаразд говорить про опен сорс но когда доходит до дела начинает отмазываться

Ну во-первых, не 3 месяца назад, а 20 дней назад, 30-го сентября мы переговаривались по ЛС. Во-вторых, не намекнули бы вы что согласно GPL я вам _обязан_ выдавать свои изменения, мне бы не бзикнуло поискать опровержения этих слов в самой же лицензии, и я бы не отказался помочь. На форуме достаточно свидетелей того, что я совершенно безвозмездно делюсь своими наработками и что моя помощь тоже может кому-то быть полезной.

[~AsmodeuS~]

Давайте не разводить полемику

я попросил поделиться Вашими наработками для того чтобы не наступить на новые грабли Вы отказали и не надо рассказывать опен сорс нам он нравиться и т д. Нужно или жить по правилам или не рассказывать что вы им следуете.

То что Вы принесли сюда немного идей никто не опровергает но многие из них довольно рваны.

[chtito]

Давайте не разводить полемику

я попросил поделиться Вашими наработками для того чтобы не наступить на новые грабли Вы отказали и не надо рассказывать опен сорс нам он нравиться и т д. Нужно или жить по правилам или не рассказывать что вы им следуете.

Давайте не будем говорить неправду. Вы попросили не конкретно интересующие вас изменения, которыми я готов был поделиться, а целиком файлы Auth.pm & Acct.pm, содержащие все мои изменения, в том числе не касающиеся вопроса, намекнув на то, что "лицензия продукта это предвидит" (ваши слова). Да ни фига она не предвидит, и я вам это доказал скопировав цитату из ЧаВО по GPL.

Причем ваш продукт отнюдь не обошелся мне бесплатно, я заплатил $60 (модуль карточки), больше чем оно того стоило, так как мне пришлось потратить много часов на доведение этого продукта до адекватного по производительности traffic2sql с больше чем 500-600 юзерами состояния, не говоря о багах получения юзерами дубликатов IP адресов, некорректного перехода на летнее время и обратно, и прочем.

То что Вы принесли сюда немного идей никто не опровергает но многие из них довольно рваны.

Ну уж какой код, такие и дополнения. Для меня важно было чтобы работало.

[~AsmodeuS~]

я уже Вам писал что для оценки все нужно весь файл а не куски. И если Вы тако приверженец открытого кода то думаю этоне составило бы для Вас труда.

1 Система обошлась Вам совершенно бесплатно и Вы сэкономили годы времени и тысячи долларов
2 Вы заплатили только за модуль 60 $ это слишком много так почему Вы сами его не написали, было бы дешевле. Не забывайте что предлагал Вам вернуть деньги назад но Вы отказались ).

Я не несу никакой ответственности за работу некоммерческих систем и не могу дать гарантий что не работало способность системы не связана с Вашими доработками.

Это всё я пишу уже в 10 раз думаю стоит внимательно читать и осознавать.

И факт остаётся факто Вы приверженец поговорить, а мы работаем, создаём и помогаем людям и не рассказываем сказки.

[chtito]

я уже Вам писал что для оценки все нужно весь файл а не куски. И если Вы тако приверженец открытого кода то думаю этоне составило бы для Вас труда.

Извините, но мне как-то самому решать что я хочу предоставить в открытый доступ, а что нет. И еще раз скажу, что я готов был помочь вам в вашем вопросе, и даже спросил у вас о деталях, но вы захотели файлы полностью, сославшись на GPL. То есть вышло так, как будто я вам свои наработки обязан предоставить по первому требованию только потому, что пользуюсь вашим GPL кодом, хотя заплатившая сторона я, а не вы, и что лицензия GPL утверждает обратное. Понятно что мне это не понравилось и в результате вы не получили ничего.

1 Система обошлась Вам совершенно бесплатно и Вы сэкономили годы времени и тысячи долларов
2 Вы заплатили только за модуль 60 $ это слишком много так почему Вы сами его не написали, было бы дешевле. Не забывайте что предлагал Вам вернуть деньги назад но Вы отказались ).

У меня бы на написание и отладку модуля карточек ушло бы дней 10-15, так что намного дороже бы обошлось. Дело не в этом. Мне все равно пришлось потратить кучу дней и недель на починку явных багов Абиллса, малую часть которых я перечислил выше, так что все сэкономленное время от $60 свелось на нет. Я про весь продукт, не только модуль карточек. Абиллс с теми багами, которые в нем были в версии 0.4 был абсолютно бесполезен для серьезной работы (взять хотя бы дубликаты IP и производительность traffic2sql), с модулем карточек или без.

[~AsmodeuS~]

Зачем Вы своими постами заводите людей в заблуждение и отнимаете моё время, я предлагал сотрудничество вы отказались

1. Я просил ко который идёт под лицензией GPL а не платный функционал
2. В одном топике Вы говорите что 60 это дорого за модуль в другом что дёшево, определитесь
3. Большенство багов у Вас связано с неправильно натсройкой и игнорирование инструкции по установке
4. Про какую серёзную компанию вы говорите для которой 60 доларов это много, и она не может себе позволить сопровождение от разработчика.
5. Учитывая что пользуетесь именно ABillS сами понимаете альтернатив нету, а то хотите ли вы помогать или нет в разработке это сугубо ваше мнение и не надо плевать в миску с которой едите.

[~AsmodeuS~]

в планах внести многопоточную обработку