Сообщений в теме: 37

[RLX]

Друзья, всем привет!

Некоторое время назад столкнулись с такой ситуацией: нужно было провести нагрузочное тестирование на проекте, стали выбирать инструмент из имеющихся, перебрали кучу вариантов, и по различным причинам ни один не устроил. Решили написать свой инструмент и хотим узнать мнение трудящихся, что к чему: что нравится в существующих инструментах, чего не хватает?

Будем рады любой обратной связи!

 

Полный опрос: https://goo.gl/BkXuBM

[Spock]

а чем JMeter не устроил если не секрет? какие были причины?

[RLX]

а чем JMeter не устроил если не секрет? какие были причины?

Хочется инструмент с современным и понятным интерфейсом, с минимальным порогом вхождения, гибкими настройками и широкой системой интеграции. А jmeter в этот плане совсем не userfriendly, довольно сложный в освоении и поддержке, ресурсоёмкий. Нет привязки скриптов к тестовой документации. Не нравится, что нет полноценной визуализации результатов из коробки.

[Little_CJIOH]

 

а чем JMeter не устроил если не секрет? какие были причины?

Хочется инструмент с современным и понятным интерфейсом, с минимальным порогом вхождения, гибкими настройками и широкой системой интеграции. А jmeter в этот плане совсем не userfriendly, довольно сложный в освоении и поддержке, ресурсоёмкий. Нет привязки скриптов к тестовой документации. Не нравится, что нет полноценной визуализации результатов из коробки.

 

Поверьте, ваше требование к инструменту, длинной в одно предложение, содержит 4 противоречия.

А нагрузочное тестирование само по себе достаточно высокая ступенька чтобы любой входящий с разбегу наломал дров.

И да, был в моей практике разработчик решивший написать свой инструмент для нагрузочного тестирования, который будет все сразу показывать в процессе генерации нагрузки и одной цифрой. В процессе разработки инструмент бодро тестировал производительность вайфая его макбука. Будучи выкаченным на стенд бодро жрал одно ядро процессора и регулярно бросался эксцепшенами прямо поверх своего прекрасного интерфейса.

Я не хочу сказать что у вас все будет именно так, но прежде чем изобретать свой велосипед разберитесь почему существующие таковы как они есть.

[RLX]

Таки потому мы и решили воспользоваться не только внутренним мнением команды, но и расспросить о взглядах на эту тему других профессионалов. Собственно, отсюда и появилась эта тема.

Мы конечно не очень хотим бороться с ветреными мельницами, но при этом планы у нас вполне амбициозные (потому могут казаться неоднозначными).

Как говорилось в Ригведах: "Дорогу осилит идущий"

[direvius]

 

 

а чем JMeter не устроил если не секрет? какие были причины?

Хочется инструмент с современным и понятным интерфейсом, с минимальным порогом вхождения, гибкими настройками и широкой системой интеграции. А jmeter в этот плане совсем не userfriendly, довольно сложный в освоении и поддержке, ресурсоёмкий. Нет привязки скриптов к тестовой документации. Не нравится, что нет полноценной визуализации результатов из коробки.

 

Поверьте, ваше требование к инструменту, длинной в одно предложение, содержит 4 противоречия.

А нагрузочное тестирование само по себе достаточно высокая ступенька чтобы любой входящий с разбегу наломал дров.

И да, был в моей практике разработчик решивший написать свой инструмент для нагрузочного тестирования, который будет все сразу показывать в процессе генерации нагрузки и одной цифрой. В процессе разработки инструмент бодро тестировал производительность вайфая его макбука. Будучи выкаченным на стенд бодро жрал одно ядро процессора и регулярно бросался эксцепшенами прямо поверх своего прекрасного интерфейса.

Я не хочу сказать что у вас все будет именно так, но прежде чем изобретать свой велосипед разберитесь почему существующие таковы как они есть.

 

 

Наш инструмент показывает в процессе генерации нагрузки:

1. график распределения времен ответа

2. график квантилей времен ответа

3. распределение сетевых и http кодов ответов

4. полсотни метрик мониторинга

 

Так что все возможно. Хотя это конечно не велосипед уже.

[Spock]

Так вы с пользовательским интерфейсом сделали, гибким юзер-френдли и понятным, лучше чем у JMeter?

[Little_CJIOH]

 

 

 

а чем JMeter не устроил если не секрет? какие были причины?

Хочется инструмент с современным и понятным интерфейсом, с минимальным порогом вхождения, гибкими настройками и широкой системой интеграции. А jmeter в этот плане совсем не userfriendly, довольно сложный в освоении и поддержке, ресурсоёмкий. Нет привязки скриптов к тестовой документации. Не нравится, что нет полноценной визуализации результатов из коробки.

 

Поверьте, ваше требование к инструменту, длинной в одно предложение, содержит 4 противоречия.

А нагрузочное тестирование само по себе достаточно высокая ступенька чтобы любой входящий с разбегу наломал дров.

И да, был в моей практике разработчик решивший написать свой инструмент для нагрузочного тестирования, который будет все сразу показывать в процессе генерации нагрузки и одной цифрой. В процессе разработки инструмент бодро тестировал производительность вайфая его макбука. Будучи выкаченным на стенд бодро жрал одно ядро процессора и регулярно бросался эксцепшенами прямо поверх своего прекрасного интерфейса.

Я не хочу сказать что у вас все будет именно так, но прежде чем изобретать свой велосипед разберитесь почему существующие таковы как они есть.

 

 

Наш инструмент показывает в процессе генерации нагрузки:

1. график распределения времен ответа

2. график квантилей времен ответа

3. распределение сетевых и http кодов ответов

4. полсотни метрик мониторинга

 

Так что все возможно. Хотя это конечно не велосипед уже.

Осталось выяснить что в вашем понимании "генерация нагрузки", как вы реализуете программирование сложных сценариев нагрузки. и как отображаете графики для разных типов запросов.

[Сергей]

Использовал JMeter, LoadComlete, LoadRunner. Особой разницы не заметил для своих задач, только в цене и в интерфейсе, в платных понравилось, что можно эмулировать определенное поведение нагрузки изменняя график мышкой, подключение облачных сервисов для доп нагрузки (вроде amazon), но этого не требовалось, да и бюджета нет. Остановился на JMeter.

[RLX]

Использовал JMeter, LoadComlete, LoadRunner. Особой разницы не заметил для своих задач, только в цене и в интерфейсе, в платных понравилось, что можно эмулировать определенное поведение нагрузки изменняя график мышкой, подключение облачных сервисов для доп нагрузки (вроде amazon), но этого не требовалось, да и бюджета нет. Остановился на JMeter.

Сергей, спасибо! Полезно.

Может у Вас ещё коллеги есть, которые были бы не против таким же мнением поделиться? :)

[Spock]

JMeter

 

интерфейс удобный и понятный, документация понятная и для новичков плюс туториал, используется широко и спросить есть у кого, бесплатный, нересурсоёмкий, порог вхождения минимальный, хорошие возможности интеграции и расширения, настройки гибкие

 

подходит для большинства проектов, для которых не требуются какие-то узко-специализированные средства

[Сергей]

 

Использовал JMeter, LoadComlete, LoadRunner. Особой разницы не заметил для своих задач, только в цене и в интерфейсе, в платных понравилось, что можно эмулировать определенное поведение нагрузки изменняя график мышкой, подключение облачных сервисов для доп нагрузки (вроде amazon), но этого не требовалось, да и бюджета нет. Остановился на JMeter.

Сергей, спасибо! Полезно.

Может у Вас ещё коллеги есть, которые были бы не против таким же мнением поделиться? :)

 

 

Коллеги пробовали python и яндекс.танк, в питоне понравилась простота формирования запросов, в яндекс.танке - возможность высокой нагрузки, но там и там уже нужна небольшая тех. подготовка. Интересно было бы сравнить по производительности платные и бесплатные аналоги, например, яндекс.танк с тем же заточенным LoadCompete (облачными серверами в т.ч.), но из-за финансовых ограничений, увы, пока нет возможности.

[RLX]

deadgrunt, Сергей, спасибо

[direvius]

Так вы с пользовательским интерфейсом сделали, гибким юзер-френдли и понятным, лучше чем у JMeter?

Для кого-то JMeter -- юзер френдли, но для меня -- совсем нет. Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.

 

Самый юзер френдли интерфейс, как мне кажется, у LoadUI. Тормозит только +)

 

У нас текстовые конфиги и сценарии на Python для сложных кейсов -- когда знаешь Python, когда у тебя сценарии и файлы с настройками в git лежат с версионированием и общим доступом -- это очень и очень юзер френдли.

 

Если уж делать GUI для настройки генератора, то в виде web-обертки над облаком генераторов нагрузки. Такое тоже делаем, но я бы не сказал, что там сейчас чудеса UI-дизайна. Хотя пользователям хватает того, что есть, на это не жалуются.

 

 

 

как отображаете графики для разных типов запросов

 

Графики такие.

[Spock]

 

 

Для кого-то JMeter -- юзер френдли, но для меня -- совсем нет. Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.

 

 

Хочется инструмент с современным и понятным интерфейсом

с одной стороны вы хотели крутой и современный юзер-интерфейс, а с другой стороны сделали только программное управление на питоне. не совсем понятно получается что вы хотели

 

 

 

Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.

в JMeter этот пользовательский интерфейс - в основном для начинающих.

продвинутые пользователи сценарии правят сразу в XML сорсе, ну и затем конфиги и XML сорсы естественно в гите

[Little_CJIOH]

 

Так вы с пользовательским интерфейсом сделали, гибким юзер-френдли и понятным, лучше чем у JMeter?

Для кого-то JMeter -- юзер френдли, но для меня -- совсем нет. Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.

 

Самый юзер френдли интерфейс, как мне кажется, у LoadUI. Тормозит только +)

 

У нас текстовые конфиги и сценарии на Python для сложных кейсов -- когда знаешь Python, когда у тебя сценарии и файлы с настройками в git лежат с версионированием и общим доступом -- это очень и очень юзер френдли.

 

Если уж делать GUI для настройки генератора, то в виде web-обертки над облаком генераторов нагрузки. Такое тоже делаем, но я бы не сказал, что там сейчас чудеса UI-дизайна. Хотя пользователям хватает того, что есть, на это не жалуются.

 

 

 

как отображаете графики для разных типов запросов

 

Графики такие.

 

Для тех кто в танке: Если вылезти из танка и оглянутся, то вы как раз и увидите тот самый неназванный инструмент. Да-да, Яндекс.Танк.

Алексей, а это собственный интерфейс поверх графита или какая-нибудь графана затюненая?

[RLX]

 

в JMeter этот пользовательский интерфейс - в основном для начинающих.

продвинутые пользователи сценарии правят сразу в XML сорсе, ну и затем конфиги и XML сорсы естественно в гите

 

В этом, наверное, и суть - иметь инструмент, с которым можно было бы быстро и удобно работать.

У нас, например, отдел тестирования порядка 20 человек. И не всегда в нужный момент можно задействовать тех специалистов, которые являются продвинутыми в нагрузочном тестировании. Есть естественное желание, снизить порог входа в данную тему.

Это потенциально даст несколько различных возможностей и снизить некоторые риски при управлении проектами.

Другой вопрос, что утопичная идея должна выродиться в правильную реализацию. Для чего, собственно, и требуется помощь других профессионалов (со взглядом со стороны).

[Spock]

самим делать продвинутый гибкий и простой пользовательский интерфейс - слишком накладно

 

тогда надо наверное оставаться на питоне, и обучать "непродвинутых" питону, пусть учатся писать сценарии. придумать может свою внутреннюю сертификацию для них, давать бонусы за прохождение

[Сергей]

 

Для тех кто в танке: Если вылезти из танка и оглянутся, то вы как раз и увидите тот самый неназванный инструмент. Да-да, Яндекс.Танк.

Алексей, а это собственный интерфейс поверх графита или какая-нибудь графана затюненая?

 

 

Ну, вообще-то, инструмент яндекс.танк был тут назван.

[Little_CJIOH]

Для тех кто в танке: Если вылезти из танка и оглянутся, то вы как раз и увидите тот самый неназванный инструмент. Да-да, Яндекс.Танк.
Алексей, а это собственный интерфейс поверх графита или какая-нибудь графана затюненая?

 
Ну, вообще-то, инструмент яндекс.танк был тут назван.

Алексей не представил инструмент о котором рассказывает.