Перейти к содержимому

Фотография

[Опрос] Инструмент для нагрузочного тестирования

performance testing нагрузочное тестирование инструменты load testing test-engine опрос

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 37

#1 RLX

RLX

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Роман

Отправлено 07 ноября 2016 - 12:34

Друзья, всем привет!

Некоторое время назад столкнулись с такой ситуацией: нужно было провести нагрузочное тестирование на проекте, стали выбирать инструмент из имеющихся, перебрали кучу вариантов, и по различным причинам ни один не устроил. Решили написать свой инструмент и хотим узнать мнение трудящихся, что к чему: что нравится в существующих инструментах, чего не хватает?

Будем рады любой обратной связи!

 

Полный опрос: https://goo.gl/BkXuBM


  • 1

#2 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 07 ноября 2016 - 13:20

а чем JMeter не устроил если не секрет? какие были причины?


  • 0

#3 RLX

RLX

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Роман

Отправлено 07 ноября 2016 - 13:44

а чем JMeter не устроил если не секрет? какие были причины?

Хочется инструмент с современным и понятным интерфейсом, с минимальным порогом вхождения, гибкими настройками и широкой системой интеграции. А jmeter в этот плане совсем не userfriendly, довольно сложный в освоении и поддержке, ресурсоёмкий. Нет привязки скриптов к тестовой документации. Не нравится, что нет полноценной визуализации результатов из коробки.


  • 0

#4 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 07 ноября 2016 - 14:09

 

а чем JMeter не устроил если не секрет? какие были причины?

Хочется инструмент с современным и понятным интерфейсом, с минимальным порогом вхождения, гибкими настройками и широкой системой интеграции. А jmeter в этот плане совсем не userfriendly, довольно сложный в освоении и поддержке, ресурсоёмкий. Нет привязки скриптов к тестовой документации. Не нравится, что нет полноценной визуализации результатов из коробки.

 

Поверьте, ваше требование к инструменту, длинной в одно предложение, содержит 4 противоречия.

А нагрузочное тестирование само по себе достаточно высокая ступенька чтобы любой входящий с разбегу наломал дров.

И да, был в моей практике разработчик решивший написать свой инструмент для нагрузочного тестирования, который будет все сразу показывать в процессе генерации нагрузки и одной цифрой. В процессе разработки инструмент бодро тестировал производительность вайфая его макбука. Будучи выкаченным на стенд бодро жрал одно ядро процессора и регулярно бросался эксцепшенами прямо поверх своего прекрасного интерфейса.

Я не хочу сказать что у вас все будет именно так, но прежде чем изобретать свой велосипед разберитесь почему существующие таковы как они есть.


  • 1

#5 RLX

RLX

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Роман

Отправлено 07 ноября 2016 - 14:52

Таки потому мы и решили воспользоваться не только внутренним мнением команды, но и расспросить о взглядах на эту тему других профессионалов. Собственно, отсюда и появилась эта тема.

Мы конечно не очень хотим бороться с ветреными мельницами, но при этом планы у нас вполне амбициозные (потому могут казаться неоднозначными).

Как говорилось в Ригведах: "Дорогу осилит идущий"


  • 0

#6 direvius

direvius

    Новый участник

  • Members
  • Pip
  • 9 сообщений
  • ФИО:Лавренюк Алексей

Отправлено 07 ноября 2016 - 19:43

 

 

а чем JMeter не устроил если не секрет? какие были причины?

Хочется инструмент с современным и понятным интерфейсом, с минимальным порогом вхождения, гибкими настройками и широкой системой интеграции. А jmeter в этот плане совсем не userfriendly, довольно сложный в освоении и поддержке, ресурсоёмкий. Нет привязки скриптов к тестовой документации. Не нравится, что нет полноценной визуализации результатов из коробки.

 

Поверьте, ваше требование к инструменту, длинной в одно предложение, содержит 4 противоречия.

А нагрузочное тестирование само по себе достаточно высокая ступенька чтобы любой входящий с разбегу наломал дров.

И да, был в моей практике разработчик решивший написать свой инструмент для нагрузочного тестирования, который будет все сразу показывать в процессе генерации нагрузки и одной цифрой. В процессе разработки инструмент бодро тестировал производительность вайфая его макбука. Будучи выкаченным на стенд бодро жрал одно ядро процессора и регулярно бросался эксцепшенами прямо поверх своего прекрасного интерфейса.

Я не хочу сказать что у вас все будет именно так, но прежде чем изобретать свой велосипед разберитесь почему существующие таковы как они есть.

 

 

Наш инструмент показывает в процессе генерации нагрузки:

1. график распределения времен ответа

2. график квантилей времен ответа

3. распределение сетевых и http кодов ответов

4. полсотни метрик мониторинга

 

Так что все возможно. Хотя это конечно не велосипед уже.


  • 0

#7 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 07 ноября 2016 - 20:51

Так вы с пользовательским интерфейсом сделали, гибким юзер-френдли и понятным, лучше чем у JMeter?
  • 0

#8 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 08 ноября 2016 - 08:10

 

 

 

а чем JMeter не устроил если не секрет? какие были причины?

Хочется инструмент с современным и понятным интерфейсом, с минимальным порогом вхождения, гибкими настройками и широкой системой интеграции. А jmeter в этот плане совсем не userfriendly, довольно сложный в освоении и поддержке, ресурсоёмкий. Нет привязки скриптов к тестовой документации. Не нравится, что нет полноценной визуализации результатов из коробки.

 

Поверьте, ваше требование к инструменту, длинной в одно предложение, содержит 4 противоречия.

А нагрузочное тестирование само по себе достаточно высокая ступенька чтобы любой входящий с разбегу наломал дров.

И да, был в моей практике разработчик решивший написать свой инструмент для нагрузочного тестирования, который будет все сразу показывать в процессе генерации нагрузки и одной цифрой. В процессе разработки инструмент бодро тестировал производительность вайфая его макбука. Будучи выкаченным на стенд бодро жрал одно ядро процессора и регулярно бросался эксцепшенами прямо поверх своего прекрасного интерфейса.

Я не хочу сказать что у вас все будет именно так, но прежде чем изобретать свой велосипед разберитесь почему существующие таковы как они есть.

 

 

Наш инструмент показывает в процессе генерации нагрузки:

1. график распределения времен ответа

2. график квантилей времен ответа

3. распределение сетевых и http кодов ответов

4. полсотни метрик мониторинга

 

Так что все возможно. Хотя это конечно не велосипед уже.

Осталось выяснить что в вашем понимании "генерация нагрузки", как вы реализуете программирование сложных сценариев нагрузки. и как отображаете графики для разных типов запросов.


  • 0

#9 Сергей

Сергей

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 245 сообщений
  • Город:Москва

Отправлено 08 ноября 2016 - 08:29

Использовал JMeter, LoadComlete, LoadRunner. Особой разницы не заметил для своих задач, только в цене и в интерфейсе, в платных понравилось, что можно эмулировать определенное поведение нагрузки изменняя график мышкой, подключение облачных сервисов для доп нагрузки (вроде amazon), но этого не требовалось, да и бюджета нет. Остановился на JMeter.


  • 2

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#10 RLX

RLX

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Роман

Отправлено 08 ноября 2016 - 10:12

Использовал JMeter, LoadComlete, LoadRunner. Особой разницы не заметил для своих задач, только в цене и в интерфейсе, в платных понравилось, что можно эмулировать определенное поведение нагрузки изменняя график мышкой, подключение облачных сервисов для доп нагрузки (вроде amazon), но этого не требовалось, да и бюджета нет. Остановился на JMeter.

Сергей, спасибо! Полезно.

Может у Вас ещё коллеги есть, которые были бы не против таким же мнением поделиться? :)


  • 0

#11 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 08 ноября 2016 - 10:57

JMeter

 

интерфейс удобный и понятный, документация понятная и для новичков плюс туториал, используется широко и спросить есть у кого, бесплатный, нересурсоёмкий, порог вхождения минимальный, хорошие возможности интеграции и расширения, настройки гибкие

 

подходит для большинства проектов, для которых не требуются какие-то узко-специализированные средства


  • 1

#12 Сергей

Сергей

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 245 сообщений
  • Город:Москва

Отправлено 08 ноября 2016 - 11:02

 

Использовал JMeter, LoadComlete, LoadRunner. Особой разницы не заметил для своих задач, только в цене и в интерфейсе, в платных понравилось, что можно эмулировать определенное поведение нагрузки изменняя график мышкой, подключение облачных сервисов для доп нагрузки (вроде amazon), но этого не требовалось, да и бюджета нет. Остановился на JMeter.

Сергей, спасибо! Полезно.

Может у Вас ещё коллеги есть, которые были бы не против таким же мнением поделиться? :)

 

 

Коллеги пробовали python и яндекс.танк, в питоне понравилась простота формирования запросов, в яндекс.танке - возможность высокой нагрузки, но там и там уже нужна небольшая тех. подготовка. Интересно было бы сравнить по производительности платные и бесплатные аналоги, например, яндекс.танк с тем же заточенным LoadCompete (облачными серверами в т.ч.), но из-за финансовых ограничений, увы, пока нет возможности.


  • 1

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#13 RLX

RLX

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Роман

Отправлено 08 ноября 2016 - 11:44

deadgrunt, Сергей, спасибо
  • 0

#14 direvius

direvius

    Новый участник

  • Members
  • Pip
  • 9 сообщений
  • ФИО:Лавренюк Алексей

Отправлено 08 ноября 2016 - 21:05

Так вы с пользовательским интерфейсом сделали, гибким юзер-френдли и понятным, лучше чем у JMeter?

Для кого-то JMeter -- юзер френдли, но для меня -- совсем нет. Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.

 

Самый юзер френдли интерфейс, как мне кажется, у LoadUI. Тормозит только +)

 

У нас текстовые конфиги и сценарии на Python для сложных кейсов -- когда знаешь Python, когда у тебя сценарии и файлы с настройками в git лежат с версионированием и общим доступом -- это очень и очень юзер френдли.

 

Если уж делать GUI для настройки генератора, то в виде web-обертки над облаком генераторов нагрузки. Такое тоже делаем, но я бы не сказал, что там сейчас чудеса UI-дизайна. Хотя пользователям хватает того, что есть, на это не жалуются.

 

 

 

как отображаете графики для разных типов запросов

 

Графики такие.


  • 0

#15 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 09 ноября 2016 - 10:21

 

 

Для кого-то JMeter -- юзер френдли, но для меня -- совсем нет. Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.

 

 

Хочется инструмент с современным и понятным интерфейсом

с одной стороны вы хотели крутой и современный юзер-интерфейс, а с другой стороны сделали только программное управление на питоне. не совсем понятно получается что вы хотели

 

 

 

Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.

в JMeter этот пользовательский интерфейс - в основном для начинающих.

продвинутые пользователи сценарии правят сразу в XML сорсе, ну и затем конфиги и XML сорсы естественно в гите


  • 0

#16 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 09 ноября 2016 - 10:43

 

Так вы с пользовательским интерфейсом сделали, гибким юзер-френдли и понятным, лучше чем у JMeter?

Для кого-то JMeter -- юзер френдли, но для меня -- совсем нет. Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.

 

Самый юзер френдли интерфейс, как мне кажется, у LoadUI. Тормозит только +)

 

У нас текстовые конфиги и сценарии на Python для сложных кейсов -- когда знаешь Python, когда у тебя сценарии и файлы с настройками в git лежат с версионированием и общим доступом -- это очень и очень юзер френдли.

 

Если уж делать GUI для настройки генератора, то в виде web-обертки над облаком генераторов нагрузки. Такое тоже делаем, но я бы не сказал, что там сейчас чудеса UI-дизайна. Хотя пользователям хватает того, что есть, на это не жалуются.

 

 

 

как отображаете графики для разных типов запросов

 

Графики такие.

 

Для тех кто в танке: Если вылезти из танка и оглянутся, то вы как раз и увидите тот самый неназванный инструмент. Да-да, Яндекс.Танк.

Алексей, а это собственный интерфейс поверх графита или какая-нибудь графана затюненая?


  • 0

#17 RLX

RLX

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Роман

Отправлено 09 ноября 2016 - 10:46

 

в JMeter этот пользовательский интерфейс - в основном для начинающих.

продвинутые пользователи сценарии правят сразу в XML сорсе, ну и затем конфиги и XML сорсы естественно в гите

 

В этом, наверное, и суть - иметь инструмент, с которым можно было бы быстро и удобно работать.

У нас, например, отдел тестирования порядка 20 человек. И не всегда в нужный момент можно задействовать тех специалистов, которые являются продвинутыми в нагрузочном тестировании. Есть естественное желание, снизить порог входа в данную тему.

Это потенциально даст несколько различных возможностей и снизить некоторые риски при управлении проектами.

Другой вопрос, что утопичная идея должна выродиться в правильную реализацию. Для чего, собственно, и требуется помощь других профессионалов (со взглядом со стороны).


  • 0

#18 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 09 ноября 2016 - 11:06

самим делать продвинутый гибкий и простой пользовательский интерфейс - слишком накладно

 

тогда надо наверное оставаться на питоне, и обучать "непродвинутых" питону, пусть учатся писать сценарии. придумать может свою внутреннюю сертификацию для них, давать бонусы за прохождение


  • 0

#19 Сергей

Сергей

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 245 сообщений
  • Город:Москва

Отправлено 09 ноября 2016 - 11:07

 

Для тех кто в танке: Если вылезти из танка и оглянутся, то вы как раз и увидите тот самый неназванный инструмент. Да-да, Яндекс.Танк.

Алексей, а это собственный интерфейс поверх графита или какая-нибудь графана затюненая?

 

 

Ну, вообще-то, инструмент яндекс.танк был тут назван.


  • 0

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#20 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 09 ноября 2016 - 11:23

Для тех кто в танке: Если вылезти из танка и оглянутся, то вы как раз и увидите тот самый неназванный инструмент. Да-да, Яндекс.Танк.
Алексей, а это собственный интерфейс поверх графита или какая-нибудь графана затюненая?

 
Ну, вообще-то, инструмент яндекс.танк был тут назван.

Алексей не представил инструмент о котором рассказывает.
  • 0



Темы с аналогичным тегами performance testing, нагрузочное тестирование, инструменты, load testing, test-engine, опрос

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных