Перейти к содержимому

Автоматизатор мобильных приложений
онлайн, начало 19 мая
Первый Онлайн ИНститут Тестировщиков
онлайн, начало 18 мая
SQL для тестировщиков
онлайн, начало 17 мая
Английский для тестировщиков
онлайн, начало 17 мая
Фотография

[Опрос] Инструмент для нагрузочного тестирования

performance testing нагрузочное тестирование инструменты load testing test-engine опрос

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 37

#1 RLX

RLX

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Роман

Отправлено 07 ноября 2016 - 12:34

Друзья, всем привет!

Некоторое время назад столкнулись с такой ситуацией: нужно было провести нагрузочное тестирование на проекте, стали выбирать инструмент из имеющихся, перебрали кучу вариантов, и по различным причинам ни один не устроил. Решили написать свой инструмент и хотим узнать мнение трудящихся, что к чему: что нравится в существующих инструментах, чего не хватает?

Будем рады любой обратной связи!

 

Полный опрос: https://goo.gl/BkXuBM


  • 1

#2 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 07 ноября 2016 - 13:20

а чем JMeter не устроил если не секрет? какие были причины?


  • 0

#3 RLX

RLX

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Роман

Отправлено 07 ноября 2016 - 13:44

а чем JMeter не устроил если не секрет? какие были причины?

Хочется инструмент с современным и понятным интерфейсом, с минимальным порогом вхождения, гибкими настройками и широкой системой интеграции. А jmeter в этот плане совсем не userfriendly, довольно сложный в освоении и поддержке, ресурсоёмкий. Нет привязки скриптов к тестовой документации. Не нравится, что нет полноценной визуализации результатов из коробки.


  • 0

#4 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 513 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 07 ноября 2016 - 14:09

 

а чем JMeter не устроил если не секрет? какие были причины?

Хочется инструмент с современным и понятным интерфейсом, с минимальным порогом вхождения, гибкими настройками и широкой системой интеграции. А jmeter в этот плане совсем не userfriendly, довольно сложный в освоении и поддержке, ресурсоёмкий. Нет привязки скриптов к тестовой документации. Не нравится, что нет полноценной визуализации результатов из коробки.

 

Поверьте, ваше требование к инструменту, длинной в одно предложение, содержит 4 противоречия.

А нагрузочное тестирование само по себе достаточно высокая ступенька чтобы любой входящий с разбегу наломал дров.

И да, был в моей практике разработчик решивший написать свой инструмент для нагрузочного тестирования, который будет все сразу показывать в процессе генерации нагрузки и одной цифрой. В процессе разработки инструмент бодро тестировал производительность вайфая его макбука. Будучи выкаченным на стенд бодро жрал одно ядро процессора и регулярно бросался эксцепшенами прямо поверх своего прекрасного интерфейса.

Я не хочу сказать что у вас все будет именно так, но прежде чем изобретать свой велосипед разберитесь почему существующие таковы как они есть.


  • 1

#5 RLX

RLX

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Роман

Отправлено 07 ноября 2016 - 14:52

Таки потому мы и решили воспользоваться не только внутренним мнением команды, но и расспросить о взглядах на эту тему других профессионалов. Собственно, отсюда и появилась эта тема.

Мы конечно не очень хотим бороться с ветреными мельницами, но при этом планы у нас вполне амбициозные (потому могут казаться неоднозначными).

Как говорилось в Ригведах: "Дорогу осилит идущий"


  • 0

#6 direvius

direvius

    Новый участник

  • Members
  • Pip
  • 9 сообщений
  • ФИО:Лавренюк Алексей

Отправлено 07 ноября 2016 - 19:43

 

 

а чем JMeter не устроил если не секрет? какие были причины?

Хочется инструмент с современным и понятным интерфейсом, с минимальным порогом вхождения, гибкими настройками и широкой системой интеграции. А jmeter в этот плане совсем не userfriendly, довольно сложный в освоении и поддержке, ресурсоёмкий. Нет привязки скриптов к тестовой документации. Не нравится, что нет полноценной визуализации результатов из коробки.

 

Поверьте, ваше требование к инструменту, длинной в одно предложение, содержит 4 противоречия.

А нагрузочное тестирование само по себе достаточно высокая ступенька чтобы любой входящий с разбегу наломал дров.

И да, был в моей практике разработчик решивший написать свой инструмент для нагрузочного тестирования, который будет все сразу показывать в процессе генерации нагрузки и одной цифрой. В процессе разработки инструмент бодро тестировал производительность вайфая его макбука. Будучи выкаченным на стенд бодро жрал одно ядро процессора и регулярно бросался эксцепшенами прямо поверх своего прекрасного интерфейса.

Я не хочу сказать что у вас все будет именно так, но прежде чем изобретать свой велосипед разберитесь почему существующие таковы как они есть.

 

 

Наш инструмент показывает в процессе генерации нагрузки:

1. график распределения времен ответа

2. график квантилей времен ответа

3. распределение сетевых и http кодов ответов

4. полсотни метрик мониторинга

 

Так что все возможно. Хотя это конечно не велосипед уже.


  • 0

#7 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 07 ноября 2016 - 20:51

Так вы с пользовательским интерфейсом сделали, гибким юзер-френдли и понятным, лучше чем у JMeter?
  • 0

#8 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 513 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 08 ноября 2016 - 08:10

 

 

 

а чем JMeter не устроил если не секрет? какие были причины?

Хочется инструмент с современным и понятным интерфейсом, с минимальным порогом вхождения, гибкими настройками и широкой системой интеграции. А jmeter в этот плане совсем не userfriendly, довольно сложный в освоении и поддержке, ресурсоёмкий. Нет привязки скриптов к тестовой документации. Не нравится, что нет полноценной визуализации результатов из коробки.

 

Поверьте, ваше требование к инструменту, длинной в одно предложение, содержит 4 противоречия.

А нагрузочное тестирование само по себе достаточно высокая ступенька чтобы любой входящий с разбегу наломал дров.

И да, был в моей практике разработчик решивший написать свой инструмент для нагрузочного тестирования, который будет все сразу показывать в процессе генерации нагрузки и одной цифрой. В процессе разработки инструмент бодро тестировал производительность вайфая его макбука. Будучи выкаченным на стенд бодро жрал одно ядро процессора и регулярно бросался эксцепшенами прямо поверх своего прекрасного интерфейса.

Я не хочу сказать что у вас все будет именно так, но прежде чем изобретать свой велосипед разберитесь почему существующие таковы как они есть.

 

 

Наш инструмент показывает в процессе генерации нагрузки:

1. график распределения времен ответа

2. график квантилей времен ответа

3. распределение сетевых и http кодов ответов

4. полсотни метрик мониторинга

 

Так что все возможно. Хотя это конечно не велосипед уже.

Осталось выяснить что в вашем понимании "генерация нагрузки", как вы реализуете программирование сложных сценариев нагрузки. и как отображаете графики для разных типов запросов.


  • 0

#9 Сергей

Сергей

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 198 сообщений
  • Город:Москва

Отправлено 08 ноября 2016 - 08:29

Использовал JMeter, LoadComlete, LoadRunner. Особой разницы не заметил для своих задач, только в цене и в интерфейсе, в платных понравилось, что можно эмулировать определенное поведение нагрузки изменняя график мышкой, подключение облачных сервисов для доп нагрузки (вроде amazon), но этого не требовалось, да и бюджета нет. Остановился на JMeter.


  • 2

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#10 RLX

RLX

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Роман

Отправлено 08 ноября 2016 - 10:12

Использовал JMeter, LoadComlete, LoadRunner. Особой разницы не заметил для своих задач, только в цене и в интерфейсе, в платных понравилось, что можно эмулировать определенное поведение нагрузки изменняя график мышкой, подключение облачных сервисов для доп нагрузки (вроде amazon), но этого не требовалось, да и бюджета нет. Остановился на JMeter.

Сергей, спасибо! Полезно.

Может у Вас ещё коллеги есть, которые были бы не против таким же мнением поделиться? :)


  • 0

#11 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 08 ноября 2016 - 10:57

JMeter

 

интерфейс удобный и понятный, документация понятная и для новичков плюс туториал, используется широко и спросить есть у кого, бесплатный, нересурсоёмкий, порог вхождения минимальный, хорошие возможности интеграции и расширения, настройки гибкие

 

подходит для большинства проектов, для которых не требуются какие-то узко-специализированные средства


  • 1

#12 Сергей

Сергей

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 198 сообщений
  • Город:Москва

Отправлено 08 ноября 2016 - 11:02

 

Использовал JMeter, LoadComlete, LoadRunner. Особой разницы не заметил для своих задач, только в цене и в интерфейсе, в платных понравилось, что можно эмулировать определенное поведение нагрузки изменняя график мышкой, подключение облачных сервисов для доп нагрузки (вроде amazon), но этого не требовалось, да и бюджета нет. Остановился на JMeter.

Сергей, спасибо! Полезно.

Может у Вас ещё коллеги есть, которые были бы не против таким же мнением поделиться? :)

 

 

Коллеги пробовали python и яндекс.танк, в питоне понравилась простота формирования запросов, в яндекс.танке - возможность высокой нагрузки, но там и там уже нужна небольшая тех. подготовка. Интересно было бы сравнить по производительности платные и бесплатные аналоги, например, яндекс.танк с тем же заточенным LoadCompete (облачными серверами в т.ч.), но из-за финансовых ограничений, увы, пока нет возможности.


  • 1

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#13 RLX

RLX

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Роман

Отправлено 08 ноября 2016 - 11:44

deadgrunt, Сергей, спасибо
  • 0

#14 direvius

direvius

    Новый участник

  • Members
  • Pip
  • 9 сообщений
  • ФИО:Лавренюк Алексей

Отправлено 08 ноября 2016 - 21:05

Так вы с пользовательским интерфейсом сделали, гибким юзер-френдли и понятным, лучше чем у JMeter?

Для кого-то JMeter -- юзер френдли, но для меня -- совсем нет. Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.

 

Самый юзер френдли интерфейс, как мне кажется, у LoadUI. Тормозит только +)

 

У нас текстовые конфиги и сценарии на Python для сложных кейсов -- когда знаешь Python, когда у тебя сценарии и файлы с настройками в git лежат с версионированием и общим доступом -- это очень и очень юзер френдли.

 

Если уж делать GUI для настройки генератора, то в виде web-обертки над облаком генераторов нагрузки. Такое тоже делаем, но я бы не сказал, что там сейчас чудеса UI-дизайна. Хотя пользователям хватает того, что есть, на это не жалуются.

 

 

 

как отображаете графики для разных типов запросов

 

Графики такие.


  • 0

#15 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 09 ноября 2016 - 10:21

 

 

Для кого-то JMeter -- юзер френдли, но для меня -- совсем нет. Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.

 

 

Хочется инструмент с современным и понятным интерфейсом

с одной стороны вы хотели крутой и современный юзер-интерфейс, а с другой стороны сделали только программное управление на питоне. не совсем понятно получается что вы хотели

 

 

 

Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.

в JMeter этот пользовательский интерфейс - в основном для начинающих.

продвинутые пользователи сценарии правят сразу в XML сорсе, ну и затем конфиги и XML сорсы естественно в гите


  • 0

#16 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 513 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 09 ноября 2016 - 10:43

 

Так вы с пользовательским интерфейсом сделали, гибким юзер-френдли и понятным, лучше чем у JMeter?

Для кого-то JMeter -- юзер френдли, но для меня -- совсем нет. Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.

 

Самый юзер френдли интерфейс, как мне кажется, у LoadUI. Тормозит только +)

 

У нас текстовые конфиги и сценарии на Python для сложных кейсов -- когда знаешь Python, когда у тебя сценарии и файлы с настройками в git лежат с версионированием и общим доступом -- это очень и очень юзер френдли.

 

Если уж делать GUI для настройки генератора, то в виде web-обертки над облаком генераторов нагрузки. Такое тоже делаем, но я бы не сказал, что там сейчас чудеса UI-дизайна. Хотя пользователям хватает того, что есть, на это не жалуются.

 

 

 

как отображаете графики для разных типов запросов

 

Графики такие.

 

Для тех кто в танке: Если вылезти из танка и оглянутся, то вы как раз и увидите тот самый неназванный инструмент. Да-да, Яндекс.Танк.

Алексей, а это собственный интерфейс поверх графита или какая-нибудь графана затюненая?


  • 0

#17 RLX

RLX

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Роман

Отправлено 09 ноября 2016 - 10:46

 

в JMeter этот пользовательский интерфейс - в основном для начинающих.

продвинутые пользователи сценарии правят сразу в XML сорсе, ну и затем конфиги и XML сорсы естественно в гите

 

В этом, наверное, и суть - иметь инструмент, с которым можно было бы быстро и удобно работать.

У нас, например, отдел тестирования порядка 20 человек. И не всегда в нужный момент можно задействовать тех специалистов, которые являются продвинутыми в нагрузочном тестировании. Есть естественное желание, снизить порог входа в данную тему.

Это потенциально даст несколько различных возможностей и снизить некоторые риски при управлении проектами.

Другой вопрос, что утопичная идея должна выродиться в правильную реализацию. Для чего, собственно, и требуется помощь других профессионалов (со взглядом со стороны).


  • 0

#18 Spock

Spock

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 09 ноября 2016 - 11:06

самим делать продвинутый гибкий и простой пользовательский интерфейс - слишком накладно

 

тогда надо наверное оставаться на питоне, и обучать "непродвинутых" питону, пусть учатся писать сценарии. придумать может свою внутреннюю сертификацию для них, давать бонусы за прохождение


  • 0

#19 Сергей

Сергей

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 198 сообщений
  • Город:Москва

Отправлено 09 ноября 2016 - 11:07

 

Для тех кто в танке: Если вылезти из танка и оглянутся, то вы как раз и увидите тот самый неназванный инструмент. Да-да, Яндекс.Танк.

Алексей, а это собственный интерфейс поверх графита или какая-нибудь графана затюненая?

 

 

Ну, вообще-то, инструмент яндекс.танк был тут назван.


  • 0

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#20 Little_CJIOH

Little_CJIOH

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 513 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 09 ноября 2016 - 11:23

Для тех кто в танке: Если вылезти из танка и оглянутся, то вы как раз и увидите тот самый неназванный инструмент. Да-да, Яндекс.Танк.
Алексей, а это собственный интерфейс поверх графита или какая-нибудь графана затюненая?

 
Ну, вообще-то, инструмент яндекс.танк был тут назван.

Алексей не представил инструмент о котором рассказывает.
  • 0


Инструменты тестировщика: Командная строка
онлайн
Практикум по тест-дизайну 2.0
онлайн
Программирование на Phyton для тестировщиков
онлайн
Тестирование производительности (JMeter)
онлайн




Темы с аналогичным тегами performance testing, нагрузочное тестирование, инструменты, load testing, test-engine, опрос

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале