у них инструмент своей разработки, на питоне
[Опрос] Инструмент для нагрузочного тестирования
#21
Отправлено 09 ноября 2016 - 12:06
#22
Отправлено 09 ноября 2016 - 12:46
яндекс.танк на питоне
непонятно, почему сразу нельзя было написать, что речь идет о яндекс.танке
"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс
#23
Отправлено 09 ноября 2016 - 12:51
танк, насколько я понимаю - это платформа для нагрузочного тестирования, с аналитикой
к ней подключаются генераторы нагрузки - например, phantom, JMeter и другие
#24
Отправлено 09 ноября 2016 - 15:12
яндекс.танк на питоне
непонятно, почему сразу нельзя было написать, что речь идет о яндекс.танке
Я почему-то подумал, что не очень прилично будет так неприкрыто рекламить свой продукт. Хотя с другой стороны, это опенсорс. Да, речь о Яндекс.Танке.
#25
Отправлено 09 ноября 2016 - 15:19
Для тех кто в танке: Если вылезти из танка и оглянутся, то вы как раз и увидите тот самый неназванный инструмент. Да-да, Яндекс.Танк.
Алексей, а это собственный интерфейс поверх графита или какая-нибудь графана затюненая?
У нас свой интерфейс на джанге, бэкэнд -- Кликхаус. Графит такое точно не потянет (я делал плагин для заливки в графит, там таймлайны непрерывные, т.е. пока вы не тестите -- там нули будут). Еще был вариант InfluxDB, но кликхаус в итоге подошел намного лучше.
#26
Отправлено 09 ноября 2016 - 15:30
В этом, наверное, и суть - иметь инструмент, с которым можно было бы быстро и удобно работать.
У нас, например, отдел тестирования порядка 20 человек. И не всегда в нужный момент можно задействовать тех специалистов, которые являются продвинутыми в нагрузочном тестировании. Есть естественное желание, снизить порог входа в данную тему.
Это потенциально даст несколько различных возможностей и снизить некоторые риски при управлении проектами.
Другой вопрос, что утопичная идея должна выродиться в правильную реализацию. Для чего, собственно, и требуется помощь других профессионалов (со взглядом со стороны).
Самый удобный интерфейс для создания сценариев -- у Лоад Раннера. Нажал на запись, потыкал -- пожалуйста, сценарий. Проблема у них в том, что все остальное из 90-х, а в сценариях используется C (не соответствующий общепринятому стандарту) и Java (тоже с расхождениями со стандартом). Сложно настраивать схемы нагрузки, мониторинг, итд. Сложно с результатами работать. И главное, сторонние тулзы нельзя использовать, потому что в формате выходных данных нетривиально разобраться.
Отсюда две идеи:
-- либо научиться заливать данные ЛП в overload
-- либо научиться "записывать" сценарии на питоне (или lua, или javascript)
Танк модульный, сценарии сможет исполнять -- сейчас уже можно на питоне (мы так, кстати, в мобильники стреляем), есть идея прикрутить еще lua или js.
Кстати говоря, у нас отдел тестирования -- 15 чел на весь Яндекс. Но большую часть тестов гоняют разработчики и админы, т.е. порог входа у нас очень низкий. У нас есть сервис для стрельб -- заходишь, поля в формочке заполняешь, нажимаешь "пострелять".
Еще есть очень много автоматизированных (полностью) стрельб, которые гоняются на каждый релиз. Сами, без участия людей. Задача наших нагрузочников, чаще всего, не "потестировать", а "сделать автоматическое тестирование".
#27
Отправлено 09 ноября 2016 - 15:39
танк, насколько я понимаю - это платформа для нагрузочного тестирования, с аналитикой
к ней подключаются генераторы нагрузки - например, phantom, JMeter и другие
Все верно.
phantom -- C++, очень быстрая стрелялка, до 100 тысяч запросов в секунду, но можно стрелять только заранее приготовленными логами, нельзя генерить запросы прямо в процессе стрельбы
JMeter -- вы и так знаете +)
BFG -- стрельба сценариями на питоне
Pandora -- экспериментальная пушка на Golang, которая умеет SPDY и которую хочется научить стрелять lua/js-сценариями
#28
Отправлено 09 ноября 2016 - 15:40
Кстати говоря, у нас отдел тестирования -- 15 чел на весь Яндекс.
Агаааа... Попался!!!
1) "Карты" просчитывая маршрут на общественном транспорте указывают время без учета пробок. Уже, наверное, год как.
2) "Транспорт" регулярно миксует координаты этого транспорта в итоге на экране трамвай едет боком по улице на которой и рельсов то нет, а потом волшебным образои превращается в местный автобус.
3) "Маркет" в результатах поиска показывает товар, которого при ближайшем рассмотрении нет. Обнаружено недавно на редких ноутах, но баг похоже очень старый, регулярно в списке отсортированном по ценам не вижу нижней цены из поисковой выдачи.
4) "Погода" на мобилке требовала сложного танца с бубном чтоб перестать показывать позавчерашнюю погоду и показать уже сегодняшнюю, хотя она недавно сильно поменялась и вроде баг ушел.
#29
Отправлено 09 ноября 2016 - 16:06
Агаааа... Попался!!!
ну не надо тут бить людей... надо тикеты создавать лучше ;)
#30
Отправлено 09 ноября 2016 - 16:08
Кстати говоря, у нас отдел тестирования -- 15 чел на весь Яндекс.
Агаааа... Попался!!!
1) "Карты" просчитывая маршрут на общественном транспорте указывают время без учета пробок. Уже, наверное, год как.
2) "Транспорт" регулярно миксует координаты этого транспорта в итоге на экране трамвай едет боком по улице на которой и рельсов то нет, а потом волшебным образои превращается в местный автобус.
3) "Маркет" в результатах поиска показывает товар, которого при ближайшем рассмотрении нет. Обнаружено недавно на редких ноутах, но баг похоже очень старый, регулярно в списке отсортированном по ценам не вижу нижней цены из поисковой выдачи.
4) "Погода" на мобилке требовала сложного танца с бубном чтоб перестать показывать позавчерашнюю погоду и показать уже сегодняшнюю, хотя она недавно сильно поменялась и вроде баг ушел.
Спасибо за фидбек, я передам в сервисы +) Я имел в виду нагрузочное тестирование, функциональные баги вне нашей компетенции. И функциональщиков у нас больше 15-ти, я не знаю сколько. Хотя мы (нагрузочники) хотим придумать очень клевое автоматическое тестирование на мобильниках, которое и функциональным тоже будет.
#31
Отправлено 11 ноября 2016 - 11:18
Для кого-то JMeter -- юзер френдли, но для меня -- совсем нет. Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.
с одной стороны вы хотели крутой и современный юзер-интерфейс, а с другой стороны сделали только программное управление на питоне. не совсем понятно получается что вы хотелиХочется инструмент с современным и понятным интерфейсом
Программное управление на Питоне -- это очень современно. Питон сейчас везде, в администрировании, в программировании, в DataScience. Почему бы ему не быть в нагрузочном тестировании?
Плюс опять же, у нас есть танки в облаке и старт тестов через вебформу. Тоже современно.
в JMeter этот пользовательский интерфейс - в основном для начинающих.Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.
продвинутые пользователи сценарии правят сразу в XML сорсе, ну и затем конфиги и XML сорсы естественно в гите
Программировать на XML -- это тоже не из приятных занятий ) Особенно если учесть, что эти навыки потом вообще нигде не пригодятся. Скрипты на питоне позволяют расти профессионально.
#32
Отправлено 13 ноября 2016 - 11:42
Программировать на XML -- это тоже не из приятных занятий ) Особенно если учесть, что эти навыки потом вообще нигде не пригодятся. Скрипты на питоне позволяют расти профессионально.
ну программные вставки там ясно делаются не на XML :)
у вас видимо просто инструмент совершенно другого уровня, Enterprise level. JMeter на таком уровне явно не уместен.
Зато когда надо протестировать небольшой/средний интернет-банк, или интернет-магазин, или гейтвей какой - вот тут JMeter может быть более эффективен
#33
Отправлено 13 ноября 2016 - 16:34
Pandora -- экспериментальная пушка на Golang, которая умеет SPDY и которую хочется научить стрелять lua/js-сценариями
А в каком сейчас состоянии Pandora ? Она полностью готова для продакшена? Послений коммит был Feb 11, 2016
Она, как и BFG умеет в логику?
Делали замеры сколько rps у BFG и Pandora максимум?
#34
Отправлено 14 ноября 2016 - 10:28
А в каком сейчас состоянии Pandora ? Она полностью готова для продакшена? Послений коммит был Feb 11, 2016
если в проект перестали коммитить это значит какие-то проблемы есть... либо проект совсем сдох из-за лучших альтернатив, либо на основе этого проекта и была создана лучшая альтернатива
если не коммитят, то я бы не стал брать в продакшн
#35
Отправлено 14 ноября 2016 - 12:21
Pandora -- экспериментальная пушка на Golang, которая умеет SPDY и которую хочется научить стрелять lua/js-сценариями
А в каком сейчас состоянии Pandora ? Она полностью готова для продакшена? Послений коммит был Feb 11, 2016
Она, как и BFG умеет в логику?
Делали замеры сколько rps у BFG и Pandora максимум?
Pandora сейчас -- это прототип новой стрелялки.
На ней я пробовал SPDY делать, там архитектура другая по сравнению с фантомом, можно более детально управлять каждой сессией. Потом мы померили SPDY и HTTP/2 в реальных условиях (замеряли хождения на top 15 интернета, включая FB, Wikipedia) -- и не увидели большого профита от них. Соответственно, пушку SPDY и HTTP/2 отложили до лучших времен.
Хочется заменить этой пушкой phantom, потому что в ней больше возможностей и ей не нужны заранее сгенеренные патроны, а это сэкономит нам время и место. Поэтому первое, что там появится -- это полноценный HTTP. В HTTP я достреливал до 50 000 RPS. Упирался в JSON decoder -- патроны сейчас читаются из JSON. Хочу переделать на фантомовский формат -- должно стать еще быстрее.
Логику сейчас не умеет, но есть идея вкрутить туда lua/js. Естественно, это будет быстрее, чем BFG.
В прод пока ее не стоит, вот прикрутим новый формат патронов, потом мы у себя попробуем -- можно будет. Еще dropbox обещал прислать патчи с оптимизацией производительности. Заняты все пока другими делами.
BFG -- порядка 10 000 в HTTP, но за ней нужно пристально следить, потому что можно упереться в питон в неожиданных местах. Особенно если какой-то свой протокол.
#36
Отправлено 15 ноября 2016 - 07:24
Так вы с пользовательским интерфейсом сделали, гибким юзер-френдли и понятным, лучше чем у JMeter?
Для кого-то JMeter -- юзер френдли, но для меня -- совсем нет. Программировать в GUI -- это адский ад, малейшее изменение влечет кучу кликов мышкой. И копипастить не получится.
Про адский ад в GUI - согласен. Алексей, а каким инструментом, если это не секрет, пользуются у вас для тестирования API?
"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс
#37
Отправлено 15 ноября 2016 - 07:26
Делаю ставку, что что-нибудь типа JUnit с добавкой ещё какого-нибудь фреймворка для удобства
#38
Отправлено 17 ноября 2016 - 14:42
Всем привет!
Всем спасибо за участие, опыт просто бесценный. На текущий момент итоги подведены и, если кому интересно, результаты можно посмотреть на https://goo.gl/OUxa2L
Темы с аналогичным тегами performance testing, нагрузочное тестирование, инструменты, load testing, test-engine, опрос
Тестирование →
Тестирование производительности →
Характеристики машины для GatlingАвтор reserved, 19 сен 2021 gatling, нагрузочное тестирование |
|
|||
Тестирование →
Тестирование производительности →
Работа LoadrunnerАвтор Chris7078965 , 21 июл 2021 hp, loadrunner, controller и 4 еще... |
|
|
||
Тестирование →
Тестирование производительности →
JMETER - получение ответа не от тестируемого сервисаАвтор Гость_soadmized_* , 04 авг 2020 jmeter, load testing |
|
|||
Свободное общение →
Свободное общение →
[Опрос] Жизнь на удаленкеАвтор Vasiliy, 12 апр 2020 Опрос, Удаленка |
|
|||
Работа и карьера →
Работа для тестировщика/QA →
Работа/Москва →
Нагрузочное тестирование в М-ВидеоАвтор sofia_rav, 06 мар 2020 нагрузочное тестирование, sql и 5 еще... |
|
Количество пользователей, читающих эту тему: 1
0 пользователей, 1 гостей, 0 анонимных