Перейти к содержимому

Автоматизатор мобильных приложений
онлайн, начало 19 мая
Первый Онлайн ИНститут Тестировщиков
онлайн, начало 18 мая
SQL для тестировщиков
онлайн, начало 17 мая
Английский для тестировщиков
онлайн, начало 17 мая
Фотография

Хранение отчетов JMeter


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 7

#1 andrey.tyutyunov

andrey.tyutyunov

    Новый участник

  • Members
  • Pip
  • 12 сообщений
  • ФИО:Тютюнов Андрей Геннадьевич


Отправлено 01 июня 2012 - 04:23

Доброго времени суток, уважаемые форумчане!

Возникла одна проблема. От версии к версии проводим нагрузочное тестирование, и возникает проблема с хранением-анализом результатов нагрузочных тестов (в итоге имеется большое количество jtl файлов). Часто возникают вопросы, есть ли регрессия, стало ли лучше / хуже / не изменилось, если изменилось - то на сколько (в тредах, транзакциях в минуту, время отклика, и вагон с тележкой других параметров).

Как вы решаете проблему с хранением-анализом-сравнением предыдущих результатов? Может, есть сервис по облачному хранению результатов, с графиками и другими плюшками? В частности, очень интересует наложение графиков различных прогонов. Видел http://blazemeter.com, но нужно только хранение результатов.
  • 0

#2 fesd

fesd

    Опытный участник

  • Members
  • PipPipPipPip
  • 262 сообщений

Отправлено 01 июня 2012 - 05:51

В своей компании мы написали свой веб-интерфейс и храним результаты там.
Еще есть сервис http://loadosophia.org/ может это то что вам нужно?
  • 0

#3 andrey.tyutyunov

andrey.tyutyunov

    Новый участник

  • Members
  • Pip
  • 12 сообщений
  • ФИО:Тютюнов Андрей Геннадьевич


Отправлено 01 июня 2012 - 07:14

В своей компании мы написали свой веб-интерфейс и храним результаты там.
Еще есть сервис http://loadosophia.org/ может это то что вам нужно?


спасибо за ссылку, посмотрел. К сожалению, много чего не хватает - например, детальных отчетов по каждой из операций (не нашел как посмотреть, например, только процедуру авторизации), и наслоения разных отчетов друг на друга (сравнение).
  • 0

#4 APC

APC

    Опытный участник

  • Members
  • PipPipPipPip
  • 293 сообщений
  • ФИО:Похилько Андрей Федорович
  • Город:Москва


Отправлено 02 июня 2012 - 11:07


В своей компании мы написали свой веб-интерфейс и храним результаты там.
Еще есть сервис http://loadosophia.org/ может это то что вам нужно?


спасибо за ссылку, посмотрел. К сожалению, много чего не хватает - например, детальных отчетов по каждой из операций (не нашел как посмотреть, например, только процедуру авторизации), и наслоения разных отчетов друг на друга (сравнение).


Сравнение отчетов там есть. Если вы смотрели только публичные отчеты - там много чего не видно, что есть внутри за аутентификацией.

По поводу детализации по операции - этого и правда не хватает, со временем сделается.
  • 0

#5 Troubleshooter

Troubleshooter

    Опытный участник

  • Members
  • PipPipPipPip
  • 398 сообщений
  • Город:Киев

Отправлено 06 июня 2012 - 14:12

Доброго времени суток, уважаемые форумчане!

Возникла одна проблема. От версии к версии проводим нагрузочное тестирование, и возникает проблема с хранением-анализом результатов нагрузочных тестов (в итоге имеется большое количество jtl файлов). Часто возникают вопросы, есть ли регрессия, стало ли лучше / хуже / не изменилось, если изменилось - то на сколько (в тредах, транзакциях в минуту, время отклика, и вагон с тележкой других параметров).


Если кратко, мы делаем это следующим образом:
1) Для итераций создается агрегирующий отчет по ранее определенному шаблону. В отчет вносятся данные о тюнинге, тестовой среде, тестах, нагрузках, результаты всех нужных метрик, описываются тренды, а также, найденные проблемы.
2) Агрегирующие отчеты хранятся в google docs как excel документ и доступен всем членам команды и другим инженерам. Для хранения логов jmeter и остальных артефактов используем NAS.
3) В агрегирующем отчете есть сссылка на место в котором хранятся артефакты для каждого из тестов.
  • 0

#6 yugene

yugene

    Новый участник

  • Members
  • Pip
  • 25 сообщений


Отправлено 11 июня 2012 - 12:38

Недавно занялся тем же самым на работе и тут успел спросить и в рассылке JMeter кто то озадачивался складыванием в базу, есть вот такой тред http://mail-archives...6E91E0@phx.gbl> с сылкой на примеры как заливать в базу результаты. Ещё есть http://wiki.apache.o...ter/LogAnalysis там есть описнаие как дефолтный xml перевести в csv с помощью python скрипта, потом это можно залить в базу, ну а уж в базе джоинить как угодно с любыми доступными агрегирующими функциями. Только вот в mysql функции перцентили не нашлось, я лично заюзал оракл, просто переделав create table из примера Оливера.
  • 0

#7 yugene

yugene

    Новый участник

  • Members
  • Pip
  • 25 сообщений


Отправлено 01 июля 2012 - 20:27

Мой пример http://yugene1986.bl...-import-it.html
  • 0

#8 APC

APC

    Опытный участник

  • Members
  • PipPipPipPip
  • 293 сообщений
  • ФИО:Похилько Андрей Федорович
  • Город:Москва


Отправлено 02 июля 2012 - 11:32

По поводу детализации по операции - этого и правда не хватает, со временем сделается.


Кстати, оно уже сделалось.
  • 0


Тестирование производительности (JMeter)
онлайн
Тестирование удобства использования
онлайн
Тестирование REST API
онлайн
Тестирование веб-приложений 2.0
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале