Перейти к содержимому

Английский для тестировщиков
онлайн, начало 21 июня
Погружение в тестирование. Jedi point
онлайн, начало 21 июня
Тестирование REST API
онлайн, начало 21 июня
Selenium WebDriver: полное руководство
онлайн, начало 18 июня
Фотография

Хранение отчетов JMeter


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 7

#1 andrey.tyutyunov

andrey.tyutyunov

    Новый участник

  • Members
  • Pip
  • 12 сообщений
  • ФИО:Тютюнов Андрей Геннадьевич


Отправлено 01 июня 2012 - 04:23

Доброго времени суток, уважаемые форумчане!

Возникла одна проблема. От версии к версии проводим нагрузочное тестирование, и возникает проблема с хранением-анализом результатов нагрузочных тестов (в итоге имеется большое количество jtl файлов). Часто возникают вопросы, есть ли регрессия, стало ли лучше / хуже / не изменилось, если изменилось - то на сколько (в тредах, транзакциях в минуту, время отклика, и вагон с тележкой других параметров).

Как вы решаете проблему с хранением-анализом-сравнением предыдущих результатов? Может, есть сервис по облачному хранению результатов, с графиками и другими плюшками? В частности, очень интересует наложение графиков различных прогонов. Видел http://blazemeter.com, но нужно только хранение результатов.
  • 0

#2 fesd

fesd

    Опытный участник

  • Members
  • PipPipPipPip
  • 262 сообщений

Отправлено 01 июня 2012 - 05:51

В своей компании мы написали свой веб-интерфейс и храним результаты там.
Еще есть сервис http://loadosophia.org/ может это то что вам нужно?
  • 0

#3 andrey.tyutyunov

andrey.tyutyunov

    Новый участник

  • Members
  • Pip
  • 12 сообщений
  • ФИО:Тютюнов Андрей Геннадьевич


Отправлено 01 июня 2012 - 07:14

В своей компании мы написали свой веб-интерфейс и храним результаты там.
Еще есть сервис http://loadosophia.org/ может это то что вам нужно?


спасибо за ссылку, посмотрел. К сожалению, много чего не хватает - например, детальных отчетов по каждой из операций (не нашел как посмотреть, например, только процедуру авторизации), и наслоения разных отчетов друг на друга (сравнение).
  • 0

#4 APC

APC

    Опытный участник

  • Members
  • PipPipPipPip
  • 293 сообщений
  • ФИО:Похилько Андрей Федорович
  • Город:Москва


Отправлено 02 июня 2012 - 11:07


В своей компании мы написали свой веб-интерфейс и храним результаты там.
Еще есть сервис http://loadosophia.org/ может это то что вам нужно?


спасибо за ссылку, посмотрел. К сожалению, много чего не хватает - например, детальных отчетов по каждой из операций (не нашел как посмотреть, например, только процедуру авторизации), и наслоения разных отчетов друг на друга (сравнение).


Сравнение отчетов там есть. Если вы смотрели только публичные отчеты - там много чего не видно, что есть внутри за аутентификацией.

По поводу детализации по операции - этого и правда не хватает, со временем сделается.
  • 0

#5 Troubleshooter

Troubleshooter

    Опытный участник

  • Members
  • PipPipPipPip
  • 398 сообщений
  • Город:Киев

Отправлено 06 июня 2012 - 14:12

Доброго времени суток, уважаемые форумчане!

Возникла одна проблема. От версии к версии проводим нагрузочное тестирование, и возникает проблема с хранением-анализом результатов нагрузочных тестов (в итоге имеется большое количество jtl файлов). Часто возникают вопросы, есть ли регрессия, стало ли лучше / хуже / не изменилось, если изменилось - то на сколько (в тредах, транзакциях в минуту, время отклика, и вагон с тележкой других параметров).


Если кратко, мы делаем это следующим образом:
1) Для итераций создается агрегирующий отчет по ранее определенному шаблону. В отчет вносятся данные о тюнинге, тестовой среде, тестах, нагрузках, результаты всех нужных метрик, описываются тренды, а также, найденные проблемы.
2) Агрегирующие отчеты хранятся в google docs как excel документ и доступен всем членам команды и другим инженерам. Для хранения логов jmeter и остальных артефактов используем NAS.
3) В агрегирующем отчете есть сссылка на место в котором хранятся артефакты для каждого из тестов.
  • 0

#6 yugene

yugene

    Новый участник

  • Members
  • Pip
  • 25 сообщений


Отправлено 11 июня 2012 - 12:38

Недавно занялся тем же самым на работе и тут успел спросить и в рассылке JMeter кто то озадачивался складыванием в базу, есть вот такой тред http://mail-archives...6E91E0@phx.gbl> с сылкой на примеры как заливать в базу результаты. Ещё есть http://wiki.apache.o...ter/LogAnalysis там есть описнаие как дефолтный xml перевести в csv с помощью python скрипта, потом это можно залить в базу, ну а уж в базе джоинить как угодно с любыми доступными агрегирующими функциями. Только вот в mysql функции перцентили не нашлось, я лично заюзал оракл, просто переделав create table из примера Оливера.
  • 0

#7 yugene

yugene

    Новый участник

  • Members
  • Pip
  • 25 сообщений


Отправлено 01 июля 2012 - 20:27

Мой пример http://yugene1986.bl...-import-it.html
  • 0

#8 APC

APC

    Опытный участник

  • Members
  • PipPipPipPip
  • 293 сообщений
  • ФИО:Похилько Андрей Федорович
  • Город:Москва


Отправлено 02 июля 2012 - 11:32

По поводу детализации по операции - этого и правда не хватает, со временем сделается.


Кстати, оно уже сделалось.
  • 0


Тестирование производительности (JMeter)
онлайн
Тестирование удобства использования
онлайн
Тестирование REST API
онлайн
Тестирование веб-приложений 2.0
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале