Как Оценить Числовые Показатели Нагрузочного Тестирования?
#1
Отправлено 08 августа 2007 - 08:16
Как оценить числовые показатели? с чем сравнивать? много или мало? хорошо или плохо?
#2
Отправлено 08 августа 2007 - 08:30
Теоретически - такие показатели, как максимальное время ответа и время наработки на ошибку должны быть в спецификации вашего проекта - с ними и сравнивайте.Первый шаг сделан: написан простейший тест, запущен, есть логи....
Как оценить числовые показатели? с чем сравнивать? много или мало? хорошо или плохо?
#3
Отправлено 08 августа 2007 - 10:15
Нет там ничего подобного...
#5
Отправлено 08 августа 2007 - 11:45
#6
Отправлено 09 августа 2007 - 02:21
Не очень понятно откуда взялась эта цель. Есть два основных варианта:Цель - была именно освоить нагрузочное тестирование, но т.к. подсказать, проконсультировать некому, собираю все шишки подряд.... а учиться-то охота :)
1) Вы сами себе придумали эту цель и занимаетесь этим в свободное от работы время.
Так и играйте в эти игрушки в своё удовольствие.
Главным критерием в этом случае является "Нравится"/"Не Нравится".
2) Вам кто-то эту задачу дал на Вашей работе.
Так и спросите у этого человека, что он хочет достичь.
#7
Отправлено 09 августа 2007 - 08:21
Цель - была именно освоить нагрузочное тестирование, но т.к. подсказать, проконсультировать некому, собираю все шишки подряд.... а учиться-то охота :)
Отличная цель!
К слову, в моей ЛИЧНОЙ профессиональной иерархии - специалист по нагрузочному тестированию стоит на высшей ступеньке квалификационной лестницы (конечно, если он хорошо владеет вопросом) среди специалистов по контролю качества.
*Angel*,
а Вы учитесь как все - освойте тул, прочтите хелп и попробуйте все рекомендации или учебные примеры. Как правило, вместе с тулом идет и пробное приложение или указывается адрес такого приложения в интернете.
Затем, прочитайте все сообщения на форуме. Вопрос нагрузочного тестирования обсуждался достаточно подробно.
После этого можно читать статьи в интернете или прочесть какую-нибудь книжку по теме. Список литературы есть на сайте.
После этого Вы сами сможете ответить на 80-90% вопросов, обсуждаемых на форуме.
Если говорить о критериях успешности, то вся проблема нагрузочного тестирования заключается в том, что если приложение явно не падает во время теста, то любой результат может быть хорош. Как выбрать критерии успешности? Нужно ограничить время, которое система тратит на отправку ответа на запрос, и количество одновременных пользователей, при работе которых измеряется это время.
К примеру, критерии успешности - система должна тратить на обработку запроса не более 5 секунд при 1000 одновременных пользователей (1000 открытых сессий). Если в результате тестирования это условие выполняется, то система справляется с нагрузкой. Если нет, то требуется оптимизация. Существуют и другие подходы к проведению такого теста, так же как и другие типы тестов.
Что бы узнать, что именно следует оптимизировать (или др. словами, какой элемент системы дает самую большую задержку) нужно исследовать показатели системных счетчиков, которые снимаются во время теста. Каждый счетчик характеризует некоторую особенность системы. Что бы узнать, "хороший" или "плохой" результат показывает счетчик, нужно читать документацию по программе или системе, копаться в Интернете, спрашивать специалистов и т.п. К сожалению, количество системных счетчиков очень велико и я ни разу не видел, что бы где-то была собрана подборка трактовки всех счетчиков.
#8
Отправлено 09 августа 2007 - 08:46
Редактор портала www.it4business.ru
#9
Отправлено 10 августа 2007 - 09:14
Сергей, зачастую вопрос именно "откуда 5 секунд взялось".
В данном случае 5 секунд были приведены для примера. Показатель скорости обработки запроса сам по себе не хорош и не плох. Он всегда "пляшет" от задач бизнеса. Так что именно этот показатель должен предоставлять бизнес-аналитик, который описывает систему. В свою очередь, он этот показатель должен получить от заказчика (ну, или "выбить", или добиться любыми доступными аналитику средствами и заставить заказчика подписаться под полученной цифрой), исходя из бизнес задач.
Вот несколько примеров.
Если вы строите сайт - рекламную витрину компании, то отклик в 1 секунду - это хорошо, в 20 секунд - это очень плохо.
Если вы разрабатываете интернет магазин, то отклик в 10 секунд на последнем этапе (формирование корзины), я думаю, допустим, так как покупатель уже определился с выбором и может чуть чуть подождать.
Но если вы разрабатываете систему проводки платежей магазина, то 5 секунда уже много. Платеж должен проходить практически мгновенно. Думаю, что в этом случае рамка должна быть ниже 1 секунды.
Для каждого конкретного случая - бизнес операции (даже в рамках одной системы) могут быть свои критерии.
#10
Отправлено 10 августа 2007 - 14:17
Выходов несколько:
1. Вопрос приемлимости результатов отправляется аналитику/ПМ/заказчику и забывается.
2. Пытаемся вычислить доступными методами исходя из логики бизнес-задачи (тут я кстати не согласен про процессинг и менее секунды, с чего вдруг?).
3. Берём данные первых прогонов за базовые и строим выводы о регрессии производительности системы от билда к билду относительно предыдущих результатов. Метод ни разу не научный, но зато жизненный. Ответить "стало лучше чем в прошлой версии" или "стало хуже" уже Ответ и по всякому лучше чем ответить "мы не знаем".
Редактор портала www.it4business.ru
#11
Отправлено 11 августа 2007 - 20:26
А нельзя ли поподробнее?Но если вы разрабатываете систему проводки платежей магазина, то 5 секунда уже много. Платеж должен проходить практически мгновенно. Думаю, что в этом случае рамка должна быть ниже 1 секунды.
А что Вы называете "системой проводки платежей магазина"?
А то уж очень быстродействие впечатляющее получается.
#12
Отправлено 13 августа 2007 - 17:17
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных