Перейти к содержимому

Фотография

Как Оценить Числовые Показатели Нагрузочного Тестирования?


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 11

#1 *Angel*

*Angel*

    Новый участник

  • Members
  • Pip
  • 41 сообщений
  • ФИО:*Angel*

Отправлено 08 августа 2007 - 08:16

Первый шаг сделан: написан простейший тест, запущен, есть логи....
Как оценить числовые показатели? с чем сравнивать? много или мало? хорошо или плохо?
  • 0

#2 M.J.K

M.J.K

    Новый участник

  • Members
  • Pip
  • 42 сообщений
  • ФИО:Трушков Юрий

Отправлено 08 августа 2007 - 08:30

Первый шаг сделан: написан простейший тест, запущен, есть логи....
Как оценить числовые показатели? с чем сравнивать? много или мало? хорошо или плохо?

Теоретически - такие показатели, как максимальное время ответа и время наработки на ошибку должны быть в спецификации вашего проекта - с ними и сравнивайте.
  • 0
my Изображение
--------------------
Желай невозможного - достигнешь максимума
(Наполеон)

#3 *Angel*

*Angel*

    Новый участник

  • Members
  • Pip
  • 41 сообщений
  • ФИО:*Angel*

Отправлено 08 августа 2007 - 10:15

Этого-то я и боялась...... :mega_shok:
Нет там ничего подобного...
  • 0

#4 M.J.K

M.J.K

    Новый участник

  • Members
  • Pip
  • 42 сообщений
  • ФИО:Трушков Юрий

Отправлено 08 августа 2007 - 11:00

Этого-то я и боялась...... :mega_shok:
Нет там ничего подобного...

:) а какие тогда цели Вы ставили перед сбой перед проведением нагрузочного тестирования?
  • 0
my Изображение
--------------------
Желай невозможного - достигнешь максимума
(Наполеон)

#5 *Angel*

*Angel*

    Новый участник

  • Members
  • Pip
  • 41 сообщений
  • ФИО:*Angel*

Отправлено 08 августа 2007 - 11:45

Цель - была именно освоить нагрузочное тестирование, но т.к. подсказать, проконсультировать некому, собираю все шишки подряд.... а учиться-то охота :)
  • 0

#6 Yury

Yury

    Опытный участник

  • Members
  • PipPipPipPip
  • 258 сообщений
  • ФИО:Yury

Отправлено 09 августа 2007 - 02:21

Цель - была именно освоить нагрузочное тестирование, но т.к. подсказать, проконсультировать некому, собираю все шишки подряд.... а учиться-то охота :)

Не очень понятно откуда взялась эта цель. Есть два основных варианта:
1) Вы сами себе придумали эту цель и занимаетесь этим в свободное от работы время.
Так и играйте в эти игрушки в своё удовольствие.
Главным критерием в этом случае является "Нравится"/"Не Нравится". :mega_shok:
2) Вам кто-то эту задачу дал на Вашей работе.
Так и спросите у этого человека, что он хочет достичь.
  • 0

#7 Green

Green

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 233 сообщений
  • ФИО:Гринкевич Сергей
  • Город:Москва

Отправлено 09 августа 2007 - 08:21

Цель - была именно освоить нагрузочное тестирование, но т.к. подсказать, проконсультировать некому, собираю все шишки подряд.... а учиться-то охота :)


Отличная цель!

К слову, в моей ЛИЧНОЙ профессиональной иерархии - специалист по нагрузочному тестированию стоит на высшей ступеньке квалификационной лестницы (конечно, если он хорошо владеет вопросом) среди специалистов по контролю качества.

*Angel*,

а Вы учитесь как все - освойте тул, прочтите хелп и попробуйте все рекомендации или учебные примеры. Как правило, вместе с тулом идет и пробное приложение или указывается адрес такого приложения в интернете.

Затем, прочитайте все сообщения на форуме. Вопрос нагрузочного тестирования обсуждался достаточно подробно.

После этого можно читать статьи в интернете или прочесть какую-нибудь книжку по теме. Список литературы есть на сайте.

После этого Вы сами сможете ответить на 80-90% вопросов, обсуждаемых на форуме.


Если говорить о критериях успешности, то вся проблема нагрузочного тестирования заключается в том, что если приложение явно не падает во время теста, то любой результат может быть хорош. Как выбрать критерии успешности? Нужно ограничить время, которое система тратит на отправку ответа на запрос, и количество одновременных пользователей, при работе которых измеряется это время.

К примеру, критерии успешности - система должна тратить на обработку запроса не более 5 секунд при 1000 одновременных пользователей (1000 открытых сессий). Если в результате тестирования это условие выполняется, то система справляется с нагрузкой. Если нет, то требуется оптимизация. Существуют и другие подходы к проведению такого теста, так же как и другие типы тестов.

Что бы узнать, что именно следует оптимизировать (или др. словами, какой элемент системы дает самую большую задержку) нужно исследовать показатели системных счетчиков, которые снимаются во время теста. Каждый счетчик характеризует некоторую особенность системы. Что бы узнать, "хороший" или "плохой" результат показывает счетчик, нужно читать документацию по программе или системе, копаться в Интернете, спрашивать специалистов и т.п. К сожалению, количество системных счетчиков очень велико и я ни разу не видел, что бы где-то была собрана подборка трактовки всех счетчиков.
  • 0
Гринкевич Сергей

#8 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 09 августа 2007 - 08:46

Сергей, зачастую вопрос именно "откуда 5 секунд взялось".
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#9 Green

Green

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 233 сообщений
  • ФИО:Гринкевич Сергей
  • Город:Москва

Отправлено 10 августа 2007 - 09:14

Сергей, зачастую вопрос именно "откуда 5 секунд взялось".


В данном случае 5 секунд были приведены для примера. Показатель скорости обработки запроса сам по себе не хорош и не плох. Он всегда "пляшет" от задач бизнеса. Так что именно этот показатель должен предоставлять бизнес-аналитик, который описывает систему. В свою очередь, он этот показатель должен получить от заказчика (ну, или "выбить", или добиться любыми доступными аналитику средствами и заставить заказчика подписаться под полученной цифрой), исходя из бизнес задач.

Вот несколько примеров.

Если вы строите сайт - рекламную витрину компании, то отклик в 1 секунду - это хорошо, в 20 секунд - это очень плохо.
Если вы разрабатываете интернет магазин, то отклик в 10 секунд на последнем этапе (формирование корзины), я думаю, допустим, так как покупатель уже определился с выбором и может чуть чуть подождать.
Но если вы разрабатываете систему проводки платежей магазина, то 5 секунда уже много. Платеж должен проходить практически мгновенно. Думаю, что в этом случае рамка должна быть ниже 1 секунды.

Для каждого конкретного случая - бизнес операции (даже в рамках одной системы) могут быть свои критерии.
  • 0
Гринкевич Сергей

#10 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 10 августа 2007 - 14:17

Вот насколько я понимаю по вопросам в форуме и на тренингах вот это "должно быть намного меньше/больше" вызывает большое количество вопросов. С сайтами более-менее ясно, но сайты или системы с веб-интерфейсами это ведь вершина айсберга.

Выходов несколько:
1. Вопрос приемлимости результатов отправляется аналитику/ПМ/заказчику и забывается.
2. Пытаемся вычислить доступными методами исходя из логики бизнес-задачи (тут я кстати не согласен про процессинг и менее секунды, с чего вдруг?).
3. Берём данные первых прогонов за базовые и строим выводы о регрессии производительности системы от билда к билду относительно предыдущих результатов. Метод ни разу не научный, но зато жизненный. Ответить "стало лучше чем в прошлой версии" или "стало хуже" уже Ответ и по всякому лучше чем ответить "мы не знаем".
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#11 Yury

Yury

    Опытный участник

  • Members
  • PipPipPipPip
  • 258 сообщений
  • ФИО:Yury

Отправлено 11 августа 2007 - 20:26

Но если вы разрабатываете систему проводки платежей магазина, то 5 секунда уже много. Платеж должен проходить практически мгновенно. Думаю, что в этом случае рамка должна быть ниже 1 секунды.

А нельзя ли поподробнее?
А что Вы называете "системой проводки платежей магазина"?
А то уж очень быстродействие впечатляющее получается. :crazy:
  • 0

#12 a66at

a66at

    Постоянный участник

  • Members
  • PipPipPip
  • 184 сообщений
  • ФИО:Victor Ichalov

Отправлено 13 августа 2007 - 17:17

Ну вообще-то, справедливости ради, есть ещё один вариант. Можно без всяких аналитиков взять, да и выяснить, почему же в данном конкретном случае полученные времена отклика/обработки не получились меньше или не могут быть уменьшены. Кроме оказываемого дидактического эффекта эта метода помогает выявить собственные недостатки тестирования, а также избавляет от неприятных моментов при коммуникации его результатов.
  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных