Перейти к содержимому

Фотография

Нагрузочное тестирование и стрессовое.


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 7

#1 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 23 марта 2007 - 13:50

Давно хотел написать, но как-то руки не доходили - просто кину в форум, чтобы не забылось:)

Вопрос из зала.
Зачем разносить нагрузочное и стрессовое тестирование, разница только, к примеру, в количестве пользователей - зачем огород городить? Излишество.

Ответ.
Разносить нужно, так как иначе, к примеру, такой простой параметр как "среднее время отклика по операции" будет измеряться как средняя температура по больнице: у кого-то комнатная (труп) у кого-то 39, а в среднем номрально 36 плюс-минус. Так же и со сременем отклика когда система находиться в рамках нормальной нагрузки и время отклика к примеру 0.5 сек на запрос и когда она в стрессовом состоянии и на той же операции перешагнули за граничную отметку 2сек, а в среднем показатель до 1сек и это приемлимо если не смотреть на графики.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#2 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 26 марта 2007 - 07:27

У меня есть более общий ответ: при так называемом "нагрузочном" и так называемом "стрессовом" тестировании используются две различные модели нагрузки. В действительности, моделей надо использовать не обязательно две, а столько, сколько нужно.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#3 a66at

a66at

    Постоянный участник

  • Members
  • PipPipPip
  • 184 сообщений
  • ФИО:Victor Ichalov

Отправлено 01 апреля 2007 - 20:10

У меня есть более общий ответ: при так называемом "нагрузочном" и так называемом "стрессовом" тестировании используются две различные модели нагрузки. В действительности, моделей надо использовать не обязательно две, а столько, сколько нужно.

Просмотр сообщения

Существенная разница заключается в том, что должно бы было определять модель нагрузки. В первом случае модель определяется тем, что нужно пользователям (100 заказов в секунду), во втором - возможностями системы (нужно добиться исчерпания какого-либо ресурса и отчитаться о том, что это был за ресурс и что бывает при его исчерпании). На самом деле, стрессовое тестирование - это скорее миф, пришедший, видимо, из RUP (вот не могу найти ссылку). Собственно, настроечная сессия предшествующая тестированию, даёт те же результаты, что и стрессовое тестирование. Ну а желающие поспорить, пусть найдут упоминания о стрессовом тестировании, как о средстве поиска потенциальных узких мест, например, на кладбище погибших нагрузочных тестирований. Я не нашёл, но читал, конечно, не всё.
Кстати, вопрос по теме корневого топика. Каково, собственно, обоснование существования такой метрики как среднее по операциям время отклика? Т.е. так вот просто берём среднее, между, например, считываниями картинок и статических страниц с вёб-сервера (которые выполняются быстро, но, например 50 раз в секунду) и тем же оформлением заказа (которое выполняется, например, несколько секунд, но раз в две секунды и существенная часть этого времени тратится в рантайме СУБД)?
  • 0

#4 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 02 апреля 2007 - 08:15

Кстати, вопрос по теме корневого топика. Каково, собственно, обоснование существования такой метрики как среднее по операциям время отклика? Т.е. так вот просто берём среднее, между, например, считываниями картинок и статических страниц с вёб-сервера (которые выполняются быстро, но, например 50 раз в секунду) и тем же оформлением заказа (которое выполняется, например, несколько секунд, но раз в две секунды и существенная часть этого времени тратится в рантайме СУБД)?

Среднее берётся, конечно, для одной операции - откуда фанатазия на тему вычислять среднее по различным операциям берётся в природе непонятно :)
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#5 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 03 апреля 2007 - 04:02

На самом деле, стрессовое тестирование - это скорее миф, пришедший, видимо, из RUP (вот не могу найти ссылку). Собственно, настроечная сессия предшествующая тестированию, даёт те же результаты, что и стрессовое тестирование.

Если не навешивать ярлыки вроде"стрессовое", а говорить именно о различных моделях нагрузки, то мы, действительно, довольно часто используем две модели -- "повседневная" нагрузка на сайт и скачкообразное повышение нагрузки, ожидаемое после какого-либо события, например, запустилась рекламная кампания в СМИ (особенно по радио и телевидению).

Иногда под "стрессовой" подразумевается модель с постоянным увеличением нагрузки. Тоже приходилось использовать в случаях, когда у заказчика нет сформулированных требований к тому, какая производительность должна быть обеспечена, тогда можно хотя бы определить, какую нагрузку система способна выдержать, а потом он пусть делает с этими цифрами что хочет.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#6 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 03 апреля 2007 - 11:15

...а потом он пусть делает с этими цифрами что хочет.

В том то и фигня :) Намерять - намеряли, а потмо пусь кастомер думает что с этим делать. Алексей, а у вас клиент ещё платят за такие "отчёты"? :) Я без - упаси бог - наезда, просто интересно :)
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#7 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 03 апреля 2007 - 11:48

...а потом он пусть делает с этими цифрами что хочет.

В том то и фигня :) Намерять - намеряли, а потмо пусь кастомер думает что с этим делать. Алексей, а у вас клиент ещё платят за такие "отчёты"? :) Я без - упаси бог - наезда, просто интересно :)

Ну, это я немного грубо выразился, конечно, насчет "что хочет". Чаще бывает такая ситуация: заказчик имеет какие-то деньги на оборудование (бюджет проекта уже поделен -- вот это на разработку, вот это на оборудование), прикидывает, что он может за эти деньги купить, и спрашивает -- а вот на таком оборудовании какую производительность можно обеспечить? Не все хорошо и точно оценивают ожидаемую нагрузку в будущем (через год-два), поэтому им просто хочется знать, какой запас мощности у них имеется.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#8 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 03 апреля 2007 - 19:39

Ну так и нормуль :blush: Это вполне нормально для нашего бизнеса в целом, не только для IT. Есть бюджет, есть желание Заказчика знать "потянет или нет" - и тестирование даёт такой ответ.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных