Нагрузочное тестирование и стрессовое.
#1
Отправлено 23 марта 2007 - 13:50
Вопрос из зала.
Зачем разносить нагрузочное и стрессовое тестирование, разница только, к примеру, в количестве пользователей - зачем огород городить? Излишество.
Ответ.
Разносить нужно, так как иначе, к примеру, такой простой параметр как "среднее время отклика по операции" будет измеряться как средняя температура по больнице: у кого-то комнатная (труп) у кого-то 39, а в среднем номрально 36 плюс-минус. Так же и со сременем отклика когда система находиться в рамках нормальной нагрузки и время отклика к примеру 0.5 сек на запрос и когда она в стрессовом состоянии и на той же операции перешагнули за граничную отметку 2сек, а в среднем показатель до 1сек и это приемлимо если не смотреть на графики.
Редактор портала www.it4business.ru
#2
Отправлено 26 марта 2007 - 07:27
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#3
Отправлено 01 апреля 2007 - 20:10
Существенная разница заключается в том, что должно бы было определять модель нагрузки. В первом случае модель определяется тем, что нужно пользователям (100 заказов в секунду), во втором - возможностями системы (нужно добиться исчерпания какого-либо ресурса и отчитаться о том, что это был за ресурс и что бывает при его исчерпании). На самом деле, стрессовое тестирование - это скорее миф, пришедший, видимо, из RUP (вот не могу найти ссылку). Собственно, настроечная сессия предшествующая тестированию, даёт те же результаты, что и стрессовое тестирование. Ну а желающие поспорить, пусть найдут упоминания о стрессовом тестировании, как о средстве поиска потенциальных узких мест, например, на кладбище погибших нагрузочных тестирований. Я не нашёл, но читал, конечно, не всё.У меня есть более общий ответ: при так называемом "нагрузочном" и так называемом "стрессовом" тестировании используются две различные модели нагрузки. В действительности, моделей надо использовать не обязательно две, а столько, сколько нужно.
Кстати, вопрос по теме корневого топика. Каково, собственно, обоснование существования такой метрики как среднее по операциям время отклика? Т.е. так вот просто берём среднее, между, например, считываниями картинок и статических страниц с вёб-сервера (которые выполняются быстро, но, например 50 раз в секунду) и тем же оформлением заказа (которое выполняется, например, несколько секунд, но раз в две секунды и существенная часть этого времени тратится в рантайме СУБД)?
#4
Отправлено 02 апреля 2007 - 08:15
Среднее берётся, конечно, для одной операции - откуда фанатазия на тему вычислять среднее по различным операциям берётся в природе непонятно :)Кстати, вопрос по теме корневого топика. Каково, собственно, обоснование существования такой метрики как среднее по операциям время отклика? Т.е. так вот просто берём среднее, между, например, считываниями картинок и статических страниц с вёб-сервера (которые выполняются быстро, но, например 50 раз в секунду) и тем же оформлением заказа (которое выполняется, например, несколько секунд, но раз в две секунды и существенная часть этого времени тратится в рантайме СУБД)?
Редактор портала www.it4business.ru
#5
Отправлено 03 апреля 2007 - 04:02
Если не навешивать ярлыки вроде"стрессовое", а говорить именно о различных моделях нагрузки, то мы, действительно, довольно часто используем две модели -- "повседневная" нагрузка на сайт и скачкообразное повышение нагрузки, ожидаемое после какого-либо события, например, запустилась рекламная кампания в СМИ (особенно по радио и телевидению).На самом деле, стрессовое тестирование - это скорее миф, пришедший, видимо, из RUP (вот не могу найти ссылку). Собственно, настроечная сессия предшествующая тестированию, даёт те же результаты, что и стрессовое тестирование.
Иногда под "стрессовой" подразумевается модель с постоянным увеличением нагрузки. Тоже приходилось использовать в случаях, когда у заказчика нет сформулированных требований к тому, какая производительность должна быть обеспечена, тогда можно хотя бы определить, какую нагрузку система способна выдержать, а потом он пусть делает с этими цифрами что хочет.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#6
Отправлено 03 апреля 2007 - 11:15
В том то и фигня :) Намерять - намеряли, а потмо пусь кастомер думает что с этим делать. Алексей, а у вас клиент ещё платят за такие "отчёты"? :) Я без - упаси бог - наезда, просто интересно :)...а потом он пусть делает с этими цифрами что хочет.
Редактор портала www.it4business.ru
#7
Отправлено 03 апреля 2007 - 11:48
Ну, это я немного грубо выразился, конечно, насчет "что хочет". Чаще бывает такая ситуация: заказчик имеет какие-то деньги на оборудование (бюджет проекта уже поделен -- вот это на разработку, вот это на оборудование), прикидывает, что он может за эти деньги купить, и спрашивает -- а вот на таком оборудовании какую производительность можно обеспечить? Не все хорошо и точно оценивают ожидаемую нагрузку в будущем (через год-два), поэтому им просто хочется знать, какой запас мощности у них имеется.В том то и фигня :) Намерять - намеряли, а потмо пусь кастомер думает что с этим делать. Алексей, а у вас клиент ещё платят за такие "отчёты"? :) Я без - упаси бог - наезда, просто интересно :)...а потом он пусть делает с этими цифрами что хочет.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#8
Отправлено 03 апреля 2007 - 19:39
Редактор портала www.it4business.ru
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных