Перейти к содержимому

Фотография

Представление результатов нагрузочного тестировани


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 45

#41 Green

Green

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 233 сообщений
  • ФИО:Гринкевич Сергей
  • Город:Москва

Отправлено 25 мая 2006 - 14:29

Одной из "тонких материй" была раскрыта тема "леерирования нагрузки" - разнесения нагрузки на слои Системы: презентационны, транспортный, бизнес-логики и вплоть до физического (запись, чтение на диск и т.п.). Тема была предложена как метод выхода из ситуации, как раз для случаев Крупных Систем, когда сэмулировать полноценную пользовательскую (при этом системные агенты системы, запросы других Систем и служебные процессы также рассматривались как пользователи генерирующие нагрузку) нагрузку не представляется возможным (рациональным).

Метод предлагает эмулировать нагрузку на определённые слои (выбираемые экспертно) "искуственно", и как бы принимать эту нагрузку как стартовый базис, от которого оттталкиваться далее при проведении нормального "пользовательского" нагрузочного тестирования. Также метод, по-моему, рекоммендовался для архитектурных проектов, где пользователей как таковых может и не быть, но требуется определить (через другие типы нагр.тестирования) архитектурную пригодность: в том числе и масштабируемость и пределы.

Просмотр сообщения


Слава!
Спасибо за отличную идею.
:good:

Действительно, все гениальное просто.
Рассматриваем основные операции системы, выделяем наиболее критичные (такие, как запись на/чтение с жесткого диска, запись в базу данных, пересылка пекетов на удаленный ресурс и т.п.) и строим модель тестов с учетом каждой специфичной операции.

Термин "слои нагрузки" вполне годиться для описания данного подхода в тестировании. Буду пользоваться.
:blush:
  • 0
Гринкевич Сергей

#42 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 25 мая 2006 - 15:59

Рад если оказался полезен!
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#43 Satin

Satin

    Новый участник

  • Members
  • Pip
  • 9 сообщений
  • ФИО:Дмитрий Сатин

Отправлено 25 мая 2006 - 19:59

Пожалуйста, перечислите ошибки применения мною статистики.

Просмотр сообщения


Распределение нагрузки новой версии отличалось большим разбросом значений, от 0 до 50%, в то время как текущая версия показала более цельный и организованный характер.

Принять решение о внедрении системы с такими показателями было бы самоубийственным,

Исходя из этих рассуждений версия "А" лучше, т.к. "показывает более цельный и организованный характер"

Это неверно.

Просмотр сообщения


Вы негативно настроены. Почему? Зачем выдергивать слова из контекста, а затем передергивать их?

Я не писал, что величина разброса данных является единственным критерием.

Вы, как человек, претендующий на знание статистики, должны знать, что "несобранные" (особенно при наличии нескольких эксессов) распределения являются проявлением смешанных (нескольких) факторов. Что само по себе не укрепляет уверенность в предсказуемости "поведения" среднего.

Второе, график, который Вы нарисовали на моих осях, в жизни получен быть не может. Он исключительно гипотетический. Распределение показателей нагрузки при высоких нагрузках не может быть настолько собранным. И, наоборот, при низких нагрузках система обычно показывает низкий разброс распределения показателей нагрузки.

Есть корреляция между величиной разброса и средним, если мы говорим о показателях нагрузки. Не могу, и не хочу сейчас объяснять это наблюдение.
  • 0

#44 Satin

Satin

    Новый участник

  • Members
  • Pip
  • 9 сообщений
  • ФИО:Дмитрий Сатин

Отправлено 25 мая 2006 - 20:09

Есть некоторая вероятность (P = 0.0469) того что средние значения при бесконечном количестве измерений (в пределе) окажутся равны.

Генеральные совокупности (и их средние) никак не зависят от количества измерений. См. статистические методы, раздел выборочные исследования.


Я не понимаю, что с Вами происходит. Где я говорил о том, что генеральные совокупности как-то связаны с количеством измерений? Вы что самоутверждаетесь так?

Давайте так, предложите такой метод, который, на Ваш взгляд, являлся бы оптимальным для описанной в статье ситуации.

Отсутствие указания числа экспериментов в отчете означает  лажу или подтасовку результатов.


Других предположений у Вас нет? Вы уверены в своих словах, и готовы за них отвечать?

Я с радостью продолжил бы дискуссию в другом тоне. Меня раздражает Ваша страсть к отрицанию. Проявите созидательные качества и мы, если это интересно, сможем обсудить что-нибудь ещё.
  • 0

#45 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 26 мая 2006 - 10:53

Я не писал, что величина разброса данных является единственным критерием.

Просмотр сообщения

И?
Смотрите. Вы вводите второй критерий:

Решение 2. Статистический критерий

Чтобы уверенно судить о различии или идентичности средних распределений нагрузки нужно использовать t-критерий Стьюдента, который оценивает вероятность того, что два сравниваемых измерения представляют генеральные совокупности (populations) с одинаковыми средними.

Так?

Сразу после этого:

Пример из жизни

Так?

В этом примере из жизни:

Распределение нагрузки новой версии отличалось большим разбросом значений, от 0 до 50%, в то время как текущая версия показала более цельный и организованный характер.

Принять решение о внедрении системы с такими показателями

Так?

И какой вывод должны сделать читатели? Я не обладаю телепатией. Как написани так и прочитал.

Вы, как человек, претендующий на знание статистики, должны знать, что "несобранные" (особенно при наличии нескольких эксессов) распределения являются проявлением смешанных (нескольких) факторов. Что само по себе не укрепляет уверенность в предсказуемости "поведения" среднего.

Просмотр сообщения

Согласен. И можно добавить еще математики, чтобы сделать "совсем по взрослому". Это будет другой метод. Он точнее и сложнее. Я сделал выбор в пользу простоты.

Второе, график, который Вы нарисовали на моих осях, в жизни получен быть не может. Он исключительно гипотетический.

Просмотр сообщения

Почему? Вот взял и получил:

------------------------------
Но речь то не об этом. Основное мое возражение:
Применение критерия Стьюдента здесь неуместено.

Прикрепленные файлы


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#46 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 26 мая 2006 - 11:11

Генеральные совокупности (и их средние) никак не зависят от количества измерений. См. статистические методы, раздел выборочные исследования.

Где я говорил о том, что генеральные совокупности как-то связаны с количеством измерений?

Просмотр сообщения

Мой вывод отсюда:
...нужно использовать t-критерий Стьюдента, который оценивает вероятность того, что два сравниваемых измерения представляют генеральные совокупности (populations) с одинаковыми средними...
Есть некоторая вероятность (P = 0.0469) того что средние значения при бесконечном количестве измерений (в пределе) окажутся равны.
Хорошо, пусть я не прав. Тогда скажите:
1) А при конечном количестве измерений могут?
2) А на что влияет число измерений? Т.е. зачем об этом писать?
Т.е. я понял эту фразу как: Есть некоторая вероятность ... что средние [генеральной совокупности] будут .... Может я не прав, но я так понял.


Отсутствие указания числа экспериментов в отчете означает  лажу или подтасовку результатов.


Других предположений у Вас нет? Вы уверены в своих словах, и готовы за них отвечать?

Просмотр сообщения

Указание критериев, условий экспериментов и первичных данных считается необходимым в разных кругах. Например в научных, в аудиторских, ...

Пожалуйста приведите:
* Критерии успешности
* условия экспериментов
* первичные данные

---------------------------------
PS. Статья у ва далеко не так плоха, как может показаться из моей критики. Я пытался указать на неточности и ошибки.
Но если вы не собираетесь ее переписывать, то более я писать не буду.
  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных