Перейти к содержимому

Аудит и оптимизация QA-процессов
онлайн, начало 29 января
Тестирование безопасности
онлайн, начало 27 января
Школа Тест-Аналитика
онлайн, начало 27 января
Тестирование мобильных приложений
онлайн, начало 27 января
Фотография

Набор метрик для тестирования веб сервисов


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 28

#21 a66at

a66at

    Постоянный участник

  • Members
  • PipPipPip
  • 184 сообщений
  • ФИО:Victor Ichalov

Отправлено 04 мая 2007 - 19:49

Откуда эта формула, подскажите источник?

Просмотр сообщения

Если здравый смысл и мой персональный опыт не устраивает, то я действительно встречал её без суммы (для одной операции) где-то под фамилией какого-то, видимо, американца.

Просмотр сообщения

Совершенно слчайно наткнулся:
http://en.wikipedia.org/wiki/Little's_law

Кстати, этот топик действительно относится к тест-менеджменту?
  • 0

#22 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 05 мая 2007 - 21:13

Совершенно случайно наткнулся:
http://en.wikipedia.org/wiki/Little's_law

Ложное совпадение, как по мне.

Формула, похожа, на то что вы предлагали, однако надо всё-таки смотреть что она описывает по сути. А говорит она только то, что если нарушается это соотношение, то сам тул нагрузочного тестирования является узким местом проверки производительности, это во-первых, а во-вторых этот вывод базируется на правильной логике: количество клиентов в системе равняется произведению времени проводимого клиентом в системе на значение, которое описывает интенсивность прибывания новых клиентов.

Теперь вернёмся к тому, что предлагали вы:

N_ср = SUM_i(T_i_ср * I_i)
N_ср - среднее количество потоков;
T_i_ср - среднее время отклика i-го метода сервиса;
I_i - интенсивность вызовов i-го метода сервиса.


Изначально была прозрачная логика:
Если в магазин входит 10 клиентов в час и они остаются в магазине по полчаса, то в магазине в среднем 5 человек. Если вы меряете производительность системы и у вас это соотношение нарушается, то скорее всего сама измерительная система даёт сбой и не может посчитать скажем время обслуживания.

А получилось по вашим словам следующее:
Среднее количество потоков в системе = Сумме произведений времени отклика на интенсивность. По-моему совсем ерунда, хотя, конечно, я могу просто не видеть очевидной связи. Я что-то не "проинтерполировал" чтобы увидеть очевидное?

По-крайней мере пример, который вы привели в подтверждение своей теории, как по мне, совсем из другой оперы.

Кстати, этот топик действительно относится к тест-менеджменту?

Перенёс в нагрузочное тестирование. Спасибо!
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#23 a66at

a66at

    Постоянный участник

  • Members
  • PipPipPip
  • 184 сообщений
  • ФИО:Victor Ichalov

Отправлено 06 мая 2007 - 15:57

Я что-то не "проинтерполировал" чтобы увидеть очевидное?

Вы сильно перевираете мою терминологию. Откуда-то появились какие-то пользователи вместо методов. Я изначально действительно допустил ошибку. Имелось в виду количество потоков в тредпуле, обслуживающем синхронную часть конкретного вёбсервиса, а не во всём сервере приложений и тем более не во всей системе. Для асинхронной части вёбсервиса, при её наличии, формула тоже верна, только брать нужно время обработки, а не отклика и мониторить другой тредпул. В остальном всё верно.
Я удивлён, что эта концепция непонятна, фактически это закон сохранения - для того чтобы обслуживать 7 операций с двухминутной транзакционой частью в минуту в сберкассе нужно 14 операционистов. Нужно объяснять, в каком случае, при методически правильно поданной нагрузке и правильно замеренном клиентском времени отклика это соотношение будет нарушено? :)
  • 0

#24 a66at

a66at

    Постоянный участник

  • Members
  • PipPipPip
  • 184 сообщений
  • ФИО:Victor Ichalov

Отправлено 06 мая 2007 - 16:05

Хинт на засыпку. Из каких составляющих может складываться клиентское время отклика вёб-сервиса? Какие из них допускают "оптимизацию"?
  • 0

#25 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 мая 2007 - 19:06

Вы сильно перевираете мою терминологию. Откуда-то появились какие-то пользователи вместо методов.

Пользователи появились по вашей же ссылке:

    The average number of customers in a stable system (over some time interval), N, is equal to their average arrival rate, λ, multiplied by their average time in the system, T, or:
  N= lambda*T.

И к этой формуле, которую вы приводите в качестве аргумента смысл как раз есть, а вот как она подтверждает слова про то что:

Для результатов корректного эксперимента справедливо отношение:
N_ср = SUM_i(T_i_ср * I_i)
N_ср - среднее количество потоков;
T_i_ср - среднее время отклика i-го метода сервиса;
I_i - интенсивность вызовов i-го метода сервиса.
Осреднение проводится по времени эксперимента.

я никак не пойму.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#26 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 мая 2007 - 19:07

Хинт на засыпку. Из каких составляющих может складываться клиентское время отклика вёб-сервиса? Какие из них допускают "оптимизацию"?

Не уходите в сторону, пожалуйста, вопрос хороший - но о нём лучше отдельной темой.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#27 a66at

a66at

    Постоянный участник

  • Members
  • PipPipPip
  • 184 сообщений
  • ФИО:Victor Ichalov

Отправлено 06 мая 2007 - 20:17

Не уходите в сторону, пожалуйста, вопрос хороший - но о нём лучше отдельной темой.

Просмотр сообщения

Я совсем не ушёл в сторону. :) Неужели так сложно догадаться, что я имею в виду, даже если я, по Вашему мнению, не прав?
  • 0

#28 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 мая 2007 - 22:34

Не уходите в сторону, пожалуйста, вопрос хороший - но о нём лучше отдельной темой.

Я совсем не ушёл в сторону. :) Неужели так сложно догадаться, что я имею в виду, даже если я, по Вашему мнению, не прав?


a66at, вы меня утомили. :clapping: С какой радости я должен угадывать что вы хотели, но так и не удосужились сказать? :lol:

Вы тут уже как-то говорили, про комплексы? На всякий случай оговорюсь отдельно:
1. Я не считаю что вы не правы - я пытаюсь понять, что вы хотели сказать, потому что тема мне интереса. Пример с посетителями в магазине мне понятен, ваша первая формула - нет.
2. Я не считаю, что кто-то должен угадывать мысли оппонента с любом споре: есть желание что-то пояснить - потрудитесь изложить мысль доступно, нет желания - каждому своё, но тогда не ожидай что тебя поймут.
3. В данный момент, то что вы сказали в самом начале вызывает у меня непонимание. Если вы не хотите пояснить, не вопрос - в конце концов, это ваше личное время.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#29 a66at

a66at

    Постоянный участник

  • Members
  • PipPipPip
  • 184 сообщений
  • ФИО:Victor Ichalov

Отправлено 07 мая 2007 - 17:31

a66at, вы меня утомили.

Очень жаль. Но я всё-таки попробую продолжить используя поэтапный подход.

Я не понял почему величина называется средней, а вычисляется как сумма без деления на количество элементов в сумме.


Я уже писал в этом топике до процитированного сообщения, что это не формула для вычисления средней величины. Как считаются участвующие в ней средние величины я уже писал в сообщении Mar 23 2007, 03:00 PM. На самом деле при подстановке в эту формулу Вы их не считаете сами, вам их показывает система мониторинга, или Вы их получаете соответствующими запросами из БД, или они уже приведены в отчёте, если это ревью. Вы просто подставляете их в формулу и смотрите соблюдается ли она. Если угодно, давайте перепишем её в таком виде:
1 = N_ср / SUM_i(T_i_ср * I_i)
Или даже лучше в таком:
SUM_i(T_i_ср * I_i) / N_ср < 1.05

На этот раз я понятно объяснил ту часть, которая относится к процитированному вопросу? Если этот вопрос закрыт, то надо ли объяснять, почему в формуле участвует количество активных потоков на сервере, а не пользователей?
  • 0


Тестирование производительности (JMeter)
онлайн
Тестирование удобства использования
онлайн
Тестирование REST API
онлайн
Тестирование веб-приложений 2.0
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале