Набор метрик для тестирования веб сервисов

Откуда эта формула, подскажите источник?

Если здравый смысл и мой персональный опыт не устраивает, то я действительно встречал её без суммы (для одной операции) где-то под фамилией какого-то, видимо, американца.

Совершенно слчайно наткнулся:
http://en.wikipedia.org/wiki/Little's_law

Кстати, этот топик действительно относится к тест-менеджменту?

Совершенно случайно наткнулся:
http://en.wikipedia.org/wiki/Little's_law

Ложное совпадение, как по мне.

Формула, похожа, на то что вы предлагали, однако надо всё-таки смотреть что она описывает по сути. А говорит она только то, что если нарушается это соотношение, то сам тул нагрузочного тестирования является узким местом проверки производительности, это во-первых, а во-вторых этот вывод базируется на правильной логике: количество клиентов в системе равняется произведению времени проводимого клиентом в системе на значение, которое описывает интенсивность прибывания новых клиентов.

Теперь вернёмся к тому, что предлагали вы:

N_ср = SUM_i(T_i_ср * I_i)
N_ср - среднее количество потоков;
T_i_ср - среднее время отклика i-го метода сервиса;
I_i - интенсивность вызовов i-го метода сервиса.

Изначально была прозрачная логика:
Если в магазин входит 10 клиентов в час и они остаются в магазине по полчаса, то в магазине в среднем 5 человек. Если вы меряете производительность системы и у вас это соотношение нарушается, то скорее всего сама измерительная система даёт сбой и не может посчитать скажем время обслуживания.

А получилось по вашим словам следующее:
Среднее количество потоков в системе = Сумме произведений времени отклика на интенсивность. По-моему совсем ерунда, хотя, конечно, я могу просто не видеть очевидной связи. Я что-то не "проинтерполировал" чтобы увидеть очевидное?

По-крайней мере пример, который вы привели в подтверждение своей теории, как по мне, совсем из другой оперы.

Кстати, этот топик действительно относится к тест-менеджменту?

Перенёс в нагрузочное тестирование. Спасибо!

Я что-то не "проинтерполировал" чтобы увидеть очевидное?

Вы сильно перевираете мою терминологию. Откуда-то появились какие-то пользователи вместо методов. Я изначально действительно допустил ошибку. Имелось в виду количество потоков в тредпуле, обслуживающем синхронную часть конкретного вёбсервиса, а не во всём сервере приложений и тем более не во всей системе. Для асинхронной части вёбсервиса, при её наличии, формула тоже верна, только брать нужно время обработки, а не отклика и мониторить другой тредпул. В остальном всё верно.
Я удивлён, что эта концепция непонятна, фактически это закон сохранения - для того чтобы обслуживать 7 операций с двухминутной транзакционой частью в минуту в сберкассе нужно 14 операционистов. Нужно объяснять, в каком случае, при методически правильно поданной нагрузке и правильно замеренном клиентском времени отклика это соотношение будет нарушено? :)

Хинт на засыпку. Из каких составляющих может складываться клиентское время отклика вёб-сервиса? Какие из них допускают "оптимизацию"?

Вы сильно перевираете мою терминологию. Откуда-то появились какие-то пользователи вместо методов.

Пользователи появились по вашей же ссылке:

    The average number of customers in a stable system (over some time interval), N, is equal to their average arrival rate, λ, multiplied by their average time in the system, T, or:
  N= lambda*T.

И к этой формуле, которую вы приводите в качестве аргумента смысл как раз есть, а вот как она подтверждает слова про то что:

Для результатов корректного эксперимента справедливо отношение:
N_ср = SUM_i(T_i_ср * I_i)
N_ср - среднее количество потоков;
T_i_ср - среднее время отклика i-го метода сервиса;
I_i - интенсивность вызовов i-го метода сервиса.
Осреднение проводится по времени эксперимента.

я никак не пойму.

Хинт на засыпку. Из каких составляющих может складываться клиентское время отклика вёб-сервиса? Какие из них допускают "оптимизацию"?

Не уходите в сторону, пожалуйста, вопрос хороший - но о нём лучше отдельной темой.

Не уходите в сторону, пожалуйста, вопрос хороший - но о нём лучше отдельной темой.

Я совсем не ушёл в сторону. :) Неужели так сложно догадаться, что я имею в виду, даже если я, по Вашему мнению, не прав?

Не уходите в сторону, пожалуйста, вопрос хороший - но о нём лучше отдельной темой.

Я совсем не ушёл в сторону. :) Неужели так сложно догадаться, что я имею в виду, даже если я, по Вашему мнению, не прав?

a66at, вы меня утомили. С какой радости я должен угадывать что вы хотели, но так и не удосужились сказать?

Вы тут уже как-то говорили, про комплексы? На всякий случай оговорюсь отдельно:
1. Я не считаю что вы не правы - я пытаюсь понять, что вы хотели сказать, потому что тема мне интереса. Пример с посетителями в магазине мне понятен, ваша первая формула - нет.
2. Я не считаю, что кто-то должен угадывать мысли оппонента с любом споре: есть желание что-то пояснить - потрудитесь изложить мысль доступно, нет желания - каждому своё, но тогда не ожидай что тебя поймут.
3. В данный момент, то что вы сказали в самом начале вызывает у меня непонимание. Если вы не хотите пояснить, не вопрос - в конце концов, это ваше личное время.

a66at, вы меня утомили.

Очень жаль. Но я всё-таки попробую продолжить используя поэтапный подход.

Я не понял почему величина называется средней, а вычисляется как сумма без деления на количество элементов в сумме.

Я уже писал в этом топике до процитированного сообщения, что это не формула для вычисления средней величины. Как считаются участвующие в ней средние величины я уже писал в сообщении Mar 23 2007, 03:00 PM. На самом деле при подстановке в эту формулу Вы их не считаете сами, вам их показывает система мониторинга, или Вы их получаете соответствующими запросами из БД, или они уже приведены в отчёте, если это ревью. Вы просто подставляете их в формулу и смотрите соблюдается ли она. Если угодно, давайте перепишем её в таком виде:
1 = N_ср / SUM_i(T_i_ср * I_i)
Или даже лучше в таком:
SUM_i(T_i_ср * I_i) / N_ср < 1.05

На этот раз я понятно объяснил ту часть, которая относится к процитированному вопросу? Если этот вопрос закрыт, то надо ли объяснять, почему в формуле участвует количество активных потоков на сервере, а не пользователей?