Сообщений в теме: 29

[Dmitry_NJ]

Это согласен, но если речь идет о массовом продукте, а не конкретной сделке ?

Я привел конкретный пример коробочного/массового продукта, который делает компания, в которой я когда-то работал. Нагрузочное тестирование проводилось в любом случае. Было какое-то количество пользователей (точное число уже не помню), нагрузка которых эмулировалась. Запрос на миллион абонентов был единичным, поэтому для этого пришлось отдельно работать, чтобы ответить на вопрос.

Нам, например, нагрузочное тестирование нужно чтоб искать ошибки в синхронизации потоков. Получается дурацкая ситуация: поддерживает наша программа 100 concurrent users, мы купили web load testing tool на 100 пользователей, потестировали, нашли ошибки. В следующей версии код оптимизировали и чтоб программу нагрузить нужно 200 concurrent users. И что - докупать еще лицензий ?

A что в этом удивительного? Если вам надо перевезти 100 человек вы можете воспользоваться одним типом самолета. Если 300, то уже другим. А если нужно перевезти несколько танков, то это уже другой самолет будет. И стоят они, наверняка, по-разному и расход топлива тоже будет различным. При этом если вы знаете, что больше 100 человек вам перевозить и не надо, то и самолет с повышенной грузоподъемностью вам тоже не нужен и никто вас не заставляет его покупать.

Отдельный вопрос - а откуда мы должны были узнать (изначально) что нам нужно 100 concurrent user для тестирования, если в trial-е обычно больше 10-20 виртуальных юзеров делать не дают ?

Откуда вы можете узнать на какую нагрузку рассчитана ваша система? Так никто кроме вас и ваших пользователей на этот вопрос и не ответит. Откуда вендоры любых инструментов могут знать что-то о вашей системе? Они просто делают тулы (по возможности универсальные), а это вам решать подходит ли тул для ваших нужд. А больше 10-20 виртуальных пользователей и не нужно, чтобы понять концепцию продукта и подходит ли он вам принципе. Если боитесь покупать тул, ну так просто арендуйте его на сколько то дней, чтобы убедиться, что он делает то, что надо и для того количества виртуальных пользователей, которое вам нужно.

[maximkr]

A что в этом удивительного? Если вам надо перевезти 100 человек вы можете воспользоваться одним типом самолета. Если 300, то уже другим. А если нужно перевезти несколько танков, то это уже другой самолет будет. И стоят они, наверняка, по-разному и расход топлива тоже будет различным. При этом если вы знаете, что больше 100 человек вам перевозить и не надо, то и самолет с повышенной грузоподъемностью вам тоже не нужен и никто вас не заставляет его покупать.

Думаю мы в данной ситуации скорее выступаем в роли производителя болтов для таких самолетов :-) Было бы странно за одни и те же болты брать больше денег, потому что авиастроительной конторе нужно больше болтов на производство одного самолета (что может быть связано с грузоподъемностью или ценой, а может и нет).

В принципе понятно почему они так делают - в идеале нужно брать с каждого клиента максимум того что он готов отдать, но не меньше переменных издержек. Но т.к. клиент сам не признается сколько (максимум) он готов отдать, то приходится определять по косвенным данным (пользователи, процессоры т.п.). Видимо для значительной части их клиентов чем больше виртуальных пользователей, тем крупнее организация и тем больше она может заплатить.

Но для нас (и мы тут, подозреваю, не одиноки) количество виртуальных пользователей с доходами не связано вообще никак:
- цена лицензии на наш продукт не зависит от количества пользователей
- разные операции очень по-разному грузят систему. Скажем, 1000 пользователей просматривающих задачи могут грузить систему так же, как 10 строящих отчеты. При этом клиент у которого 1000 просматривают задачи не обязательно богаче того у которого 10 смотрят отчеты.
- для поиска ошибок систему нужно грузить по-максимуму. Если у нас самая быстрая страница выводится за 100 msec - покупаем лицензию на 10 пользователей, а если за 10 msec - то на 100 пользователей ? А какая связь между временем вывода самой быстрой страницы в приложении и нашей платежеспособностью ?

Т.е. для контор типа нашей этот метод дает совершенно случайную цену, они могли бы с тем же успехом текущую дату на 3.1415926 умножать ;) И игнорирование потребностей этого сегмента рынка довольно печально. Хотя не они одни такие - на Java-генераторы отчетов цены тоже в духе 3000/сервер и для OEM им путь практически закрыт.
При этом есть куча категорий софта, где сильная конкуренция и более разумные цены - O/R Mapping tools, IDE, profilers, etc.

Откуда вы можете узнать на какую нагрузку рассчитана ваша система? Так никто кроме вас и ваших пользователей на этот вопрос и не ответит. Откуда вендоры любых инструментов могут знать что-то о вашей системе? Они просто делают тулы (по возможности универсальные), а это вам решать подходит ли тул для ваших нужд. А больше 10-20 виртуальных пользователей и не нужно, чтобы понять концепцию продукта и подходит ли он вам принципе.

Мне web load testing нужно
1) Для сравнения с конкурентами (чтоб показать что у нас на такой-то базе быстрее) и нарисовать красивый график.
2) Для тестирования под максимальной нагрузкой.

Т.е. количество необходимых виртуальных пользователей определяется не столько нами или клиентами, а незначительными особенностями поведения нашего или конкурирующих продуктов. И грешно за эти особенности так переплачивать :-)

[Dmitry_NJ]

Думаю мы в данной ситуации скорее выступаем в роли производителя болтов для таких самолетов :-) Было бы странно за одни и те же болты брать больше денег, потому что авиастроительной конторе нужно больше болтов на производство одного самолета (что может быть связано с грузоподъемностью или ценой, а может и нет).

За одни и те же болты брать больше денег действительно странно. А вот за разное количество болтов брать разные деньги вполне разумно. И суммарная цена и стоимость одного болта в партиях на 100, 1000 или 10000 болтов будет различной.

В принципе понятно почему они так делают - в идеале нужно брать с каждого клиента максимум того что он готов отдать, но не меньше переменных издержек. Но т.к. клиент сам не признается сколько (максимум) он готов отдать, то приходится определять по косвенным данным (пользователи, процессоры т.п.). Видимо для значительной части их клиентов чем больше виртуальных пользователей, тем крупнее организация и тем больше она может заплатить.

У salesman'ов, конечно, есть определенный лаг для маневрирования в цене в зависимости от конкретных условий сделки, но прайс-лист, от которого отталкиваются, существует вне зависимости от размера клиентов. Если компания поинтересуется ценой на продукт и назовет интересующую ее более или менее стандартную конфигурацию, то получит конкретный ответ и никто не будет выяснять степень ее финансовой состоятельности. Конечно, если речь пойдет о сделке с 6 нулями, то и разговор другой будет. А из-за 100/200/300 пользователей никто заморачиваться и вытягивать из вас какие-то максимальные суммы не станет.

Но для нас (и мы тут, подозреваю, не одиноки) количество виртуальных пользователей с доходами не связано вообще никак:
- цена лицензии на наш продукт не зависит от количества пользователей
- разные операции очень по-разному грузят систему. Скажем, 1000 пользователей просматривающих задачи могут грузить систему так же, как 10 строящих отчеты. При этом клиент у которого 1000 просматривают задачи не обязательно богаче того у которого 10 смотрят отчеты.
- для поиска ошибок систему нужно грузить по-максимуму. Если у нас самая быстрая страница выводится за 100 msec - покупаем лицензию на 10 пользователей, а если за 10 msec - то на 100 пользователей ? А какая связь между временем вывода самой быстрой страницы в приложении и нашей платежеспособностью ?

Я не очень улавливаю вашу логику. Если у вас существуют какие-то типичные сценарии использования вашей системы, то кто мешает их реализовать? Если вы допускаете, что ваша система должна работать и иметь определенный приемлемый response time для каких-то операций при условии, когда 990 пользователей просматривают задачи, а 10 пользователей генерируют отчеты, то сэмулируйте такую ситуацию. И мне слабо понятно как можно определять сколько виртуальных пользователей вам нужно в зависимости от времени вывода самой быстрой страницы. Вы сами для себя должны решить на какие максимальные нагрузки ваша система рассчитана. Или пользователи вам могут подсказать, если они начнут встречаться с проблемами.

Мне web load testing нужно
1) Для сравнения с конкурентами (чтоб показать что у нас на такой-то базе быстрее) и нарисовать красивый график.
2) Для тестирования под максимальной нагрузкой.

Т.е. количество необходимых виртуальных пользователей определяется не столько нами или клиентами, а незначительными особенностями поведения нашего или конкурирующих продуктов. И грешно за эти особенности так переплачивать :-)

Ну и кто определяет какая максимальная нагрузка, которую потянет ваша система? Вы же и определяете. Если не прямо, то косвенно через цифры, которые дают конкурирующие продукты.

[maximkr]

У salesman'ов, конечно, есть определенный лаг для маневрирования в цене в зависимости от конкретных условий сделки, но прайс-лист, от которого отталкиваются, существует вне зависимости от размера клиентов. Если компания поинтересуется ценой на продукт и назовет интересующую ее более или менее стандартную конфигурацию, то получит конкретный ответ и никто не будет выяснять степень ее финансовой состоятельности. Конечно, если речь пойдет о сделке с 6 нулями, то и разговор другой будет. А из-за 100/200/300 пользователей никто заморачиваться и вытягивать из вас какие-то максимальные суммы не станет.

Конечно, salesman-у об этом думать уже поздно. Но ведь кто-то этот прайс составляет и определяет как лицензировать софт. И думают они как раз о максимальных деньгах с каждого клиента :-)

Иначе зачем бы вообще устраивать всякие лицензирования по процессорам, серверам, пользователям, виртуальным пользователям и т.п. - сделали бы одну цену (10 килобаксов на контору, например) для всех и все. Но нет, в целом стараются делать чтоб маленькие клиенты (или клиенты с маленькими потребностями) платили меньше, а большие/кому очень надо - побольше; это позволяет увеличить прибыль.

Согласитесь, никакого физического смысла (как с болтами или самолетами) лицензии по пользователям не имеют - компания-производитель обычно не тратит в 2 раза больше денег на продажу, разработку или поддержку продукта который поддерживает 2 пользователя по сравнению с тем что поддерживает 4.

Я не очень улавливаю вашу логику. Если у вас существуют какие-то типичные сценарии использования вашей системы, то кто мешает их реализовать?

Смотрим на прайс одной из контор:
http://www.neotys.com/store/order.html

Скажем, у нас одна из самый быстрых страницы выводится за 5 msec. Для того чтоб протестировать ее под 100% нагрузкой нам нужно 200 виртуальных пользователей. По прайсу это значит что платить нужно 3295 EUR.
Но такую же цену заплатит банк который пишет систему автоматизации на 200 рабочих мест, для которого эта цена будет куда более разумной (если не дешевой). В итоге лицензирование по виртуальным пользователям приводит к тому что софт для мелких ISV кажется очень дорогим, а для крупных банков - дешевым. А в идеале должен казаться "нормальным" и для тех, и для других.

Резюме: лицензирование по количеству виртуальных пользователей - это плохой (но популярный для такого софта) способ сегментирования т.к. либо одна часть покупателей получает продукт задешево, либо другая часть вынуждена платить слишком много. В итоге производитель недополучает денег с первых покупателей или теряет вторых.

Можно было бы сказать "ну и черт с ними, их проблемы", но из-за популярности такой политики лицензирования сложно найти приличный web load testing tool пригодный для использования в мелких ISV. И если появится приличный продукт с нормальной лицензией, то он вполне способен быстро "перепахать" рынок, как это пару лет назад сделал atlassian с рынком issue tracking. Аминь.

[maximkr]

Сейчас еще раз посмотрел кучу разных web load testing tool, могу сказать что определенное движение есть:

http://www.quotium.c...RO_pricing.html - предлагают специальные цены для ISV, правда пока непонятно какие.

http://www.minq.se/p...-licensing.html - рассказывают почему virtual user плохо и предлагают лицензирование на основе virtual clients (ИМХО не многим лучше).

[Dmitry_NJ]

Конечно, salesman-у об этом думать уже поздно. Но ведь кто-то этот прайс составляет и определяет как лицензировать софт. И думают они как раз о максимальных деньгах с каждого клиента :-)

Только в расчет принимают платежеспособных клиентов. Если тул стоит 100,000, а контора может заплатить только 10,000, то никто ей за 10,000 его не продаст. Хотя казалось бы, что 10,000 лучше, чем ничего. Но если узнают, что точно такой же тул, который стоил 100,000, продали за 10,000, то никто его больше за 100,000 не купит. Поэтому на самом деле никакой потери денег нет. Для тех, кто может заплатить только 10,000 можно сделать "облегченную" версию. Но этой уже будет несколько иной тул, либо иная конфигурация.

Согласитесь, никакого физического смысла (как с болтами или самолетами) лицензии по пользователям не имеют - компания-производитель обычно не тратит в 2 раза больше денег на продажу, разработку или поддержку продукта который поддерживает 2 пользователя по сравнению с тем что поддерживает 4.

И что с того? Для вас будет новостью, если я скажу, что цена определяется не только производственными затратами? Если вы, например, обогнали конкурентов и выпустили на рынок что-то уникальное, то вполне можете воспользоваться благоприятной конъюнктурой и задрать цену. Хотя никакого физического смысла в этом нет.

Скажем, у нас одна из самый быстрых страницы выводится за 5 msec. Для того чтоб протестировать ее под 100% нагрузкой нам нужно 200 виртуальных пользователей. По прайсу это значит что платить нужно 3295 EUR.
Но такую же цену заплатит банк который пишет систему автоматизации на 200 рабочих мест, для которого эта цена будет куда более разумной (если не дешевой). В итоге лицензирование по виртуальным пользователям приводит к тому что софт для мелких ISV кажется очень дорогим, а для крупных банков - дешевым. А в идеале должен казаться "нормальным" и для тех, и для других.

Чрезвычайно странная логика. Вы бы согласились, чтобы ваша зарплата каждый месяц определялась исходя из финансовой состоятельности ваших клиентов? И если продукт купила маленькая контора, то ей отдали его в 2 раза дешевле. Потому что это максимум, который они могли заплатить. А вы в итоге получите в 2 раза меньше в этом месяце. Глупость ведь, не так ли?
Не бывает мерседесов для бедных. Принцип простой - take it or leave it. Какая разница продавцу, кто купит его продукт? Платите 3295 EUR, а если не хотите/не можете - никто не мешает вам искать что-нибудь подешевле или вообще бесплатное. Не нравится? Ваши проблемы. Скидку на "бедность" вряд ли кто-нибудь будет делать.

Резюме: лицензирование по количеству виртуальных пользователей - это плохой (но популярный для такого софта) способ сегментирования т.к. либо одна часть покупателей получает продукт задешево, либо другая часть вынуждена платить слишком много. В итоге производитель недополучает денег с первых покупателей или теряет вторых.

Лицензирование по количеству виртуальных пользователей - вполне разумный принцип лицензирования load testing tools (кстати, количество виртуальных пользователей, как правило, это далеко не единственный критерий, определяющий цену таких тулов). Каждый, кто является в достаточной степени платежеспособным, может купить себе столько виртуальных пользователей, сколько ему нужно. А неплатежеспособные клиенты никому неинтересны. Для них есть другие тулы.

[maximkr]

Только в расчет принимают платежеспособных клиентов. Если тул стоит 100,000, а контора может заплатить только 10,000, то никто ей за 10,000 его не продаст. Хотя казалось бы, что 10,000 лучше, чем ничего. Но если узнают, что точно такой же тул, который стоил 100,000, продали за 10,000, то никто его больше за 100,000 не купит. Поэтому на самом деле никакой потери денег нет. Для тех, кто может заплатить только 10,000 можно сделать "облегченную" версию. Но этой уже будет несколько иной тул, либо иная конфигурация.

Либо иной клиент. Ведь куча контор распространяет девелоперские версии либо бесплатно, либо за совсем другие деньги. Например, если мы пишем софт под windows, то для тестирования не нужно покупать все версии windows какие есть у наших клиентов - достаточно купить MSDN. Не помню про ORACLE/DB2, но у них девелоперские версии тоже или очень дешевые, или бесплатные.
То же самое и с web load testing - это же не у нас 200 users, а у наших пользователей - пусть они и покупают. Они обычно и покупают, ведь наш продукт у них не единственный и тестировать периодически приходится.

Чрезвычайно странная логика. Вы бы согласились, чтобы ваша зарплата каждый месяц определялась исходя из финансовой состоятельности ваших клиентов? И если продукт купила маленькая контора, то ей отдали его в 2 раза дешевле. Потому что это максимум, который они могли заплатить. А вы в итоге получите в 2 раза меньше в этом месяце. Глупость ведь, не так ли?

Именно по такому принципу моя зарплата и определяется :-) Но т.к. писать "для бедных - $X, для богатых - $Y" - нельзя (все скажут что они бедные), поэтому мы продаем версию с исходниками и без исходников. Если контора маленькая, то ресурсов на переделку у нее все равно нет. Если issue tracking им не очень нужен - они переделывать не будут и исходник им тоже не нужен. Но если контора большая или система очень нужна - пусть покупают исходники.
Т.е. с исходниками/без исходников - это в нашем случае способ сегментирования клиентов, а не просто еще одна штука которую мы можем продать.

Не бывает мерседесов для бедных.

С мерседесами другая ситуация - это имиджевый товар который покупают за то что он дорогой. Сейчас названия не припомню, но одна контора-производитель дорогих машин после войны пыталась выйти на рынок машин для народа под тем же брендом и в результате ей сначала стало хорошо (дешевые машины хорошо раскупались), но потом очень поплохело (стали плохо покупать дорогие).

Но, скажем, с Volkswagen - вполне бывает. "Golf", "Jetta", "New Beetle", "Audi A3", "Audi TT Roadster", "SEAT Toledo", "Leon" и "Skoda Oktavia" - это одна и та же машина с разным кузовом при разнице в цене от $15K до $40K. Или "обычный" МТС vs Джинс с такой рекламой, чтоб идти подключаться было стыдно. Или "молодежные" мобильники которые имеют фич почти как "бизнес"-модели, но помещаются в такой аляповатый корпус, чтоб ни одному бизнесмену идея достать его в приличном месте в голову не пришла :-)

Принцип простой - take it or leave it. Какая разница продавцу, кто купит его продукт? Платите 3295 EUR, а если не хотите/не можете - никто не мешает вам искать что-нибудь подешевле или вообще бесплатное. Не нравится? Ваши проблемы. Скидку на "бедность" вряд ли кто-нибудь будет делать.

А как же халява для open source, скидки для образовательных учреждений, personal/developer license, скидки для русских и т.п. ?

[maximkr]

ИМХО отлично написано про сегментирование и ценообразование:
http://russian.joelo...berDuckies.html

Хотя со второй половиной статьи я не очень согласен :-)

[Dmitry_NJ]

Ведь куча контор распространяет девелоперские версии либо бесплатно, либо за совсем другие деньги.

Я не знаю что такое девелоперские версии для load testing tools. У каждой компании есть какие-то свои нюансы продаж. У нас никаких девелоперских версий нет. Но зато сам тул для создания скриптов (Virtual User Generator) никак не лицензируется вообще, так что разрабатывать скрипты для абсолютно любых поддерживаемых протоколов можно бесплатно.

То же самое и с web load testing - это же не у нас 200 users, а у наших пользователей - пусть они и покупают. Они обычно и покупают, ведь наш продукт у них не единственный и тестировать периодически приходится.

Ну все правильно, платит тот, у кого голова болит

Т.е. с исходниками/без исходников - это в нашем случае способ сегментирования клиентов, а не просто еще одна штука которую мы можем продать.

Ну а мы сегментируем LR по количеству виртуальных пользователей, протоколам, мониторам и типу лицензии (постоянная/временная).

Но, скажем, с Volkswagen - вполне бывает. "Golf", "Jetta", "New Beetle", "Audi A3", "Audi TT Roadster", "SEAT Toledo", "Leon" и "Skoda Oktavia" - это одна и та же машина с разным кузовом при разнице в цене от $15K до $40K.

Разный кузов, какие-нибудь аксессуары разные, разные страны-производители - вот в итоге разница и набегает. В точности одна и та же машина в одном и том же месте не будет иметь такой разброс в ценах.

А как же халява для open source, скидки для образовательных учреждений, personal/developer license, скидки для русских и т.п. ?

Я не знаю что такое халява для open source. За всех не скажу, но никаких personal/developer license на LR нет. Была попытка сделать personal license для SiteScope, но очень скоро от этого отказались (не знаю почему). Может быть есть какие-то скидки для образовательных учреждений, но, если честно, никогда не слышал о покупке LR в образовательных целях. Для каждой страны/региона обычно есть свой прайс. Так что в прайсе для России такая "скидка для русских" (если она существует) наверняка отражена.

[maximkr]

Я не знаю что такое халява для open source.

Это такой способ рекламы: денег у open source-ников все равно нет, зато посещаемость сайтов хорошая.

Примеры:
http://www.intel.com.../eng/219771.htm
http://www.jetbrains...urce/index.html