Перейти к содержимому

Вибор инструмента для тестирования


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 29

#1 Гость_Dron Spirit_*

Гость_Dron Spirit_*
  • Guests

Отправлено 15 июня 2005 - 10:01

Для системы под виндовс (3-х уровневая, использует Oracle/MSSQL) выполнял функциональное тестирование TestComplete-ом 2.04. Теперь появилась новая задача по тестированию производительности (в перспективе - нагрузочное тестирование). Нужно подобрать инструмент.
Решил обратиться к вам. Какие инструменты бывают? Кто, что может посоветовать?

#2 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 15 июня 2005 - 13:48

Знаете песня такая есть - "Девушки бывают разные ..." :)
Вот так же и инструменты бывают очень разные. Рекомендую сначала ознакомиться с материалами вот на этой странице: http://software-testing.ru/tools/. Если потом появятся более предметные вопросы - можно будет обсудить.
  • 0
Дмитрий Шевченко

HP Software

#3 Гость_Dron Spirit_*

Гость_Dron Spirit_*
  • Guests

Отправлено 15 июня 2005 - 14:04

Дамм... Искал, искал... а слона то я и не заметил... :blink:
Спасибо, что ткнули носом :)
Щас посмотрим.

#4 Гость_Dron Spirit_*

Гость_Dron Spirit_*
  • Guests

Отправлено 15 июня 2005 - 14:26

Согласно таблице Обзор основных ... тестирование производительности можно реализовать с помощью TestComplete, но в хелпах ничего подобного я не нахожу (у меня версия 2.0.4). Может у меня версия устарела?
Было бы не плохо использовать TestComplete: с ним я хоть немного знаком.

#5 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 15 июня 2005 - 14:41

Обзор основных ...[/url] тестирование производительности можно реализовать с помощью  TestComplete, но в хелпах ничего подобного я не нахожу (у меня версия 2.0.4). Может у меня версия устарела?

Устарела конечно. Текущие версии ТС сейчас 3.х, если я ничего не путаю. Но вам все равно это не поможет, ибо ТС умеет работать только с НТТР протоколом. А у вас Win32 приложение.
  • 0
Дмитрий Шевченко

HP Software

#6 Jackie

Jackie

    Постоянный участник

  • Members
  • PipPipPip
  • 206 сообщений
  • Город:Москва

Отправлено 16 июня 2005 - 08:22

Основные инструменты для нагрузочного тестирования:

Mercury Load Runner 8.0
Плюсы - прекрасная эргономичность, большие возможности по управлению нагрузкой, хорошая поддержка.
Минусы - огромная цена, мелкие баги, которые, впрочем, не мешают работе.
Можно скачать для ознакомления с их сайта:
http://downloads.mer...nload/index.jsp

Segue Silk Performer.
Работал только с 5 версией (сейчас уже вышла 7)
Инструмент неплохой, надежный. Но с техподдержкой у него не того...
Также при запросе с их сайта триала для ознакомления ответили только через полтора месяца. Но с тех пор не забывают, пишуть, периодически напоминают о себе.:)
Попробуйте запросить триал с https://www.segue.com

WebLoad
Хороший инструмент, хороший саппорт, толковые продавцы. Цена начинается от 10000 американских тугриков.
http://www.radview.com/default.asp

Из бесплатных инструментов знаю только Grinder.
На мой взгляд не того... Т.е конечно, responce time с его помощью вы получите, но не больше. Разобраться, в чем проблема, с его помощью будет очень трудно.

Есть еще инструментарий от Rational, но я с ним не работал - думаю, здешние посетители подскажут:)
Еще вам понадобятся толковые книжки по нагрузочному тестированию.
Дело это не такое простое:) Удачи.
  • 0

#7 Гость_Dron Spirit_*

Гость_Dron Spirit_*
  • Guests

Отправлено 16 июня 2005 - 08:35

Пока особое внимание привлекли продукты от Mercury (LoadRunner) и Rational.
Бывают ли для них инструкции по использованию на русском языке? Если да, то где искать?

#8 Jackie

Jackie

    Постоянный участник

  • Members
  • PipPipPip
  • 206 сообщений
  • Город:Москва

Отправлено 16 июня 2005 - 08:48

Я по Меркури документации на русском не встречал. Только на англ.
Начните с Tutorial - там все очень доступно описано.
А вообще по Load Runner документации (на англ) - завались.
Причем хорошего качества.
По Rational слышал утверждение, что есть на русском. Видеть не приходилось.

Кстати, здесь есть небольшое описание работы LR на русском
http://forums.softwa...topic=1020&st=0
  • 0

#9 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 16 июня 2005 - 13:28

Автору топика не подойдет ни WebLoad, ни Grinder ни какие другие БЕСПЛАТНЫЕ тулы. Они все работают только с HTTP. В исходном посте ясно написано, что тестировать придется Windows приложение.

По продуктам Mercury документации на русском языке не существует в природе. Вряд ли она есть и по инструменту нагрузочного тестирования Rational.
  • 0
Дмитрий Шевченко

HP Software

#10 Jackie

Jackie

    Постоянный участник

  • Members
  • PipPipPip
  • 206 сообщений
  • Город:Москва

Отправлено 17 июня 2005 - 06:27

Автору топика не подойдет ни WebLoad, ни Grinder ни какие другие БЕСПЛАТНЫЕ тулы. Они все работают только с HTTP. В исходном посте ясно написано, что тестировать придется Windows приложение.

Просмотр сообщения


WebLoad не бесплатный тул. Он достаточно хорош для работы, поддерживает http/https. Но уступает Меркури LR по своим возможностям.
Grinder работает под Windows. Другое дело, что информации, предоставляемой им, часто бывает недостаточно для выявления узких мест.
  • 0

#11 Гость_Dron Spirit_*

Гость_Dron Spirit_*
  • Guests

Отправлено 17 июня 2005 - 09:48

Mercury Load Runner 8.0 ... Минусы - огромная цена

Это сколько?

Может также знаете цены на Rational инструменты

#12 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 17 июня 2005 - 20:00

Автору топика не подойдет ни WebLoad, ни Grinder ни какие другие БЕСПЛАТНЫЕ тулы.

WebLoad не бесплатный тул.

Я прекрасно знаю об этом, поэтому и не говорил, что WebLoad бесплатный тул. Читайте внимательнее.

Он достаточно хорош для работы, поддерживает http/https.

Даже если бы он был в 10 раз лучше, чем есть на самом деле, он абсолютно бесполезен как только речь заходит о Win32 приложениях.

Grinder работает под Windows.

Речь не о том, что под чем работает. Речь о том какие приложения могут тестироваться. Чем мне может помочь Grinder, если у меня клиент, написанный на VB/VC++/PowerBuilder/whatever работает напрямую с Oracle/MS SQL database?
  • 0
Дмитрий Шевченко

HP Software

#13 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 17 июня 2005 - 20:05

Mercury Load Runner 8.0 ... Минусы - огромная цена

Это сколько?

Цена определяется конфигурацией, в которой вам нужен инструмент. Начинается с десятков тысяч. Верхняя граница зависит только от финансовых возможностей покупателя.
  • 0
Дмитрий Шевченко

HP Software

#14 maximkr

maximkr

    Активный участник

  • Members
  • PipPip
  • 96 сообщений
  • ФИО:Крамаренко Максим
  • Город:Смоленск

Отправлено 24 июня 2005 - 07:35

Цена определяется конфигурацией, в которой вам нужен инструмент. Начинается с десятков тысяч. Верхняя граница зависит только от финансовых возможностей покупателя.

Просмотр сообщения


Кстати да, почему-то почти инструменты для нагрузочного тестирования web-приложений отличаются жуткими ценами при том что ничего сложного там нет. Кроме того, лицензия обычно ориентирована на количество concurrent virtual users (ИМХО нигде больше такого нет), что больше подходит для контор которые пишут для себя (и знают сколько у них пользователей), чем для тех что пишут на продажу.

Еще пример софта:
http://www.neotys.com/ - позиционируется как дешевая альтернатива Load Runner, но цена все равно впечатляет...

Самые разумные цены что видел - это WAPT (отечественная разработка):
http://www.loadtestingtool.com/
Но с саппортом у них что-то не то, при попытке уточнить вопрос transfer-а лицензии с одного компа на другой они сначала долго тормозили, а потом вообще пропали.
  • 0
Максим Крамаренко

TrackStudio - система управления задачами (issue tracker) для больших проектов.

#15 Mike

Mike

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 1 079 сообщений
  • Город:Москва

Отправлено 24 июня 2005 - 09:03

LoadRunner - это, мягко говоря, несколько больше чем инструмент для нагрузочного тестирования web-приложений (так как он поддерживает что-то около двух десятков различных клиент-серверных протоколов, помимо HTTP). То что Mercury отказалось от поддержки Astra Load Test, с моей точки зрения, не слишким здорово (там цены были раза в заметно поменьше, насколько я понимаю), но это их личное дело.

А откуда беруться такие заоблачные цены - понятно. Продукты Mercury (да и Rational) cлишком универсальны, при том что эта универсальность требуется довольно ограниченному количеству пользователей. В результате пользователям приходится платить за то, чем они не пользуются. С моей точки зрения, плата за количество VUSer'ов это чистейшее вымогательство (в отличии от платы за поддерживаемые протоколы), но пока не появятся конкурентоспособные OpenSource решения - ничего не измениться. Объясню, почему именно OpenSource. По той простой причине, что (как это ни пародоксально), ни одна средней руки компания просто не потянет в одиночку разработку инструмента, сравнимого с LoadRunner. А множество узко-специализированных инструментов от разных фирм это не интересно. В случае же с OpenSource, можно иметь единую _платформу_ (framework), для которой уже разрабатывать отдельные подключаемые модули для различных протоколов, и т.п. В качестве примера такой платформы, могу привести HYADES/Eclipse.
  • 0
Best regards,
Майк.

#16 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 25 июня 2005 - 05:52

Кстати да, почему-то почти инструменты для нагрузочного тестирования web-приложений отличаются жуткими ценами при том что ничего сложного там нет.

Ну почему же все? Для web есть и бесплатные инструменты. Вопрос не в том есть там что-то сложное или нет. Вопрос в том КАК это реализовано, какие возможности получает пользователь инструмента. Можно ведь сказать, что и мерс отличается жуткими ценами, хотя ничего сложного в том, чтобы сделать машину нет. Вон славные труженики ВАЗа клепают авто и они даже ездят. Спрашивается, за что же это немцы такие деньги дерут? Покупательский спрос неоднороден. Есть автомобили разных категорий для разных категорий покупателей. То же самое происходит и с инструментами нагрузочного тестирования.

Кроме того, лицензия обычно ориентирована на количество concurrent virtual users (ИМХО нигде больше такого нет), что больше подходит для контор которые пишут для себя (и знают сколько у них пользователей), чем для тех что пишут на продажу.

Зависит от условий конкретной сделки. Если контора пишет на продажу, например, биллинговую систему и потенциальный покупатель интересуется потянет ли она обслуживание миллиона абонентов, то продавцу (если он не знает ответа) придется делать нагрузочное тестирование. А если покупателю все равно, то и продавец, естественно, умывает руки.

Самые разумные цены что видел - это WAPT (отечественная разработка): http://www.loadtestingtool.com/
Но с саппортом у них что-то не то, при попытке уточнить вопрос transfer-а лицензии с одного компа на другой они сначала долго тормозили, а потом вообще пропали.

Типичный пример того, что называется "you have exactly what you pay for".
  • 0
Дмитрий Шевченко

HP Software

#17 maximkr

maximkr

    Активный участник

  • Members
  • PipPip
  • 96 сообщений
  • ФИО:Крамаренко Максим
  • Город:Смоленск

Отправлено 25 июня 2005 - 20:23

Кстати да, почему-то почти инструменты для нагрузочного тестирования web-приложений отличаются жуткими ценами при том что ничего сложного там нет.

Ну почему же все? Для web есть и бесплатные инструменты. Вопрос не в том есть там что-то сложное или нет. Вопрос в том КАК это реализовано, какие возможности получает пользователь инструмента. Можно ведь сказать, что и мерс отличается жуткими ценами, хотя ничего сложного в том, чтобы сделать машину нет. Вон славные труженики ВАЗа клепают авто и они даже ездят. Спрашивается, за что же это немцы такие деньги дерут? Покупательский спрос неоднороден. Есть автомобили разных категорий для разных категорий покупателей. То же самое происходит и с инструментами нагрузочного тестирования.


Ну, мерс могут купить для понтов/имиджа или из-за душевной привязанности. Если бы дело было только в качестве - все покупали бы какие-нибудь тойтоы :-)
В то же время, вряд ли обладание определенной тулзой для нагрузочного тестирования скажет что-нибудь окружающим о покупателе.

Хотя в целом - да, согласен. ИМХО проблема в отсутствии "среднего" продукта по средним ценам, хотя рынок для него определенно есть :-)

Что-то подобное было пару лет назад с issue tracking systems: были большие системы которые умели почти все и стоили $500+/named user и был очень базовый open source (собственно до сих пор нет open source системы с поддержкой workflow, а ведь это базовая функциональность!).
Но сейчас ситуация изменилась: FogBugs, rmtrack, Jira, TrackStudio :-) Надеюсь и с нагрузочным тестированием что-нибудь такое произойдет, на open source надежды мало :-(


Зависит от условий конкретной сделки. Если контора пишет на продажу, например, биллинговую систему и потенциальный покупатель интересуется потянет ли она обслуживание миллиона абонентов, то продавцу (если он не знает ответа) придется делать нагрузочное тестирование. А если покупателю все равно, то и продавец, естественно, умывает руки.


Это согласен, но если речь идет о массовом продукте, а не конкретной сделке ? Нам, например, нагрузочное тестирование нужно чтоб искать ошибки в синхронизации потоков. Получается дурацкая ситуация: поддерживает наша программа 100 concurrent users, мы купили web load testing tool на 100 пользователей, потестировали, нашли ошибки. В следующей версии код оптимизировали и чтоб программу нагрузить нужно 200 concurrent users. И что - докупать еще лицензий ? Боюсь при таком раскладе дешевле будет вообще оптимизацией не заниматься :-)

Отдельный вопрос - а откуда мы должны были узнать (изначально) что нам нужно 100 concurrent user для тестирования, если в trial-е обычно больше 10-20 виртуальных юзеров делать не дают ?

Пытался обсуждать этот вопрос с некоторыми вендорами, но без особого успеха - их вполне устраивают доходы от продаж компаниям которые используют продукт "для себя" и проблемы ISV их не интересуют.
  • 0
Максим Крамаренко

TrackStudio - система управления задачами (issue tracker) для больших проектов.

#18 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 25 июня 2005 - 20:58

Максим, я знаю одну Open Source систему, которая поддерживает workflows -- это Mantis.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#19 maximkr

maximkr

    Активный участник

  • Members
  • PipPip
  • 96 сообщений
  • ФИО:Крамаренко Максим
  • Город:Смоленск

Отправлено 26 июня 2005 - 13:43

Максим, я знаю одну Open Source систему, которая поддерживает workflows -- это Mantis.

Просмотр сообщения


Насколько я понял там для изменения статусов нужно исходник править (хотя процесс и документированный: http://manual.mantis....tus.values.php)
ИМХО это не совсем честная поддержка, т.к. в любой open source системе можно сделать что угодно путем исправления исходника :)

И вроде бы в mantis workflow может быть только один для всех проектов.
  • 0
Максим Крамаренко

TrackStudio - система управления задачами (issue tracker) для больших проектов.

#20 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 26 июня 2005 - 14:31

Максим, я знаю одну Open Source систему, которая поддерживает workflows -- это Mantis.

Просмотр сообщения


Насколько я понял там для изменения статусов нужно исходник править (хотя процесс и документированный: http://manual.mantis....tus.values.php)
ИМХО это не совсем честная поддержка, т.к. в любой open source системе можно сделать что угодно путем исправления исходника :)

И вроде бы в mantis workflow может быть только один для всех проектов.

Просмотр сообщения

Да, один на всех, что правда, то правда. И способ добавления не шибко удобный, тоже надо признать. Но у других опенсорсов и того нет :)
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных