Вибор инструмента для тестирования
#1 Гость_Dron Spirit_*
Отправлено 15 июня 2005 - 10:01
Решил обратиться к вам. Какие инструменты бывают? Кто, что может посоветовать?
#2
Отправлено 15 июня 2005 - 13:48
Вот так же и инструменты бывают очень разные. Рекомендую сначала ознакомиться с материалами вот на этой странице: http://software-testing.ru/tools/. Если потом появятся более предметные вопросы - можно будет обсудить.
#3 Гость_Dron Spirit_*
Отправлено 15 июня 2005 - 14:04
Спасибо, что ткнули носом :)
Щас посмотрим.
#4 Гость_Dron Spirit_*
Отправлено 15 июня 2005 - 14:26
Было бы не плохо использовать TestComplete: с ним я хоть немного знаком.
#5
Отправлено 15 июня 2005 - 14:41
Устарела конечно. Текущие версии ТС сейчас 3.х, если я ничего не путаю. Но вам все равно это не поможет, ибо ТС умеет работать только с НТТР протоколом. А у вас Win32 приложение.Обзор основных ...[/url] тестирование производительности можно реализовать с помощью TestComplete, но в хелпах ничего подобного я не нахожу (у меня версия 2.0.4). Может у меня версия устарела?
#6
Отправлено 16 июня 2005 - 08:22
Mercury Load Runner 8.0
Плюсы - прекрасная эргономичность, большие возможности по управлению нагрузкой, хорошая поддержка.
Минусы - огромная цена, мелкие баги, которые, впрочем, не мешают работе.
Можно скачать для ознакомления с их сайта:
http://downloads.mer...nload/index.jsp
Segue Silk Performer.
Работал только с 5 версией (сейчас уже вышла 7)
Инструмент неплохой, надежный. Но с техподдержкой у него не того...
Также при запросе с их сайта триала для ознакомления ответили только через полтора месяца. Но с тех пор не забывают, пишуть, периодически напоминают о себе.:)
Попробуйте запросить триал с https://www.segue.com
WebLoad
Хороший инструмент, хороший саппорт, толковые продавцы. Цена начинается от 10000 американских тугриков.
http://www.radview.com/default.asp
Из бесплатных инструментов знаю только Grinder.
На мой взгляд не того... Т.е конечно, responce time с его помощью вы получите, но не больше. Разобраться, в чем проблема, с его помощью будет очень трудно.
Есть еще инструментарий от Rational, но я с ним не работал - думаю, здешние посетители подскажут:)
Еще вам понадобятся толковые книжки по нагрузочному тестированию.
Дело это не такое простое:) Удачи.
#7 Гость_Dron Spirit_*
Отправлено 16 июня 2005 - 08:35
Бывают ли для них инструкции по использованию на русском языке? Если да, то где искать?
#8
Отправлено 16 июня 2005 - 08:48
Начните с Tutorial - там все очень доступно описано.
А вообще по Load Runner документации (на англ) - завались.
Причем хорошего качества.
По Rational слышал утверждение, что есть на русском. Видеть не приходилось.
Кстати, здесь есть небольшое описание работы LR на русском
http://forums.softwa...topic=1020&st=0
#9
Отправлено 16 июня 2005 - 13:28
По продуктам Mercury документации на русском языке не существует в природе. Вряд ли она есть и по инструменту нагрузочного тестирования Rational.
#10
Отправлено 17 июня 2005 - 06:27
Автору топика не подойдет ни WebLoad, ни Grinder ни какие другие БЕСПЛАТНЫЕ тулы. Они все работают только с HTTP. В исходном посте ясно написано, что тестировать придется Windows приложение.
WebLoad не бесплатный тул. Он достаточно хорош для работы, поддерживает http/https. Но уступает Меркури LR по своим возможностям.
Grinder работает под Windows. Другое дело, что информации, предоставляемой им, часто бывает недостаточно для выявления узких мест.
#11 Гость_Dron Spirit_*
Отправлено 17 июня 2005 - 09:48
Это сколько?Mercury Load Runner 8.0 ... Минусы - огромная цена
Может также знаете цены на Rational инструменты
#12
Отправлено 17 июня 2005 - 20:00
Я прекрасно знаю об этом, поэтому и не говорил, что WebLoad бесплатный тул. Читайте внимательнее.WebLoad не бесплатный тул.Автору топика не подойдет ни WebLoad, ни Grinder ни какие другие БЕСПЛАТНЫЕ тулы.
Даже если бы он был в 10 раз лучше, чем есть на самом деле, он абсолютно бесполезен как только речь заходит о Win32 приложениях.Он достаточно хорош для работы, поддерживает http/https.
Речь не о том, что под чем работает. Речь о том какие приложения могут тестироваться. Чем мне может помочь Grinder, если у меня клиент, написанный на VB/VC++/PowerBuilder/whatever работает напрямую с Oracle/MS SQL database?Grinder работает под Windows.
#13
Отправлено 17 июня 2005 - 20:05
Цена определяется конфигурацией, в которой вам нужен инструмент. Начинается с десятков тысяч. Верхняя граница зависит только от финансовых возможностей покупателя.Это сколько?Mercury Load Runner 8.0 ... Минусы - огромная цена
#14
Отправлено 24 июня 2005 - 07:35
Цена определяется конфигурацией, в которой вам нужен инструмент. Начинается с десятков тысяч. Верхняя граница зависит только от финансовых возможностей покупателя.
Кстати да, почему-то почти инструменты для нагрузочного тестирования web-приложений отличаются жуткими ценами при том что ничего сложного там нет. Кроме того, лицензия обычно ориентирована на количество concurrent virtual users (ИМХО нигде больше такого нет), что больше подходит для контор которые пишут для себя (и знают сколько у них пользователей), чем для тех что пишут на продажу.
Еще пример софта:
http://www.neotys.com/ - позиционируется как дешевая альтернатива Load Runner, но цена все равно впечатляет...
Самые разумные цены что видел - это WAPT (отечественная разработка):
http://www.loadtestingtool.com/
Но с саппортом у них что-то не то, при попытке уточнить вопрос transfer-а лицензии с одного компа на другой они сначала долго тормозили, а потом вообще пропали.
#15
Отправлено 24 июня 2005 - 09:03
А откуда беруться такие заоблачные цены - понятно. Продукты Mercury (да и Rational) cлишком универсальны, при том что эта универсальность требуется довольно ограниченному количеству пользователей. В результате пользователям приходится платить за то, чем они не пользуются. С моей точки зрения, плата за количество VUSer'ов это чистейшее вымогательство (в отличии от платы за поддерживаемые протоколы), но пока не появятся конкурентоспособные OpenSource решения - ничего не измениться. Объясню, почему именно OpenSource. По той простой причине, что (как это ни пародоксально), ни одна средней руки компания просто не потянет в одиночку разработку инструмента, сравнимого с LoadRunner. А множество узко-специализированных инструментов от разных фирм это не интересно. В случае же с OpenSource, можно иметь единую _платформу_ (framework), для которой уже разрабатывать отдельные подключаемые модули для различных протоколов, и т.п. В качестве примера такой платформы, могу привести HYADES/Eclipse.
Майк.
#16
Отправлено 25 июня 2005 - 05:52
Ну почему же все? Для web есть и бесплатные инструменты. Вопрос не в том есть там что-то сложное или нет. Вопрос в том КАК это реализовано, какие возможности получает пользователь инструмента. Можно ведь сказать, что и мерс отличается жуткими ценами, хотя ничего сложного в том, чтобы сделать машину нет. Вон славные труженики ВАЗа клепают авто и они даже ездят. Спрашивается, за что же это немцы такие деньги дерут? Покупательский спрос неоднороден. Есть автомобили разных категорий для разных категорий покупателей. То же самое происходит и с инструментами нагрузочного тестирования.Кстати да, почему-то почти инструменты для нагрузочного тестирования web-приложений отличаются жуткими ценами при том что ничего сложного там нет.
Зависит от условий конкретной сделки. Если контора пишет на продажу, например, биллинговую систему и потенциальный покупатель интересуется потянет ли она обслуживание миллиона абонентов, то продавцу (если он не знает ответа) придется делать нагрузочное тестирование. А если покупателю все равно, то и продавец, естественно, умывает руки.Кроме того, лицензия обычно ориентирована на количество concurrent virtual users (ИМХО нигде больше такого нет), что больше подходит для контор которые пишут для себя (и знают сколько у них пользователей), чем для тех что пишут на продажу.
Типичный пример того, что называется "you have exactly what you pay for".Самые разумные цены что видел - это WAPT (отечественная разработка): http://www.loadtestingtool.com/
Но с саппортом у них что-то не то, при попытке уточнить вопрос transfer-а лицензии с одного компа на другой они сначала долго тормозили, а потом вообще пропали.
#17
Отправлено 25 июня 2005 - 20:23
Ну почему же все? Для web есть и бесплатные инструменты. Вопрос не в том есть там что-то сложное или нет. Вопрос в том КАК это реализовано, какие возможности получает пользователь инструмента. Можно ведь сказать, что и мерс отличается жуткими ценами, хотя ничего сложного в том, чтобы сделать машину нет. Вон славные труженики ВАЗа клепают авто и они даже ездят. Спрашивается, за что же это немцы такие деньги дерут? Покупательский спрос неоднороден. Есть автомобили разных категорий для разных категорий покупателей. То же самое происходит и с инструментами нагрузочного тестирования.Кстати да, почему-то почти инструменты для нагрузочного тестирования web-приложений отличаются жуткими ценами при том что ничего сложного там нет.
Ну, мерс могут купить для понтов/имиджа или из-за душевной привязанности. Если бы дело было только в качестве - все покупали бы какие-нибудь тойтоы :-)
В то же время, вряд ли обладание определенной тулзой для нагрузочного тестирования скажет что-нибудь окружающим о покупателе.
Хотя в целом - да, согласен. ИМХО проблема в отсутствии "среднего" продукта по средним ценам, хотя рынок для него определенно есть :-)
Что-то подобное было пару лет назад с issue tracking systems: были большие системы которые умели почти все и стоили $500+/named user и был очень базовый open source (собственно до сих пор нет open source системы с поддержкой workflow, а ведь это базовая функциональность!).
Но сейчас ситуация изменилась: FogBugs, rmtrack, Jira, TrackStudio :-) Надеюсь и с нагрузочным тестированием что-нибудь такое произойдет, на open source надежды мало :-(
Зависит от условий конкретной сделки. Если контора пишет на продажу, например, биллинговую систему и потенциальный покупатель интересуется потянет ли она обслуживание миллиона абонентов, то продавцу (если он не знает ответа) придется делать нагрузочное тестирование. А если покупателю все равно, то и продавец, естественно, умывает руки.
Это согласен, но если речь идет о массовом продукте, а не конкретной сделке ? Нам, например, нагрузочное тестирование нужно чтоб искать ошибки в синхронизации потоков. Получается дурацкая ситуация: поддерживает наша программа 100 concurrent users, мы купили web load testing tool на 100 пользователей, потестировали, нашли ошибки. В следующей версии код оптимизировали и чтоб программу нагрузить нужно 200 concurrent users. И что - докупать еще лицензий ? Боюсь при таком раскладе дешевле будет вообще оптимизацией не заниматься :-)
Отдельный вопрос - а откуда мы должны были узнать (изначально) что нам нужно 100 concurrent user для тестирования, если в trial-е обычно больше 10-20 виртуальных юзеров делать не дают ?
Пытался обсуждать этот вопрос с некоторыми вендорами, но без особого успеха - их вполне устраивают доходы от продаж компаниям которые используют продукт "для себя" и проблемы ISV их не интересуют.
#18
Отправлено 25 июня 2005 - 20:58
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#19
Отправлено 26 июня 2005 - 13:43
Максим, я знаю одну Open Source систему, которая поддерживает workflows -- это Mantis.
Насколько я понял там для изменения статусов нужно исходник править (хотя процесс и документированный: http://manual.mantis....tus.values.php)
ИМХО это не совсем честная поддержка, т.к. в любой open source системе можно сделать что угодно путем исправления исходника :)
И вроде бы в mantis workflow может быть только один для всех проектов.
#20
Отправлено 26 июня 2005 - 14:31
Да, один на всех, что правда, то правда. И способ добавления не шибко удобный, тоже надо признать. Но у других опенсорсов и того нет :)Максим, я знаю одну Open Source систему, которая поддерживает workflows -- это Mantis.
Насколько я понял там для изменения статусов нужно исходник править (хотя процесс и документированный: http://manual.mantis....tus.values.php)
ИМХО это не совсем честная поддержка, т.к. в любой open source системе можно сделать что угодно путем исправления исходника :)
И вроде бы в mantis workflow может быть только один для всех проектов.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных