Сообщений в теме: 12

[Covex]

У меня на подходе прототип второй версии web-приложения, и теперь голова болит о том, чем тестировать его производительность. Помогите подобрать инструмент тестирования web-приложений по следующим критериям:

1. Независимость от операционной системы, т.е. инструмент должен быть написан или на Java, или на одном или комбинации сценарных языков (Python, Perl, Tcl и т.п.)
2. Полная поддержка протокола HTTP и сопутствующих механизмов:
- поддержка Cookies;
- поддержка протокола SSL(HTTPS).
3. Возможность распределенной нагрузки – одновременного запуска одного и того же теста с различных компьютеров, как внутри локальной сети, так и в сети Интернет.
4. При этом должна существовать возможность удаленного управления распределенной нагрузкой с единого центра управления.
5. Инструмент должен обеспечивать мониторинг процесса тестирования – отображения в реальном времени хода выполнения теста и возникающих ошибок.
6. После проведения теста, а лучше в ходе выполнения, инструмент должен автоматически сформировать отчет, отображающие базовые показатели теста.
7. Наличие языка сценариев высокого уровня либо возможность подключения динамических библиотек с целью формирования последующего запроса к серверу по заданным алгоритмам и на основании предыдущего.

На данный момент использую OpenSTA, которая удовлетворяет п.2-6, с невыполнением п.1 пока мирюсь, но для обеспечения необходимой нагрузки мне прийдется использовать и машины под Linux, п.7 отдельная песня - вроде язык сценариев и есть, но я уже устал заниматся камасутрой с этой производной Фортрана. А для меня это очень важно, так как без мимнимального интелекта роботов (виртуальных пользователей) я смогу протестировать только ~10% системы.

[Green]

Как будто с Load Runner-а перечень писал.
:P

[Covex]

Как будто с Load Runner-а перечень писал.
:P

Ведь собирался написать, что-бы LoadRunner не предлагали.
Во-первых, где у него кроссплатформенность? Во-вторых, за 30.000 у.е я посажу пяток программеров и они рашпилем мне заточат тот же Grinder, например.

[barancev]

Apache JMeter: http://jakarta.apache.org/jmeter/

TestMaker: http://www.pushtotes...s/features.html
(про TestMaker я не уверен насчёт поддержки распределенного тестирования)

[barancev]

Да, кстати, чуть не забыл про недавно упоминавшийся AdventNet QEngine: http://www.adventnet...oducts/qengine/

[Covex]

У Apache JMeter напряженка с п.7 - это все таки "тупой" (в данном конексте) генератор нагрузки. Да он может распарсить ответ, но его концепция "Шаблон - Слушатель" все таки больше ориентирована на тестирование интернет-серверов, чем интернет-прприложений.

TestMaker, действительно не поддерживает распределенное тестирование. Это больше каркас: многопоточный запуск толпы роботов предлагается программировать самому; мониторинг и отчетность в зачаточном состоянии и т.п. По этой причине я отказался рассматривать и его коммерческую версию с распределенной нагрузкой - TestNetwork.

Да, кстати, чуть не забыл про недавно упоминавшийся AdventNet QEngine: http://www.adventnet...oducts/qengine/

Щас посмотрим, что это.

[Dmitry_NJ]

Ведь собирался написать, что-бы LoadRunner не предлагали.
Во-первых, где у него кроссплатформенность? Во-вторых, за 30.000 у.е я посажу пяток программеров и они рашпилем мне заточат тот же Grinder, например.

А можно узнать в чем глубокий смысл иметь кроссплатформенный контроллер? Или для вас имеет значение управлять вашим нагрузочным сценарием не с Windows машины?

[Scorp]

для обеспечения необходимой нагрузки мне прийдется использовать и машины под Linux

2 Dmitry_NJ

[Petr]

для обеспечения необходимой нагрузки мне прийдется использовать и машины под Linux

2 Dmitry_NJ

Насколько мне известно, нагрузочные скрипты LoadRunner'а можно запускать на *nix машинах. Контроллер требует для своей работы Windows, а VUser'ы могут запускаться не только на Windows.

[Covex]

А можно узнать в чем глубокий смысл иметь кроссплатформенный контроллер? Или для вас имеет значение управлять вашим нагрузочным сценарием не с Windows машины?

Смысл в том, чтобы написать скрипты и отдать их в отдел разработки, чтобы они сами их запускали, смотрели результаты и крутили гайки на сервере. А все разработчики, включая менеджера проекта, сидят под Linux.
Да и у нас машины, на которых стоит Windows, слабенькие, чисто менеджерские. Консоль должна быть не только управляющей но и обрабатывающей. У меня на машине Access загибается на обработке результатов при 20-30 запросов в секунду, а предстоит обрабатывать данные при 500.

[Dmitry_NJ]

для обеспечения необходимой нагрузки мне прийдется использовать и машины под Linux

2 Dmitry_NJ

И что?
Как из этой фразы следует, что с контроллера надо ГЕНЕРИРОВАТЬ нагрузку? Почему нельзя просто УПРАВЛЯТЬ ею? А генерировать можно откуда угодно, в частности с Linux машин.

[Dmitry_NJ]

Смысл в том, чтобы написать скрипты и отдать их в отдел разработки, чтобы они сами их запускали, смотрели результаты и крутили гайки на сервере. А все разработчики, включая менеджера проекта, сидят под Linux.

И вообще ни одной Windows машины на всех разработчиков и менеджера? :blink: Я с таким только в Sun сталкивался, но там хотя бы понятно почему...
IMHO, вам будет очень трудно найти то, что вы ищете.

[Covex]

И вообще ни одной Windows машины на всех разработчиков и менеджера? :blink: Я с таким только в Sun сталкивался, но там хотя бы понятно почему...

И у нас понятно :) Разработка идет на Java для Web, документацию давно уже пишем в OpenOffice, редактор UML тоже написан на Java, инструмент управления проектом под Linux есть - ну зачем им Windows.

IMHO, вам будет очень трудно найти то, что вы ищете.

Я вопрос то, задал из любопытства - вдруг что пропустил. Мы приняли решение брать близкий по требованиям проект с открытыми исходниками и доделывать его под свои нужды. По бюджету мы не тянем ни раскрученный LoadRunner, ни хорошо знакомый по OpenSTA и более-менее подходящий QuotiumPRO. Свой инструмент выйдет дешевле, на счет эффективности - посмотрим.
Да и у меня почему-то субъективная неприязнь к этим большим коммерческим продуктам, веренее к хитровысверленности их отделов продаж.