Сообщений в теме: 14

[Макс]

Здравствуйте!

Существуют ли бесплатные утилиты для тестирования web-приложений и умеющие делать функциональное и нагрузочное тестирование, содержащие внутренний встроенный язык для написания скриптов.
Раздел "Автоматизированное тестирование ДАРОМ, бесплатные средства для автоматизации", предложенные в нем программы и Stupid Repeater уже изучаются ... но ведь это явно не все возможности :)

Заранее спасибо.

[Case]

OpenSTA

OpenSTA is a distributed software testing architecture designed around CORBA, it was originally developed to be commercial software by CYRANO. The current toolset has the capability of performing scripted HTTP and HTTPS heavy load tests with performance measurements from Win32 platforms. However, the architectural design means it could be capable of much more.

http://opensta.org/

-------------------------
Или вот тут:
http://www.aptest.com/resources.html

Или вот тут:
http://www.google.co...83 Google&meta=

[Макс]

2Case: спасибо за ответы ... забыл написать, что Гугл уже тоже изучается :)


Пользовался ли кто-нибудь какими-либо бесплатными утилитами? Какие можете посоветовать? Есть ли такие, которые позволяют делать нагрузочное тестирование, используя скрипты от функционального?

... к сожалению ограничен временем для поиска :(

[Yury]

Пользовался ли кто-нибудь какими-либо бесплатными утилитами?

Да.

Какие можете посоветовать?

OpenSTA и многие другие (как уже Вам ответил Case).

Есть ли такие, которые позволяют делать нагрузочное тестирование, используя скрипты от функционального?

Я не знаю утилиту для нагрузочного тестирования, которая бы использовала скрипты от другой утилиты для функционального тестирования.

... к сожалению ограничен временем для ответа :(
Юрий

[skaeff]

Здравствуйте!

Существуют ли бесплатные утилиты для тестирования web-приложений и умеющие делать функциональное и нагрузочное тестирование, содержащие внутренний встроенный язык для написания скриптов.
Раздел "Автоматизированное тестирование ДАРОМ, бесплатные средства для автоматизации", предложенные в нем программы и Stupid Repeater уже изучаются ... но ведь это явно не все возможности :)

Заранее спасибо.

Если у Вас Web-приложение для Internet Explorer с богатым и развитым клиентским интерфейсом, реализованным на DHTML + JavaScript и Вам необходимо сэмулировать работу пользователя/лей тем самым нагрузив серверную логику - пишите. Есть один тул. Разработал и применял. Сейчас обкатываю для, так сказать, запуска в люди. Тул бесплатный и бесплатным будет (если в массы пойдет )

[hudson]

Если у Вас Web-приложение для Internet Explorer с богатым и развитым клиентским интерфейсом, реализованным на DHTML + JavaScript и Вам необходимо сэмулировать работу пользователя/лей тем самым нагрузив серверную логику - пишите. Есть один тул. Разработал и применял. Сейчас обкатываю для, так сказать, запуска в люди. Тул бесплатный и бесплатным будет (если в массы пойдет )

Любопытно - не могли бы поподробнее?

[skaeff]

Любопытно - не могли бы поподробнее?

Можно.

1. требования: .NET Framework 2.0 и желательно ic#code (бесплатная) или VS2005, только (!) InternetExplorer

2. Принцип действия: MS Active Accessibility и MS DHTML Object Model (mshtml.dll).

3. скрипты компилируются в .NET dll-ку. Язык - C#, но больших навыков программирования не надо - синтаксис примерно такой:

WebElement el=new WebElement();
el.Run("www.sometestsite.com");

Thread.Sleep();
el.GetWindow(1,false,"www.sometestsite.com/index.html").GetElement("<INPUT id=testID name='test'>").Click();

Thread.Sleep();
el.GetWindow(1,false,"www.sometestsite.com/index.html").GetElement("<INPUT id=testID name='test'>").SetText("test");

и т. д.

4. строки кода el.GetWindow(...).GetElement(...).<Action> генерируются автоматически, что до остального, то C# - это полноценный язык программирования.

5. Многопоточность выполнения скриптов (с ограничениями) - запустить можно сразу несколько IE независимо.

6. Есть голая программа, нет ни спецификаций, ни даже названия, могу выслать как есть с примерной инструкцией + небольшую демку по автоматизации скажем Яндекса или др. сайта (на ваш выбор!)

[hudson]

skaeff, можно ссылочку на сайт проекта? Я сейчас как раз исследую различные продукты для своих нужд.

[skaeff]

skaeff, можно ссылочку на сайт проекта? Я сейчас как раз исследую различные продукты для своих нужд.

Сайт в разработке (переезжает с Народа), но тул готов. Временно находится здесь.

Если не заработало, то вероятнее всего Вам не хватает этого компонента - распакуйте длл в папку с программой.

Если не получается или есть какие-либо проблемы, вопросы и т. д. и т. п. пишите на skaeff@yandex.ru - помогу

[mlg]

skaeff, можно ссылочку на сайт проекта? Я сейчас как раз исследую различные продукты для своих нужд.

Сайт в разработке (переезжает с Народа), но тул готов. Временно находится здесь.

Если не заработало, то вероятнее всего Вам не хватает этого компонента - распакуйте длл в папку с программой.

Если не получается или есть какие-либо проблемы, вопросы и т. д. и т. п. пишите на skaeff@yandex.ru - помогу

Уважаемый skaeff, а работает ли ваш тул с модальными окнами?
Какие виды проверок в нем есть?

[skaeff]

Уважаемый skaeff, а работает ли ваш тул с модальными окнами?
Какие виды проверок в нем есть?

С модальными окнами (Web Page Dialogs) - работает как с обычными страницами - full support!
Виды проверок элемента - все свойства, предоставляемые IHTMLElement, IHTMLElement2. Например: имя тэга, класс, атрибуты, id, текст и т. д.

Виды проверок страницы - все свойства, предоставляемые IHTMLDocument2, IHTMLDocument3

P. S.: интерфейсы из MSHTML.dll

[skaeff]

временно смотрите здесь

[HeGodNick]

В данный момент выбираю из двух бесплатных инструментальных средств: Microsoft Web Application Stress Tool и OpenSTA
Сейчас осваиваю OpenSTA, написал несколько тестов, изучил результаты..
У меня возник вопрос о правдоподобности полученных результатов.

Кто работал с OpenSTA, помогите, пожалуйста, разобраться в чем дело.

Тест следующий: 3 виртуальных пользователя производят одинаковый набор действий. Анализируется время отклика для каждого пользователя.

Вопросы следующие:

1. ВОПРОС: Связан ли (если да, то как?) TimeStamp между двумя соседними GET-запросами с ResponseTime по первому (из этих двух) GET запросу?

2. а) При прогонке теста на 1м и 2х пользователях для одного из GET-запроса ResponseTime =8600 +- 100 мс
при прогонке теста на 3х пользователях по одному из них ResponseTime = 670 мс, а по двум другим соответственно 16484 мс и 18890 мс

код возврата = 200, при прохождении теста ошибок не обнаружено.

б) попробовал вводить оригинальные имя и пароль для каждого пользователя (воспользовался статьей c openSTA.org ResponseTime по каждому пользователю 22063, 22391 и 19641 мс

Результаты варианта "б)" кажутся более правдоподобными.

ВОПРОСЫ: какой результат корректен? как объяснить уменьшение ResponseTime в случае "а)"? по каким признакам можно определить, что тестовое воздействие смоделировано некорректно (есть ли у кого материалы с детальным описанием openSTA, конкретными примерами и т.п.)?

[Yury]

В данный момент выбираю из двух бесплатных инструментальных средств: Microsoft Web Application Stress Tool и OpenSTA

Недавно появился новый "бесплатный" продукт "MS Visual Studio Team System".
Некоторые его функции существенно превосходят Microsoft Web Application Stress Tool и OpenSTA.

2. а) При прогонке теста на 1м и 2х пользователях для одного из GET-запроса ResponseTime =8600 +- 100 мс
при прогонке теста на 3х пользователях по одному из них ResponseTime = 670 мс, а по двум другим соответственно 16484 мс и 18890 мс

код возврата = 200, при прохождении теста ошибок не обнаружено.

б) попробовал вводить оригинальные имя и пароль для каждого пользователя (воспользовался статьей c openSTA.org ResponseTime по каждому пользователю 22063, 22391 и 19641 мс

А Вы уверены, что ваши скрипты работают правильно?

по каким признакам можно определить, что тестовое воздействие смоделировано некорректно (есть ли у кого материалы с детальным описанием openSTA, конкретными примерами и т.п.)?

Если есть время, то лучше использовать противоположный подход - доказать, что "тестовое воздействие смоделировано корректно", и что все ответы сервера точно такие же, как и при выполнение этого процесса вручную.

[JimR]

Недавно появился новый "бесплатный" продукт "MS Visual Studio Team System".
Некоторые его функции существенно превосходят Microsoft Web Application Stress Tool и OpenSTA.

Уточняйте, про какую версию VS Team System Вы говорите.
Так как например 2005 не ловит обращения Java-скриптов к серверу. Так как изменён, по сравнению с ACT, принцип записи скрипта.
Более того сам принцип работы со запросами и организации нагрузки отличается от реализации в WAST.