ага, вот в чём хитрость) спасибо) если не трудно, в чём вообще разница assert и verify? прост всё время делаю всё через assert

В этом и суть - если не выполняется assert, то тест стопорится на невыполненном assert'е. При verify тест не стопорится, но если проверка не вернула true, тест считается провалившимся на этой проверке.

4. Хочется написать class3 такой, который бы состоял из части тестов первого и второго классов. Т.е. в общем виде, допустим вот так вот:
class3
public void test1.1(){}
public void test2.1(){}

Почему не подходит написание третьего класса, как вы описали здесь? Тогда запускать тест не с помощью junit, а через стандартные средства запуски проектов в eclipse. Тогда класс 3 будет исполнять из тестов 1 и 2 только те методы, которые вы укажете, и кидать результат в консоль.

Добрый день! Кто нибудь проводил тестирование производительности веб приложения в среде разработки Visual Studio 2012? Там вводится такое понятие как веб - тест. Это тоже самое что и тестирование производительности или что это? И не понятно что в данном тестировании ожидаемый результат а что фактический? Если можно поясните что такое правила проверки и извлечения в веб-тестах производительности в Visual Studio.

Веб-тест — это последовательность действий, которая ляжет в основу тестирования производительности. Что-то вроде сценария, по которому виртуальные пользователи будут использовать систему.

Разобрался с этой проблемой. Может быть кому-то будет интересно.

Во первых нужно распаралелить тесты с помощью junit(версия выше 4.7)

Кусок pom.xml, в котором распараллеваем тесты:



<plugin>
<artifactId>maven-failsafe-plugin</artifactId>
<version>2.12.4</version>
<configuration>
<includes>
<include>**/*Story.java</include>
</includes>
<parallel>classes</parallel>
<threadCount>5</threadCount>
</configuration>
<executions>
<execution>
<goals>
<goal>integration-test</goal>
<goal>verify</goal>
</goals>
</execution>
</executions>
</plugin>

Важно! Распаралелвать нужно классы, когда пытался распараллелить методы, вываливался эксепшин.

Дальше запускаем Selenium Grid:
java -jar selenium-server.jar -role hub

И несколько нодов на разных портах
java -jar selenium-server-standalone-2.25.0.jar -role node -hub http://hubip:4444/grid/register -port 5556
Запускаем наши тесты:

mvn clean verify -Dwebdriver.remote.url=http://hubip:4444/wd/hub

Как видим, запуск через RemoteWebDriver происходит всего лишь с помощью установки системной проперти webdriver.remote.url. Запускать parallel batches не нужно, без них тоже все работает отлично.

В этой связке maven - обязателен?

Поняла, на каком моменте валится: использую storeExpression, затем подставляю в нескольких местах это значение в тесте. Не подставляется, как оказалось, при запуске на сервере. Почему же так? При запуске на сервере там негде запоминать?

Чтобы тема не оставалась висеть, поделюсь своими соображениями.
В общем, поняла, в чем была проблема: использовала storeExpression, сохраняла значение в переменную, впоследствии использовала эту переменную в разных кейсах одного тестового набора (то есть кейсы сменялись в процессе прогона). При смене кейса значение переменной не запоминалось. Почему это так, не поняла. Решила проблему тем, что запихала в один кейс все, что было в сценарии с использованием данной переменной. Эти кейсы отделила от тех, в которых переменная не использовалась. Тест успешен.

1) Возможно тест плохо (с ошибками) импортируется? проверьте, что все хорошо заимпортилось в конечном тесте.

Что вы подразумеваете под "импортируется с ошибками"? На данном этапе я никуда не экспортирую свои сценарии и ничего не импортирую в них, я просто запускаю их через командную строку.

Имею пачку тестов, которые писала через сам плагин Selenium IDE в мозилле. Не хочу пока задуряться с WebDriver, поэтому использую -htmlSuite для запуска их из командной строки на сервере. Делаю это в том числе и для проверки работоспособности сценариев для разных браузеров.
Собственно, проблема. Если я запущу тест в плагине к мозилле, все отлично отработает. Если тот же сценарий через cmd, то тест валится с ошибкой "Element такой-то not found". Это может быть, например, xpath локатор или link. С чем связано это событие?

P.S.: когда тупо переносила свои тесты из IDE на RC или WebDriver - было то же самое. Многие элементы в процессе прохождения сценария не были найдены, хотя они точно есть на странице. В результате - тест фейловый.

Хотел с вами посоветоваться, нормально ли будет разбить весь тест план на 15 клаcсов и запускать их всех с помощь Junit?

Насколько я понимаю, для JUnit отдельный класс - это отдельный юнит-тест. Вы можете запускать их по очереди.

возможно ли как-то перехватить Nosuchelementexception? что-бы тест не падал? а продолжался

Можно же ввести обработку исключений. Плюс если вам нужно уберечь себя от ошибок, связанных с отсутствием элементов на странице (что влечет за собой полный фейл всего теста), вы можете прямо в коде ввести проверки на это. (Если я правильно понимаю, о чем вы)

Большое спасибо, я так делал, но все равно не работало. Позже уже разобрался в чем там была проблема сам. Но все равно низкий поклон за то, что отозвались.

Было бы неплохо рассказать, в чем же была проблема, и каково ваше решение. Не исключено, что кому-то поможет.

Запустили сервер селениум перед запуском самого теста?

Запустили сервер селениум перед запуском самого теста?

Я пользуюсь функционалом Selenium2, тесты запускаю локально, при этих условиях, насколько я знаю, не требуется запуск сервера.

Локально - вы имеете в виду: у себя на машине запускаете, у себя на машине работаете с системой и смотрите полученный результат? Насколько я знаю, команду java -jar selenium-server-standalone-<version>.jar нужно прописывать в командной строке каждый раз при начале работы с тестами. (Не перед каждым тестом, а каждый раз после выключения машины. Достаточно запустить сервер один раз для всего дня работы с тестами.)

Если загрузчик файлов стандартный, то есть является тегом input type="file", то путь к файлу можно просто передать через строку в команде SendKeys(или TypeKeys).

А как определить что загрузчик является тегом input type?

Посмотрите html-код страницы, и посмотрите код данного элемента.

А почему именно метод PUT? Этот метод в основном используется для передачи файлов.

Потому что при POST я получаю 403. А при PUT я получаю что-то отличное от этого. Я пробую все подряд.

А вы не могли бы показать Request / Response при такой ошибке? Попробуйте записать с помощью tcpdump.

Следующий вопрос. А вы случайно Jetty не используете? Обычно девелоперы используют её по странному, и часто, когда акцепторы (Acceptor) заканчиваются, а у диспатчера есть новый HttpConnection, которого не на кого вешать, то Dispatcher отвечает пустым ответом. Вы мониторите машинку которую тестируете? Мониторите потоки/акцепторы, если это все же Jetty? Похоже что у вас просто сервер не отдает корректно ответ и поэтому Jmeter не может распарсить пустой ответ.

Честно - не могу ответить ни на один ваш вопрос. Понятия не имею, о чем вы.

Какой сервис вы тестируете? Какой сайт? На каком языке он написан? С использованием каких фреймворков?

Это все - строго конфиденциальная информация) Написано на java. По идее, при вводе данных в форму и нажатии на кнопочку "сохранить" формируется soap - запрос и отсылается серверу, ответ - soap-request, в котором содержится уникальный id, который подтверждает, что запрос прошел успешно.

Помогите разобраться. Вообще слабо пока понимаю jmeter. Не могу передать данные. Краткое описание: происходит заполнение полей формы (полей около десятка). Делаю это методом PUT. Когда использовала метод POST, в ответ получала 403 (что тоже, кстати, оказалось для меня непонятным. Если кто-то знает причину - буду благодарна). В итоге: при методе PUT в ответах получаю следующее:

java.net.SocketException: Unexpected end of file from server
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)
	at java.lang.reflect.Constructor.newInstance(Unknown Source)
	at sun.net.www.protocol.http.HttpURLConnection$6.run(Unknown Source)
	at java.security.AccessController.doPrivileged(Native Method)
	at sun.net.www.protocol.http.HttpURLConnection.getChainedException(Unknown Source)
	at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)
	at java.net.HttpURLConnection.getResponseCode(Unknown Source)
	at org.apache.jmeter.protocol.http.sampler.HTTPJavaImpl.readResponse(HTTPJavaImpl.java:264)
	at org.apache.jmeter.protocol.http.sampler.HTTPJavaImpl.sample(HTTPJavaImpl.java:520)
	at org.apache.jmeter.protocol.http.sampler.HTTPSamplerProxy.sample(HTTPSamplerProxy.java:62)
	at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1088)
	at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1077)
	at org.apache.jmeter.threads.JMeterThread.process_sampler(JMeterThread.java:428)
	at org.apache.jmeter.threads.JMeterThread.run(JMeterThread.java:256)
	at java.lang.Thread.run(Unknown Source)
Caused by: java.net.SocketException: Unexpected end of file from server
	at sun.net.www.http.HttpClient.parseHTTPHeader(Unknown Source)
	at sun.net.www.http.HttpClient.parseHTTP(Unknown Source)
	at sun.net.www.http.HttpClient.parseHTTPHeader(Unknown Source)
	at sun.net.www.http.HttpClient.parseHTTP(Unknown Source)
	at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)
	at sun.net.www.protocol.http.HttpURLConnection.getHeaderField(Unknown Source)
	at java.net.URLConnection.getHeaderFieldInt(Unknown Source)
	at java.net.URLConnection.getContentLength(Unknown Source)
	at org.apache.jmeter.protocol.http.sampler.HTTPJavaImpl.readResponse(HTTPJavaImpl.java:230)
	... 7 more

Заранее спасибо.

P.S.: план для "залогинивания" в системе написала, и это работает. В ответе получаю то, что нужно: данный пользователь вошел в систему. Но вот при работе с самой системой уже возникает такой затык.

А вы не могли бы показать Request / Response при такой ошибке? Попробуйте записать с помощью tcpdump.

Следующий вопрос. А вы случайно Jetty не используете? Обычно девелоперы используют её по странному, и часто, когда акцепторы (Acceptor) заканчиваются, а у диспатчера есть новый HttpConnection, которого не на кого вешать, то Dispatcher отвечает пустым ответом. Вы мониторите машинку которую тестируете? Мониторите потоки/акцепторы, если это все же Jetty? Похоже что у вас просто сервер не отдает корректно ответ и поэтому Jmeter не может распарсить пустой ответ.

Честно - не могу ответить ни на один ваш вопрос. Понятия не имею, о чем вы.

При составлении сценария использовали http proxy server http://jmeter.apache...TP_Proxy_Server ?
Если нет, то попробуйте.

Конечно я использую прокси-сервер. Я сама понятия не имею, какие запросы нужно передавать серверу, чтобы исполнялся нужный мне сценарий. Поэтому я использую план, записанный в рекодере.

Ну, во-первых правильно было бы изначально узнать у разработчиков, как именно происходит общение клиента с сервисом (какой вид запроса, скорей всего это POST, хоть и не обязательно, какие параметры, какие заголовки.. ), гадать , подставляя подряд доступные виды запроса - себе дороже.
Либо попробовать самой это определить, если, например, есть тестовая страничка, на которой заполняются данные и потом отправляются на сервис, тогда можно воспользоваться Fiddler чтобы отследить в каком виде это происходит.
Либо, если странички нет (а скорей всего её нет), тогда поищи вспомогательные тулзовины для отправки soap-requests, поэкспериметнтируй там (если почему-то нельзя узнать всю необходимую инфу у девелоперов) и когда добьёшься нужного тебе ответа, только после этого , пытайся реализовать необходимый запрос с помощью JMeter />

Окай, а тогда при POST я получаю 403 Forbidden - что мне с этим делать?

Здравствуйте!
К сожалению нигде в сети не нашел решения проблемы связанной с установкой selenium ide.
Запускаю Firefox, дальше на http://selenium2.ru/...lenium-ide.html и скачиваю IDE с веб-сайта SeleniumHQ
Firefox предостерегает от установки дополнений с незнакомых ресурсов, потому для продолжения установки нажимаю “Разрешить”. При загрузке дополнения через Firefox появится окно с пятью компонентами.
Выбераю “Установить сейчас”. Появляется окно дополнений Firefox, сначала оно показыват индикатор выполнения, а после прерывается и вместо окна Adds-on, выводит сообщение..

Внимание: Сценарий не отвечает.
Похоже, используемый на этой странице сценарий занят или не отвечает.
Вы можете оставить его сейчас или продолжить, сможет ли он завершить свою рботу.
Сценарий: resource://rre/modules/XPIprovider.jsm
Продолжить || Остановить сценарий.

Какие только манипуляции я не приводил, к нужному результату пока не пришел..(
Подскажите, пожалуйста, как можно решить проблемку или где...
Заранее, благодарен.

Попробуйте скачать файл для установки через другой браузер и установить его как обычную программу. А затем уже в самом firefox сделать поиск дополнений и установить все, что вам необходимо, например, java formatters и прочее.

А какая у вас версия Firefox? Может какие-то плагины конфликтуют?

Firefox 18v...

Данная версия вроде бы еще не поддерживается. Попробуйте поставить на 17-ую.

Поддерживается, даже 19 версия (вчера обновила).
Автору: у вас какая-то очень странная проблема :) Попробуйте переустановить мозиллу) Или можете использовать Selenum Builder - в принципе что-то похожее, только другой интерфейс, ну и насколько поняла, более новый продукт.

Инклуды внутри класса сделал сам Selenium IDE при экспорте из формата HTML в JUnit 4. Я понимаю, что это странно, но вот такой, по всей видимости, кривой шаблон экспорта.

и стоит определится, либо WebDriver использовать, либо selenium RC

Я нуб еще, поэтому если можно в двух словах, чем отличается? В Selenium IDE при экспорте можно указать либо JUnit (WebDriver), либо JUnit (Remote Control).

Remote Control - более старая технология, WebDriver использует драйвера браузеров для симуляции работы пользователя в браузере. Соответственно, можно экспортнуть для того, и для того. Можно даже использовать вместе, но смысл?

Спасибо, от ошибок избавился, но при запуске проекта возникают следующие проблемы:

java.lang.NoClassDefFoundError: com/google/common/base/Charsets
	at com.thoughtworks.selenium.HttpCommandProcessor.getOutputStreamWriter(HttpCommandProcessor.java:149)
	at com.thoughtworks.selenium.HttpCommandProcessor.getCommandResponseAsString(HttpCommandProcessor.java:176)
	at com.thoughtworks.selenium.HttpCommandProcessor.executeCommandOnServlet(HttpCommandProcessor.java:118)
	at com.thoughtworks.selenium.HttpCommandProcessor.doCommand(HttpCommandProcessor.java:101)
	at com.thoughtworks.selenium.HttpCommandProcessor.getString(HttpCommandProcessor.java:275)
	at com.thoughtworks.selenium.HttpCommandProcessor.start(HttpCommandProcessor.java:237)
	at com.thoughtworks.selenium.DefaultSelenium.start(DefaultSelenium.java:98)
	at feedback.FeedbackTest.setUp(FeedbackTest.java:16)
	at junit.framework.TestCase.runBare(TestCase.java:132)
	at com.thoughtworks.selenium.SeleneseTestCase.runBare(SeleneseTestCase.java:230)
	at junit.framework.TestResult$1.protect(TestResult.java:110)
	at junit.framework.TestResult.runProtected(TestResult.java:128)
	at junit.framework.TestResult.run(TestResult.java:113)
	at junit.framework.TestCase.run(TestCase.java:124)
	at junit.framework.TestSuite.runTest(TestSuite.java:243)
	at junit.framework.TestSuite.run(TestSuite.java:238)
	at org.junit.internal.runners.JUnit38ClassRunner.run(JUnit38ClassRunner.java:83)
	at org.eclipse.jdt.internal.junit4.runner.JUnit4TestReference.run(JUnit4TestReference.java:50)
	at org.eclipse.jdt.internal.junit.runner.TestExecution.run(TestExecution.java:38)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:467)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.runTests(RemoteTestRunner.java:683)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.run(RemoteTestRunner.java:390)
	at org.eclipse.jdt.internal.junit.runner.RemoteTestRunner.main(RemoteTestRunner.java:197)
Caused by: java.lang.ClassNotFoundException: com.google.common.base.Charsets
	at java.net.URLClassLoader$1.run(Unknown Source)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(Unknown Source)
	at java.lang.ClassLoader.loadClass(Unknown Source)
	at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source)
	at java.lang.ClassLoader.loadClass(Unknown Source)
	... 23 more

Сервер Selenium'а запущен на порте, указанном в проекте.

Можно попробовать также добавить selenium-server-standalone-<version>.jar в библиотеки. Мне помогало. Но это увеличит "вес" проекта. Либо можно поковыряться и найти другие библиотеки, экспорт которых решит проблему.

Спасибо, что вы такие "Актуальные Темы" открываете))

Для предотвращения таких событий существует модерация и все такое.

у меня вылетает ошибка, что нет какого то FirefoxDriver.cs. Бред какой то. Что делать? Ни один тест не хочет запускаться вообще!

А вы все библиотеки подключили, необходимые для корректного запуска?

Для firefox и IE достаточно указать в строке "*firefox" или "*iexplore". Для Google Chrome нужно еще и путь к исполняемому файлу указать, например, так: "*googlechrome C:/Program Files/Google/Chrome/chrome.exe".