Не думал, что у такого количества тестеров проблемы с организацией тестирования.
У меня в общем тоже самое. Ноль документации и спецификаций, дофига чего в голове у team leader, нет аналитика.
Теперь еще начинаются проблемы во взаимоотношении у меня (тестера) с программистами, начинают злиться и ругаться, что часто их отвлекаю всякими вопросами, по их мнению, простыми. Ну, мне то откуда знать технические требования и т.п., если документации вообще нет, совсем. Только в системе управления проектами есть задачи. Вот и решил по каждой задачи ходить по программистам собирать инфу и писать документацию, по которой потом сам же и тестирую.

Добрый день! Экспериментирую с нагрузкой на сайт в jmeter.
После того как я начинаю посылать запросы более чем в 50 потоков в секунду начинает появляется процент ошибок. К 300 одновременным потокам Error уже более 3%. Таким образом, чем больше нагрузка, тем больше ошибок.

В Response code запроса с ошибкой: Non HTTP response code: java.net.ConnectException
В Response message: Non HTTP response message: Connection timed out: connect

В Response Data

java.net.ConnectException: Connection timed out: connect
at java.net.DualStackPlainSocketImpl.connect0(Native Method)
at java.net.DualStackPlainSocketImpl.socketConnect(Unknown Source)
at java.net.AbstractPlainSocketImpl.doConnect(Unknown Source)
at java.net.AbstractPlainSocketImpl.connectToAddress(Unknown Source)
at java.net.AbstractPlainSocketImpl.connect(Unknown Source)
at java.net.PlainSocketImpl.connect(Unknown Source)
at java.net.SocksSocketImpl.connect(Unknown Source)
at java.net.Socket.connect(Unknown Source)
at java.net.Socket.connect(Unknown Source)
at sun.net.NetworkClient.doConnect(Unknown Source)
at sun.net.www.http.HttpClient.openServer(Unknown Source)
at sun.net.www.http.HttpClient.openServer(Unknown Source)
at sun.net.www.http.HttpClient.<init>(Unknown Source)
at sun.net.www.http.HttpClient.New(Unknown Source)
at sun.net.www.http.HttpClient.New(Unknown Source)
at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(Unknown Source)
at sun.net.www.protocol.http.HttpURLConnection.plainConnect(Unknown Source)
at sun.net.www.protocol.http.HttpURLConnection.connect(Unknown Source)
at org.apache.jmeter.protocol.http.sampler.HTTPJavaImpl.sample(HTTPJavaImpl.java:485)
at org.apache.jmeter.protocol.http.sampler.HTTPSamplerProxy.sample(HTTPSamplerProxy.java:62)
at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1060)
at org.apache.jmeter.protocol.http.sampler.HTTPSamplerBase.sample(HTTPSamplerBase.java:1049)
at org.apache.jmeter.threads.JMeterThread.process_sampler(JMeterThread.java:442)
at org.apache.jmeter.threads.JMeterThread.run(JMeterThread.java:271)
at java.lang.Thread.run(Unknown Source)


В интернете встречаются вопросы по подобным ошибкам, но ничего толкового в описании их решения или описании их причин нет.
Как я понял, это скорее всего проблема на стороне тестирующей машины и вероятнее, это не хватка пропускной способности исходящего канала.
У кого есть, какие соображения на этот счет? По каким причинам может появляться данная ошибка?? Нужна помощь, что бы разобраться в этом.

Не могли бы вы поделиться своим опытом?
Как можно получить доступ к такому серверу?
Существует ли документация?

Что конкретно вас интересует?

Snap
Вы правы. Я неверно написал. Число я получаю в Response Data

rudomyotov
Спасибо! В статье описана методика, которая мне помогла. Необходимо использовать Expression Extractor
Вот такой регуляркой все хорошо выдерается из ответа ([^\"\']+)

Доброго времени суток! Нужна помощь!

В Jmeter делаю запрос к некоему скрипту. В ответе он генерирует шестнадцатеричное число, т.е. в Responce Code он выводит что-то вроде 4568aafe12547ab7c7.
Это число мне необходимо присвоить некой переменной, после чего эту переменную подставить в качестве параметра для следующего запроса.

Может мне кто-нибудь подсказать, как это реализовать?

На самом деле просто интересно, кто-нибудь сталкивался с такой задачей?
Сам сейчас частично тестирую подобную систему! Жду, может кто-то поделится опытом!

OpenX – это открытый рекламный сервер для управления рекламой на веб-сайтах и доставки рекламных кампаний до потребителей.

Доброго времени суток. Хотел узнать. Был ли у кого опыт тестирования рекламного сервера наподобие OpenX (написан на PHP)???
Не могли бы вы поделиться? Какие методики тест-дизайна применяли? Какие инструменты? И в общем, если не сложно, коротко рассказать о ходе тестирования, с чего начинали, чем закончили. Какие узкие места бывают у рекламных серверов?
Заранее спасибо за ответ!!!

Спасибо за ответ!
Еще есть вопрос?
Как по графику (ну или в Summary Report) определить в какой момен приложение падает???
Время отклика начинает стремительно расти? Увеличивается % ошибок???

Спасибо за комментарии!
Как я понял, для отображения нагрузки на сервер достаточно Average и Throughput.
На первом графике время отклика не увеличивается и имеет вполне положительные значения 72 мс, это хорошо, а вот на втором графике Average растет и составляет уже более 3,5 секунд, плохая динамика! Я правильно все понимаю?
И перед любым тестированием необходимо иметь требования, какие данных необходимо получить после прохождения тестирования. Я для начала выделил.
1) Время отклика (суммарное время отклика не должно выходить за определенные рамки)
2) Пропускная способность
Постепенно поднимая соотношение Users/Rump-up, определить в какой момент (с каким кол-вом юзеров) приложение начнет падать, т.е. на графике, время отклика начнет расти, и перейдет необходимый барьер.

Хотел бы узнать, я правильно понимаю философию нагрузочного тестирования? Какие еще метрики можно добавить?

Я только начинаю осваивать тестирование в jmeter. Вполне хорошо разобрался в создании тестов, получается разрабатывать различные сценарии. В общем, по созданию первого теста инфы в Интернете достаточно. Но вот столкнулся с такой сложностью. Мало где описано как "читать" графики, какую информацию можно из них получить. Что означает Median или например Average об этом написано.
Где об этом можно почитать и как разобраться что будет означать тот или иной график???

Для примера прилепляю скрины.
Возможно получится разобраться в рамках данного форума, основываясь на ваши комментарии.

Спасибо! Начинаю разбираться)))

player1 Спасибо за ответ!

Посмотрел во View Results Tree. Так и есть, в рамках одного потока, последовательность выполнения запросов сохраняется. А можно сделать так, что бы при большом кол-ве потоков запросы выполнялись равномерно???
Т.е. сначала отработали все запросы для одного потока, потом для второго, потом для третьего и т.д.
А то в моем примере выше, получается, что может отправится сначала первая половина запросов для первого потока, потом первая половина для второго потока, еще что-то отправит и только потом отправит вторую половину для первого.

Делаю нагрузочный тест с помощью jmeter. Необходимо в определенном порядке, вызвать несколько скриптов, после чего вызвать скрипт доставки определенного объекта на страницу. Скрины прилагаю)
И так, пробую один поток, все работает как нужно, запросы посылаются, скрипты выполняются. Увеличиваю нагрузку и запросы начинают посылаться jmeter в разброс. Скрин прилагаю) Мне необходимо, чтобы запросы выполнялись только в определенном, заданным мной, порядке.
Есть ощущение, что с помощью определенной настройки, можно все сделать как мне нужно. Но я только начинаю осваивать jmeter и нагрузочное тестирование с помощью него.
Как мне быть??? Жду советов. Заранее спасибо!!!

Использую встроенные средства Visual Studio.
Ну вот к примеру тестирую класс или метод в классе. Если метод изолирован, т.е. есть четкие входные параметры (массив, строка или там число) и есть выходные. То тут за меня все делает Visual Studio. Нужно только выбрать класс или метод, создать для него Unit test, а Visual предложит уже готовую конструкцию, необходимо только прикрутить на вход xml с набором входных данных и ожидаемых выходных значений.
Сложности возникают когда в качестве входных параметров начинают выступать другие классы (есть даже где на вхоже лямбда-фукции). И как в этом во всем разобраться? Где искать концы? Вот теперь думаю как организовать работу между тестировщиком и программистом. Чтобы тестировщику не было очень сложно и вообще он мог справиться и чтобы программисту сильно не отвлекаться.
В интернете все более менее сносные мануалы по юнит тестированию рассчитаны на человека, который сам пишет код!

Пару месяцев назад устроился на работу тестировщиком в одну из интернет компаний. Взяли пробный период, до этого опыта в тестирование веб приложений не я имел. За несколько месяцев вник в суть всех разработок, разобрался в тестах которые были созданы до меня. Начал внедрять новые инструменты в тестирование. В основном работа складывается из ручного тестирование, но есть и автоматическое. Теперь мне поставленна новая задача. Попробовать создавать юнит тесты для нового проекта. Покрыть тестами то что уже написано, и постепенно покрывать, то что будет написано. В программирование я на силен. Разработка ведется на ASP.NET. Дайте дельный совет. С чего начать? Книги, толковые мануалы в интернете?

Вот что заметил.
При использовании ChromeDriver (в IE похожая ситуация, правда не всегда все баннеры открываются) баннеры вполне нормально прокликиваются, и страница нужная открывается и в базу данных статистика о клике пишется. А вот при использовании FirefoxDriver вроде бы тест проходит без ошибок, фокус наводится на баннер, а вот клика не происходит. То есть в хроме вполне реально работать с flash.
А вот что я хотел конкретно узнать. Почему chromedriver и firefox по разному ведут себя с флешкой???

Тест как раз один.
Тестовая страница, на ней куча баннеров. Их нужно все прокликивать периодически.
Хочется автоматизировать, что бы не в ручную. Буду пробовать Sikuli.
Спасибо за советы!

Не могу кликнуть по флеш банеру.
Использую Microsoft Visual Studio 2010 + Nunit + Selenium WebDriver + Firefox
Тестирую страницу на которой есть несколько банеров (все флешки). Необходимо прокликать эти банеры, проверить что они корректно переходят на нужные страницы.
Проблема cтоит в том, что Selenium не видит ссылки во флешке куда перейти.
При клике мы реально идем по тому что во flashvars
Пример реального кода

<div style="border: 1px solid green;">

<embed width="240" height="400" flashvars="clickTARGET=_blank&amp;clickTAG=http%3A%2F%2Fadserver.adserver.local%2Ftrunk%2Fwww%2Fdelivery%2Fck.php%3Foaparams%3D2__bannerid%3D11300__zoneid%3D6899__OXLCA%3D1__cb%3D20ccb46ad5__oadest%3Dhttp%253A%252F%252Flocalhost%252F&amp;bannerId=11300&amp;zoneId=6899&amp;cb=20ccb46ad5" allowscriptaccess="always" wmode="opaque" quality="high" name="Advertisement" id="Advertisement" style="width: 240px; height: 400px;" src="http://adserver.adse...s/02-flash.swf" type="application/x-shockwave-flash">
</embed>


</div>

Кликнуть как по обычной ссылке не получается driver.FindElement(By.XPath(".//*[@id='Advertisement']")).Click();

Помогите пожалуйста, приведите пример на C# как можно протестировать клик по флешке