Перейти к содержимому

Автоматизатор мобильных приложений
онлайн, начало 11 августа
Тестирование юзабилити (usability)
онлайн, начало 4 августа
Школа Тест-Аналитика
онлайн, начало 4 августа
Автоматизация тестирования REST API на Python
онлайн, начало 11 августа

Azart

Регистрация: 14 ноя 2003
Offline Активность: 16 ноя 2011 09:02
-----

Мои темы

Analysis показывает разное время для одного транзактора

24 декабря 2008 - 14:14

Провёл нагрузочное тестирвоание. Выбрал Analyze Results, открылся Analys и построил отчёт. В отчёте на странице "Summary Report" пишется одно время транзакций, а на странице "Average Transaction Response Time" другое.

Почему время разное и какому из показателей верить?

Пример:
Данные на странице "Summary Report"
Transaction Name			   Minimum		 Average		Maximum		   Std. Deviation		  90 Percent

	 Case_1_Transaction		46,109		  53,182		 82,684			7,181				   59,219
	 Case_10_Transaction		44,343		  53,957		 74,485			6,991				   64,673

	 Case_2_Transaction		59,654		  74,74		  213,746		   29,687				  104,395

	 Case_3_Transaction		66,205		  90,197		 226,558		   38,307				  160,318
	 Case_4_Transaction		83,801		  115,268		240,383		   42,035				  174,953

	 Case_5_Transaction		61,475		  98,133		 248,378		   51,302				  171,29
	 Case_6_Transaction		90,147		  123,846		218,36			41,423				  197,023
														  
	 Case_7_Transaction		51,516		  67,652		 123,285		   18,183				  107,123

	 Case_8_Transaction		81,875		  100,793		229,021		   28,934				  125,639
	 Case_9_Transaction		61,106		  71,237		 122,49			10,318				  75,27
														  
	 CourseSelection_Transaction			25,924		  29,155		 39,725			3,674				   33,448

	 Login_Transaction		 12,196		  12,919		 19,099			1,294				   13,89
	 Logout_Transaction		0,011		   0,045		  0,456			 0,076				   0,078 

	 logout{logoutID}		0,011		   0,044		  0,456			 0,076				   0,078

	 open_case			0,783		   7,294		  33,494			5,737				   14,908 
	 submit				0,239		   2,469		  27,213			4,016				   6,593

	 vuser_end_Transaction		0			   0			  0				 0					   0 
	 vuser_init_Transaction		0			   0,001		  0,016			 0,003				   0,002

Данные на странице "Average Transaction Response Time"
Measurement												 Graph's Mini...	 Graph's Ave...	  Graph's Max...	  Graph's Me...	   Graph's Std....
Case_1_Transaction										  47,418			  53,49			   67,158			  52,179			  5,669

Case_10_Transaction										 46,392			  54,15			   69,375			  54,068			  5,912

Case_2_Transaction										  61,931			  89,453			  211,253			 71,356			  45,548
Case_3_Transaction										  67,751			  115,855			 226,558			 86,566			  52,198

Case_4_Transaction										  86,383			  126,561			 208,502			 117,07			  37,753
Case_5_Transaction										  61,909			  112,32			  193,843			 123,046			 40,507

Case_6_Transaction										  93				  137,499			 212,484			 139,557			 39,06
Case_7_Transaction										  53,317			  72,27			   110,427			 63,622			  17,873

Case_8_Transaction										  82,873			  104,449			 163,224			 91,973			  24,548
Case_9_Transaction										  64,043			  72,03			   100,545			 68,818			  9,979

CourseSelection_Transaction								 26,576			  29,527			  37,896			  28,296			  3,478
Login_Transaction										   12,336			  13,048			  16,87			   12,607			  1,293

Logout_Transaction										  0,012			   0,059			   0,236			   0,039			   0,054

logout{logoutID}											0,012			   0,058			   0,236			   0,039			   0,054
open_case												   1,089			   6,274			   13,861			  5,588			   3,501

submit													  0,408			   2,421			   7,132			   2,194			   1,523
vuser_end_Transaction									   0				   0				   0				   0				   0

vuser_init_Transaction									  0				   0,001			   0,003			   0				   0,001

Как правильно параметризировать скрипт?

16 декабря 2008 - 16:06

Добрый вечер коллеги. Не получается добится правильной параметризации, нудна помощь.

Система выглядит так - упращённое предстваление:
Web портал:
1. Пользователь вводит уникальный код(ID) по маске 111ххххх, к примеру 11122233
2. Кликает "Login"
3. Открывается страница с набором контролов, пусть будут радиобаттноны и кнопкой "OK"
3.1 Если пользователь с ID уже был, то система показывает страницу с текстом "Выбор сделан"
4. Пользователь выбирает радиобатон и кликает "OK"
5. Показывается страница с текстом "Выбор сделан"

На Ajax(Click&Script) написал скрипт для тестирования производительности. Для параметра ID сделал раметризацию, настройки параметризации:
Parametr type: File
Select next row: Sequential
Update value on: Each iteration

Запуская сценарий на 1 пользователе в контроллере "выполнять до конца скрипт" - всё работает отлично.
Ещё раз запускаю сценарий на 1 пользователе в контроллере "выполнять до конца скрипт" - ошибка: не находит контролы, смотрю в логах приложения оказывается, скрипт запустился и из файла был использован тот же ID, что и в первом случае.
Удалил из файла параметром первый ID, запустил заново работает. Но это неудобно.

Если запускать на 2 и более пользователей сразу, то выполняется скрипт только для первого пользователя, для остальных ситуация описанная выше.

Подскажите как решить данныую проблему. Предпологаю, что можно брать ID рандомно, но нет гарантии, что ID не совпадут. Мне кажется должно быть более красивое решение проблемы, чтоб все виртуальные пользователи знали, как ID уже были использованы.

Не работает скрипт после изменения имени сервера.

18 июля 2008 - 13:14

Записал скрипт Web(HTTP/HTML).URL тестируемого приложения был http://192.168.111.111 (страница логина http://192.168.111.111/LoginPage.aspx). После логина пара дейсвтий на странице(переход по ссылкам).

Сервер переставили в нет, адреса изменился http://yyy.xxx.org:12190/aaa/ (страница логина http://yyy.xxx.org:1...LoginPage.aspx). В скрипте заменил все урлы на новые. При запуске скрипта ошибка:
Action.c(27): Error -26612: HTTP Status-Code=500 (Internal Server Error) for "http://yyy.xxx.org:12190/aaa/LoginPage.aspx"	  [MsgId: MERR-26612]
Action.c(27): Warning -26200: At least one of the resources specified by EXTRARES has not been downloaded due to the above error(s)	  [MsgId: MWAR-26200]
Action.c(27): web_submit_data("LoginPage.aspx_2") highest severity level was "ERROR", 10165 body bytes, 241 header bytes	  [MsgId: MMSG-26388]

Я в растеренности, приложение на обоих серверах одинаковое. В чём может быть проблема?

ПС: если записать скрипт заново для нового сервера и запустить, то всё работает хорошо. И если для переписанного скрипта заменить урл приложения на старый, то появляется та же самая ошибка.

Как избежать ошибок при отработке сценария.

12 мая 2008 - 14:29

Записал скрипт AJAX(Click&Script), расставил транзакторы.
Generator: при выставление Run-time settings->Run logic итераций 10 скрипт отрабатывает без ошибок. Если увеличивать ещё итерации могут появляться ошибки.
Controller: создал сценарий с данным скриптом при запуске даже на 1 пользователе появляеются ошибки:
Action.c(14): Error -26228: Text-link ("XXX") not found,
Action.c(36): Error -26226: Button not found. Количество ошибок всегда разное и всегда больше 0. Я так понимаю, что в процессе отработки скрипт не находит на веб-странице нужного элемента, отсюда и появляется ошибка.

Вопрос: как избежать данных ошибок?
Предпологаю, что как то возможно в скрипте задать, чтоб скрипт дожидался от сервера полной загрузки страницы и после этого, производил действия на ней. Если я прав, то как?

Яндекс.Метрика
Реклама на портале