Сообщений в теме: 35

[Dmitry_NJ]

Вот тебе самый простой пример из XDE Tester - полу4енный путем записи!!! Text_username().click(atPoint(22,6)); Например, мне и так понятно, 4то EditBox'у фокус можно присвоить просто методом клика по нему... RECORD же практикует обратное...

Ну что тут сказать? "Не все йогурты одинаково полезны" :) Есть инструменты, в которых запись действий на распознаваемых объектах не содержит координат.

Во-вторых, про подготовку броузера - разговор шел про метод создания тестов путем записи, какая подготовка?????

Например, вызов браузера. Потом выбор Maximize из системного меню. Если окно уже раскрыто на весь экран, то пункт меня будет disabled. Приводить к ошибке это не должно. Если окно браузера было не на весь экран, то тогда выбор Maximize приведет к желаемому результату. Это не самый оптимальный способ решить задачу по проверке необходимого состояния приложения перед выполнением основной части теста. Просто как пример.

[bolshik]

Проблема решается добавлением во все контролы свойства id со значением на буржуйском языке. Если этого свойства нет то в качестве имени xde попробует использовать name, если и его нет, то для линка - текст внутри тэгов, для кнопок - текст на кнопке.

Да, абсолютно согласен. Так намного удобнее.
А что вы имели в виду, когда писали

в xde используется нормальный язык, на котором сделать библиотеку для работы с контролами как два байта переслать, не то, что в скриптовых языках, есть нормальные средства заполнения Object Map контролами

Какие функции должна выполнять эта библиотека?

[Guriy]

2 Dmitry_NJ: Это можно сделать, открыть приложение, максимизировать, закрыть его, но возникают проблемы с разрешением экрана. У меня на машине 1280х1024, а на машинах с агентами 1024х768....

2 bolshik: Как поступает пользователь, если ему нужно ввести значение в какой-нибудь эдит бокс?
он посмотрит на то значение, которое там уже есть, и если значение эквивалентно тому, что необходимо ввести трогать его не будет.

Какая последовательность действий, если все делать через рэкорд/плэйбэк? Кликнуть по этому контролу, удалить значение, ввести новое. Всего 3-и строки в скрипте.

теперь пишем суперкласс, в который передаем контрол и значение. В суперклассе изголяемся по полной но один (!) раз. Проверяем соответствует ли то значение, которое есть в эдит боксе тому, которое нужно ввести, если не соответствует - удаляем старое, и вносим новое, проверяем крэш формы, проверяем валидаторы, пишем в лог сообщение, и пр.

после этого в тесте вызываем одну(!) функцию, которая сделает массу полезных действий с контролом, и не засоряем свой тест.

Для того, что-бы проникнуться, представьте себе форму, на которой находится контролов шестьдесят (у меня есть и побольше), у нужно проверить на 500 комбинаций значений. И представьте себе какой у Вас получится тест и как Вам его потом сопровождать.... А так - библиотеки функций, классы для ввода/считывания значений, конекшен к сиквелу, и все быстро и красиво. И через год не надо будет голову ломать, что за контрол грохнули девелоперы с названием Super_Puper_Duper_Scooper_para_6574_trooper.

2 Ол: тестирование порталов с пятью страничками, или калькулятора можно проводить конечно и записью/воспроизведением, но если возникнет необходимость проверить приложение с хотя-бы 20-ю формами, угадайте у кого будет преимущество?

[Petr]

Это можно сделать, открыть приложение, максимизировать, закрыть его, но возникают проблемы с разрешением экрана. У меня на машине 1280х1024, а на машинах с агентами 1024х768....

В данном случае идет разговор о разных конфигурациях среды исполнения программы (ОС). Либо нужно делать везде одинаковые конфигурации, либо разговаривать о конфугурационном тестировании (особенно для веба, т.к. при одном резрешении экрана все будет "шоколадно", а при другом - все элементы поедут и работь будет невозможно).

[Guriy]

Объясните, почему мне нельзя убивать сразу двух зайцев?
Или необходимо прогнать весь набор функциональных тестов при одном разрешении, потом при другом, после этого при третьем, у меня еще и монитор вертится - еще +3, после этого перейти на другую ОС и все по новой?

[Guriy]

Вообще-то тулы для функционального тестирования ещё называют record-playback tools.

LOL

[Petr]

Объясните, почему мне нельзя убивать сразу двух зайцев?
Или необходимо прогнать весь набор функциональных тестов при одном разрешении, потом при другом, после этого при третьем, у меня еще и монитор вертится -  еще +3, после этого перейти на другую ОС и все по новой?

Если время позволяет, то да.

[Guriy]

Если время позволяет, то да.

LOL again

[Petr]

Если время позволяет, то да.

LOL again

Т.е. Вы считаете, что к примеру производителю баз данных нет смысла проверять свои продукты на разных ОС, можно просто провести тестирование на ОС Windows и сказать, что все будет работать и на других платформах (Linux/Unix и т.д.)?

[Guriy]

2 Petr: почитайте о Pairwise Testing.

Надо пул организовать, с вопросом "кому хватает времени". Графики я думаю у процентов так 75-90 очень плотные, для того, что-бы прогонять весь набор функциональных тестов под всеми возможными конфигурациями.

PS: Скажите, а при функциональном тестировании Вы тоже используете все множество возможных значений?

[Petr]

PS: Скажите, а при функциональном тестировании Вы тоже используете все множество возможных значений?

Ну конечно же нет, такие вещи уже обсуждались на форуме (например тут).

Надо пул организовать, с вопросом "кому хватает времени". Графики я думаю у процентов так 75-90 очень плотные, для того, что-бы прогонять весь набор функциональных тестов под всеми возможными конфигурациями.

Времени всегда нехватает. Я не это имел в виду. Речь про то, что если Ваш продукт позиционируется как работающий, к примеру, в WIn2000 и WinXP, то Вы должны выполнить тестирование в обеих ОС, причем если в Win2000 у Вас 50 тестов, то и в WinXP нужно выполнять эти же 50 тестов (может быть их придется слегка исправлять, но не факт), не меньше.
На коробочном ПО обычно пишут в какой системе и какой конфигурации оно работает (для заказного также оговаривается рабочее окружение), возьмем к примеру комп. игру. Производитель говорит, что для нормальной работы нужен компьютер с WIn2000, разрешение экрана 1280х1024. Сие не означает, что игра не будет работать в WinXP с разрешением 1024х768, однако если вдруг это произойдет, то Вы не сможете обратиться с претензией к компании-разработчику, поскольку они не гарантировали работоспособность в такой конфигурации.

[Guriy]

Ой, спасибо, повеселили под завязку дня рабочего.
Я как представлю себе коробку с MS SQL на которой написано - работает под Win 2к3 разрешение экрана 1024х768 3D 128+ ....

Возможно для сиквел серверов выполнение полного цикла тестирования под всеми конфигурациями и является неизбыточным, но к разрешению монитора это не имеет никакаого отношения.

Ок, вернемся к практике - наш продукт позиционируется, как продукт который работает на W98+, IE 5.01+, 800х600+
У нас около 3к тесткейсов, среднее время выполнения 15 мин. Команда 5 человек.

Посчитаете сами? Не забудьте сервиспаки и апдейты.

Тем более, что в данном случае прогон всех тестов для каждой конфигурации является избыточным.

[Guriy]

2 Case: инфу о борьбе с кириллицей в Rational XDE Tester - в ЧАВО

[Petr]

Я как представлю себе коробку с MS SQL на которой написано - работает под Win 2к3 разрешение экрана 1024х768 3D 128+ ....

Разве я где-то упоминал про то, что серверные продукты (БД в частности), зависят от разрешения? В примере была игра, а для игр разрешение играет значительную роль. Разве я утверждал, что ВСЕ продукты должны так тестироваться? По моему Вы "слегка" преувеличиваете.

Ок, вернемся к практике - наш продукт позиционируется, как продукт который работает на W98+, IE 5.01+, 800х600+
У нас около 3к тесткейсов, среднее время выполнения 15 мин. Команда 5 человек.
Посчитаете сами? Не забудьте сервиспаки и апдейты.

Опять же - Ваше дело (время само собой играет далеко не последнюю роль). Если например на WinXP в IE 6 при разрешении 1024х768 будут проблемы, то это будут Ваши проблемы, т.к. Ваш продукт по определению должен работать в данном окружении, а он "лег".

[bolshik]

Guriy, спасибо огромное за пояснение функции вспомогательной библиотеки.
Как часто бывает с хорошими идеями, ознакомившись с ней, начинаешь думать, почему сам до этого не дошел :) Спасибо!

[Guriy]

2 Petr:
Насколько я помню, Вы выставили только временное ограничение.

Объясните, почему мне нельзя убивать сразу двух зайцев?
Или необходимо прогнать весь набор функциональных тестов при одном разрешении, потом при другом, после этого при третьем, у меня еще и монитор вертится -  еще +3, после этого перейти на другую ОС и все по новой?

Если время позволяет, то да.

Времени всегда нехватает. Я не это имел в виду. Речь про то, что если Ваш продукт позиционируется как работающий, к примеру, в WIn2000 и WinXP, то Вы должны выполнить тестирование в обеих ОС, причем если в Win2000 у Вас 50 тестов, то и в WinXP нужно выполнять эти же 50 тестов (может быть их придется слегка исправлять, но не факт), не меньше.

Вернемся к Вашей игрушке.
То есть, если у меня задекларирована проверка правильности перевода диалогов, то мне нужно проверить насколько они правильно переведены и WIn2000 и в WinXP?.
Может несколько неудачный пример, но возьмем например скриптовый энжин для диалогов. Прогоняем в нем все ветки для WIn2000, теперь вопрос - необходимо ли прогонять их все под WinXP?

2 bolshik: Завсегда пожалуйста.