Сообщений в теме: 12

[Vusfnuv]

Много тем тут перечитал, но нужного вроде не нашел.

Требуется автоматизировать тестирование пользовательского интерфейса нескольких приложений, написанных на Visual C++. Также желательно иметь возможность регрессионного тестирования. Все тестирование по типу black-box. Кода приложений нет, возможности перекомпилировать нет. Платформы - WinXP 32 и 64бит, по-возможности еще Win2003, Vista, .

Пока пробовал только TestComplete. Как я понял, он мне не подходит, так как все объекты интерфейса без перекомпиляции он не видит.

Есть ли какие-либо средства, которые могут с этим справится?

PS: Кстати удивился, не увидев какой-нибудь сводной темы с описанием области применения распространенных средств автоматизированного тестирования. Вопрос-то постоянно задается в этой ветке.

[KaNoN]

Много тем тут перечитал, но нужного вроде не нашел.

Требуется автоматизировать тестирование пользовательского интерфейса нескольких приложений, написанных на Visual C++. Также желательно иметь возможность регрессионного тестирования. Все тестирование по типу black-box. Кода приложений нет, возможности перекомпилировать нет. Платформы - WinXP 32 и 64бит, по-возможности еще Win2003, Vista, .

Пока пробовал только TestComplete. Как я понял, он мне не подходит, так как все объекты интерфейса без перекомпиляции он не видит.

Есть ли какие-либо средства, которые могут с этим справится?

PS: Кстати удивился, не увидев какой-нибудь сводной темы с описанием области применения распространенных средств автоматизированного тестирования. Вопрос-то постоянно задается в этой ветке.

Укажите, пожалуйста, что за GUI используется (перечень технологий, которые используются для реализации GUI). Для black-box это имеет первостепенное значение, так как автоматизация в основном затрагивает как раз пользовательский интерфейс. А информация о языке, на котором написано приложение, мало чем поможет.

[ЮстусТретий]

Пока пробовал только TestComplete. Как я понял, он мне не подходит, так как все объекты интерфейса без перекомпиляции он не видит.

Странно, у меня TC 6.50 прекрасно распознает все GUI объекты стандартных библиотек Visual C++ (MFC, ATL/WTL). Может быть дело в том что у меня есть DebugInfo для приложения, которая используется TC для поиска объектов. У вас приложение с DebugInfo ?

[Vusfnuv]

Укажите, пожалуйста, что за GUI используется (перечень технологий, которые используются для реализации GUI). Для black-box это имеет первостепенное значение, так как автоматизация в основном затрагивает как раз пользовательский интерфейс. А информация о языке, на котором написано приложение, мало чем поможет.

Честно говоря, точно ответить затрудняюсь. Вообще тестируются одновременно несколько сторонних программ, от разных разработчиков. Соответственно единообразия ожидать не приходится. Я пытался узнать больше, но информации практически нет. Вот пример того ответа, который я получил.

Generally speaking, the technologies are quite different. For example one of them uses COM pointers, but another does note. In two of them dialogs are part of resources, in the other they are created on fly.

Честно говоря я пока с трудом представляю себе, что мне пробовать при такой скупой информации. Точно известно, что AutoMate видит почти все объекты во всех этих приложениях. С помощью него мы можем автоматизировать сами тесты, но не проверку результатов. А хотелось бы иметь не только средство автоматизации работы с GUI, но средство тестирования.
Можно ли получить хоть какие-то советы в такой ситуации, или придется качать триалки всего подряд и пробовать, пока не наткнемся на что-то работоспособное?

[ShortLegged]

Вам нужно узнать, они используют контролы наследованные от стандартных или рисуют их сами. Если рисуют, то шансы автоматизировать не очень большие.

AutoMate позволяет получить содержимое контролов?

[Vusfnuv]

Вам нужно узнать, они используют контролы наследованные от стандартных или рисуют их сами. Если рисуют, то шансы автоматизировать не очень большие.

AutoMate позволяет получить содержимое контролов?

Узнать из первоисточников практически нереально. Можно считать, что контакта с разработчиком GUI нет.

AutoMate позволяет работать (видит все необходимые свойства контролов) практически со всеми элементами GUI (около 90%), и в большинстве из них может обрабатывать текстовую информацию. Оставшиеся 10% в каждом из пакетов приходятся на разные элементы GUI.

Похоже что в основном контролы GUI снатдартные, но часть написана самими разработчиками. То, что с рукотворными проблемы - это понятно. Для простоты допустим, что их касаться мы вообще не будем. Хотелось бы автоматизировать хотя бы работу со стандартными элементами.

[rlabs]

Узнать из первоисточников практически нереально. Можно считать, что контакта с разработчиком GUI нет.

Позвольте спросить, естественнонаучного интереса ради,
- зачем вам понадобилось тестировать приложение чужой разработки? проводите сравнение конкурирующих продуктов?
- давно ли вы занимаетесь тестированием (вообще)?

[Vusfnuv]

Узнать из первоисточников практически нереально. Можно считать, что контакта с разработчиком GUI нет.

Позвольте спросить, естественнонаучного интереса ради,
- зачем вам понадобилось тестировать приложение чужой разработки? проводите сравнение конкурирующих продуктов?

Тестируется надстройка, которая ставится поверх этих приложений. Установка ндстройки производится естественно на релизовые вырсии, которые не идут с DebugInfo. Мы можем получить некоторую информацию от разработчиков надстройки, но не от разработчиков исходных приложений.

- давно ли вы занимаетесь тестированием (вообще)?

Именно этим приложением - недавно. Автоматизированием тестирования GUI до этого вообще не занимались.

[rlabs]

Тестируется надстройка, которая ставится поверх этих приложений. Установка ндстройки производится естественно на релизовые вырсии, которые не идут с DebugInfo. Мы можем получить некоторую информацию от разработчиков надстройки, но не от разработчиков исходных приложений.

Именно этим приложением - недавно. Автоматизированием тестирования GUI до этого вообще не занимались.

Поверьте, такой проект - не лучшая база для обучения автоматизации тестирования. Я бы предположил, что дешевле и быстрее все сделать как обычно. По крайней мере, начать как обычно, а потом определить, что именно вам реально имеет смысл автоматизировать.

[Vusfnuv]

Поверьте, такой проект - не лучшая база для обучения автоматизации тестирования. Я бы предположил, что дешевле и быстрее все сделать как обычно. По крайней мере, начать как обычно, а потом определить, что именно вам реально имеет смысл автоматизировать.

Вообще-то речь не о том, чтобы обучить людей автоматизированному тестированию. Речь о том, что для определенного приложения есть необходимость автоматизировать часть того, что до этого делалось руками. Мы четко знаем, какие именно последовательности действий нам надо тестировать автоматически. Мы знаем, что мы хотим. Но мы не знаем как это сделать и с помощью какого инструмента. Для некоторых других приложений знаем, там автоматические тестирование у нас внедрено. Для этого - еще нет.

Именно этот вопрос и озвучен в этой теме: какой инструмент выбрать. Мне, честно говоря, неинтересно обсуждать зачем мне это надо, и неинтересно рассуждать над смыслом автоматизирования тестирования GUI вообще. Мне интересно получить совет о выборе средства тестирования в этой конкретной ситуации. Если заведомо известно, что осознано выбрать ничего нельзя, то может быть можно хотя бы сузить круг поисков. Это тоже ответ, от которого была бы польза.
В принципе даже просто список наиболее распространенных инструментов, которые уже хорошо зарекомендовали себя в плане тестирования GUI и которые можно применять для back-box тестирования, был бы полезен.

[dlg99]

посмотрите на Eggplant
к нему, правда, нужно будет мак прикупить (mac mini достаточно, он не очень дорогой, особенно по сравнению с лицензией Eggplant), но дальше он через vnc может что угодно GUI-образное тестировать. Работает через поиск/распознавание графики.
Естественно, не без своих заморочек, и язык программирования своеобразный.
это если очень нужно через GUI.

естественный вопрос - а как "надстройка, которая ставится поверх этих приложений" с приложениями взаимодействует? и нельзя ли тем же способом?

[barancev]

Если речь зашла об Eggplant -- есть бюджетный вариант, но не знаю, насколько качественный, сам не пробовал пользоваться: http://www.comparesu...-automation.htm

[Vusfnuv]

dlg99
Спасибо за совет. На первый взгляд все здорово, но пока смущает необходимость мака. Тем не менее вариант запомнил. Путь пока будет, как запасной.

barancev
Спасибо, попробуем.

Какие-нибудь еще альтернативы Eggplant подскажете?