Сообщений в теме: 24

[Zenturio]

Привет всем.
Интересует вопрос, у кого какие достижения на работе, кто что создал нового, может использовал какой интересный подход к построению автотестов, ну или нестандартный фреймворк для обращений к контролам...

Среды любые - тескомплит, ратионал робот, квиктест, RFT...
Также интересует вопрос поддержки очень большого числа тестов и их доработки.
как минимизировать время поддержки и повысить число успешно отработавших тестов по сравнению с числом упавших

Есть здесь такие, у кого на поддержке свыше 500 автотестов для GUI или WEb приложений?

[OVA]

Есть больше 500 тестов на поддержке. В основном регрессионные тесты. Сейчас думаем насчет расширения в другие области времени и пространства, благо есть куда.

Вопроса доработки не стоит - накопившихся библиотек достаточно, чтобы доработка и написание новых тестов занимали всего ничего времени. Вопрос поддержки есть, но упирается он в основном в морально устаревшие библиотечки, которые мы по мере сил и возможностей приводим в человеческий вид. Так же накопился ряд претензий к ряду инструментов, но так как сменить мы их сейчас не можем (слишком много времени займет, что мы ближайшие месяцы позволить себе не можем) то приходится жить грязными хаками.

Ничего сверхъестественного или такого о чем не пишут в книжках пока еще не делали и не встречали.

[Pryanik]

Автоматизировал сценарные тесты. Разбивал сценарии на шаги (аналог переходы ЖЦ) 1 скрипт = 1 шаг. Последующие шаги зависели от выполнения предыдущих.
Скажем автотест1: шаг1, автотест2: шаг1 + шаг2, итд до 6-7 шагов(вложенности).
Были минусы: скажем шаг1 FAIL, то неудачными были все автотесты от него зависимые. Но это неважно т.к. выпуск релиза был при условии 100% выполненных без ошибок автотестов.
Плюсы: дублирование кода не было, иправлял только в 1 месте.

Написал свой инструмент для упрощение запуска автотестов + анализ логов, задумывалось для того, чтоб любой мог запустить и понять что работает - что нет. Практически не пригодилось т.к. запускал всегда сам.

Жаль, поддержку забросил несколько месяцев назад из-за нехватки времени.

[Zenturio]

Есть больше 500 тестов на поддержке. В основном регрессионные тесты. Сейчас думаем насчет расширения в другие области времени и пространства, благо есть куда.

Вопроса доработки не стоит - накопившихся библиотек достаточно, чтобы доработка и написание новых тестов занимали всего ничего времени. Вопрос поддержки есть, но упирается он в основном в морально устаревшие библиотечки, которые мы по мере сил и возможностей приводим в человеческий вид. Так же накопился ряд претензий к ряду инструментов, но так как сменить мы их сейчас не можем (слишком много времени займет, что мы ближайшие месяцы позволить себе не можем) то приходится жить грязными хаками.

Ничего сверхъестественного или такого о чем не пишут в книжках пока еще не делали и не встречали.

А на чем тесты если не секрет?

[OVA]

WatiN/RIATest
Рядом еще пишут GUI тесты под TC 8 и на чем-то (я правда не интересовался даже еще) под silverlight морду, но мы с ними почти что в параллельных вселенных живем, хотя временами грозят нас всех взять и заинтегрировать по самое нихачу.

[ch_ip]

Есть больше 500 тестов на поддержке. В основном регрессионные тесты.

А что считается тестом? Некий набор одинаковых операций?
Я просто не знаю, как считать тесты. У нас репортинговое приложение с разными типами отчетов, но более/менее одинаковыми операциями. Поэтому с одной стороны, сценариев у нас немного, но часто под отдельные отчеты приходится подстраивать соответствующие проверки.
Вот Sanity, который проверяет все стандартные операции на предмет их работоспособности и отсутствия exceptions на всех отчетах - это один тест или 25 (по числу отчетов) или 25*(число проверок) по числу кейсов?

[Zenturio]

Есть больше 500 тестов на поддержке. В основном регрессионные тесты.

А что считается тестом? Некий набор одинаковых операций?
Я просто не знаю, как считать тесты. У нас репортинговое приложение с разными типами отчетов, но более/менее одинаковыми операциями. Поэтому с одной стороны, сценариев у нас немного, но часто под отдельные отчеты приходится подстраивать соответствующие проверки.
Вот Sanity, который проверяет все стандартные операции на предмет их работоспособности и отсутствия exceptions на всех отчетах - это один тест или 25 (по числу отчетов) или 25*(число проверок) по числу кейсов?

Тест - это к примеру проверка одного отчета на запуск и правильность данных
Кстати вы проверяете текст отчета автоматически или вручную?

[OVA]

А что считается тестом? Некий набор одинаковых операций?
Я просто не знаю, как считать тесты. У нас репортинговое приложение с разными типами отчетов, но более/менее одинаковыми операциями. Поэтому с одной стороны, сценариев у нас немного, но часто под отдельные отчеты приходится подстраивать соответствующие проверки.
Вот Sanity, который проверяет все стандартные операции на предмет их работоспособности и отсутствия exceptions на всех отчетах - это один тест или 25 (по числу отчетов) или 25*(число проверок) по числу кейсов?

Я тоже долго думал что считается тестом, потом посмотрел в TeamCity - получилось больше чем 500 (понятно что метрика с неба как LoC) даже если убрать юнит тесты и собственно рендеринг отчетов. Потому как тоже репортинговое приложение и тоже много одинаковых операций. Правда сценариев у нас много, потому как вебморда, флеш редактор и куча контролов/сэмплов/сервисов. Ну и даже стандартных операций много - RDL дает много добра для GUI редактора все же.

[vovik-ukr]

Программа для автоматизации тестирования symbian приложений через GUI.
Программа представляет собой клиент-серверное приложение. Сервер устанавливается на машине. Клиент на девайсе. Общение осуществляется посредством bluetooth.

Ниже схематически изображен принцип работы:


Принцип работы программы основан на воспроизведении заранее заданных шагов и сравнения конечного результата с ожидаемыми. В качестве ожидаемого результата может выступать как
скриншот, так и проверяемый текст на контроле.

Особенности программы:
- Программа представляет собой полноценную IDE и не требует дополнительных приложений (.net 3.5 и дрова на bluetooth не в счет) при разработке либо верифицировании результатов прогона автоматических тестов.
- Скрипты пишутся на языке lua. Разработчик скриптов может использовать все возможности языка (функции, расширения, ...)
- Существует возможность "живой" записи действий пользователя.
- Реализована возможность распознавания текста на изображении.
- Возможность снятия скриншотов и сравнения скриншотов.
- Реализован режим дебага.
- Возможна автоматическая отправка результатов тестирования по почте или Skype.
- Реализована возможность установки sis файлов одной командой (файл автоматически заливается с компьютера на девайс и запускается процесс инсталляции).
- Клиентская часть реализует эмуляцию действий пользователя, работу с файлами (удаление, проверку на существование), запуск/выгрузку приложений, открытие документов, проверку
на существование процесса и многое другое. Собственно клиентской части доступна вся мощь Symbian API, если какой-то функциональности не хватает, то можно прикрутить.

Собственно видео:


Теоретически, после небольших доработок (изменяется только клиентская часть, а там всего-то 1000 строк кода) программа должна работать как для телефонов под управлением ОС Adroid так и для iOS, хотя думаю там своих инструментов хватает.

[silvermilver]

Программа для автоматизации тестирования symbian приложений через GUI...

Владимир, а как можно попробовать Вашу программу в действии?

[vovik-ukr]

Программа для автоматизации тестирования symbian приложений через GUI...

Владимир, а как можно попробовать Вашу программу в действии?

Хм... наверное никак. Все права на нее принадлежат компании.

[Zenturio]

Программа для автоматизации тестирования symbian приложений через GUI...

Владимир, а как можно попробовать Вашу программу в действии?

Я не думаю, что она будет работать под айфон в силу его закрытости
Вопрос в другом, как у вас разработана идентификация контролов?
По имени компонента или других свойств?

[OVA]

Под айфон с четвертой верии ои нативные редтва есть. Ну и еще тут гугль вкусного выдает + у Hathy на сайте няшки

Та тащемта и под симбиан есть. Вообще под мобилки средств расплодилось порядочно последнее время.

[Zenturio]

Под айфон с четвертой верии ои нативные редтва есть. Ну и еще тут гугль вкусного выдает + у Hathy на сайте няшки

Та тащемта и под симбиан есть. Вообще под мобилки средств расплодилось порядочно последнее время.

Вряд ли есть нативные и бесплатные
Средства модульного тестирования может и есть.
а вот тестирования GUI я знаю лишь пару дорогих
фрееварных маловато

[OVA]

Про GUI:
Гугль говорит что для iOS4 оно уже в Interface Builder есть (можно считать фриварным?). Ну плюс всякие selenium iphone webdriver, FoneMonkey, Sikuli, UISPEC и т.п. в зависимости от специфики задачи. Для симбиана и ведроида халявные тоже есть. Для последнего так вообще тысячи их.

И я таки не понимаю почему не фриваря сразу плохо? SQUISH вполне секси выглядит. И стоит не сильно дорого.

ЗЫ: И для других тестов тоже есть средства. В том числе не функциональных.

[vovik-ukr]

Программа для автоматизации тестирования symbian приложений через GUI...

Владимир, а как можно попробовать Вашу программу в действии?

Я не думаю, что она будет работать под айфон в силу его закрытости
Вопрос в другом, как у вас разработана идентификация контролов?
По имени компонента или других свойств?

К сожелению до самих контролов достучаться не удалось. Оперирую координатами экрана.

[vovik-ukr]

Под айфон с четвертой верии ои нативные редтва есть. Ну и еще тут гугль вкусного выдает + у Hathy на сайте няшки

Та тащемта и под симбиан есть. Вообще под мобилки средств расплодилось порядочно последнее время.

Под симбу ничего интерресного для себя не нашел.

[Zenturio]

Про GUI:
Гугль говорит что для iOS4 оно уже в Interface Builder есть (можно считать фриварным?). Ну плюс всякие selenium iphone webdriver, FoneMonkey, Sikuli, UISPEC и т.п. в зависимости от специфики задачи. Для симбиана и ведроида халявные тоже есть. Для последнего так вообще тысячи их.

И я таки не понимаю почему не фриваря сразу плохо? SQUISH вполне секси выглядит. И стоит не сильно дорого.

ЗЫ: И для других тестов тоже есть средства. В том числе не функциональных.

Хм... а сколько из них не требуют МАК ОС, и позволяют выполнять тесты под винду и не требуют изучения objective с?
И распознают компоненты не по координатам и рисункам, а по свойствам?
Я думаю все го лишь пара. Я знаю только одно нормальное и платное.
Все вышеперечисленное хорошо, но не для Win как платформы запуска тестов.

[OVA]

Ну увы коммунизма в тестировании еще не случилось и нет еще ни одного толкового инструмента с которым могла бы справиться даже моя бабушка. Ну и чем больше работаю, тем боле убеждаюсь что Win как платформа это скорее препятствие чем бонус (за исключением случаев когда вы по самые уши в дотнете).

Теперь по вопросам:
0. Почему плохо учить objective с?
1. Что такое платформа для запуска тестов? Вы под Win собрались приложения для iPhone пускать? Это нонсенс. Просто тесты и всякие эмуляторы стартовать? Скриптовые языки в руки и будет счастье. В конце концов есть PowerShell и просто весьма неплохая консолька у последних версий Win.
2. Много:
selenium iphone webdriver - селениум второй же. Правда только для тестирования веб-приложений на мобилках. Макоси не надо, вин вполне ок.
Sikuli - да, по рисункам. Но достаточно гибкий, чтобы для ряда простых приложений (а таких под мобилки большинство... если ваше взрывает мозг, то увы) можно было создавать неплохие и вполне легко поддерживаемые тесты. Работает под Win, если надо. Тотальная java + jython, насколько помню.
FoneMonkey - Objective-C or JavaScript-based tests. Record/playback правда и есть проблемы с гибкостью.
UISpec - BDD, да. Но таки Ruby. Ну иногда придется все же с objective с ковыряться.
Это так, Brief.

Просто мне довольно странным видится когда люди разрабатывают приложения под iPhone и прочее яблочное добро, но у них есть серьезные проблемы с работой под макосью, нет доступа до средств разработки тех же самых яблочных продуктов и стойкое отвращение к objective с. И я не очень понимаю почему производитель отказывается платить деньги за средства разработки, особенно если они хорошие и решают попутно целую кучу головняков.

[Zenturio]

Ну увы коммунизма в тестировании еще не случилось и нет еще ни одного толкового инструмента с которым могла бы справиться даже моя бабушка. Ну и чем больше работаю, тем боле убеждаюсь что Win как платформа это скорее препятствие чем бонус (за исключением случаев когда вы по самые уши в дотнете).

Теперь по вопросам:
0. Почему плохо учить objective с?
1. Что такое платформа для запуска тестов? Вы под Win собрались приложения для iPhone пускать? Это нонсенс. Просто тесты и всякие эмуляторы стартовать? Скриптовые языки в руки и будет счастье. В конце концов есть PowerShell и просто весьма неплохая консолька у последних версий Win.
2. Много:
selenium iphone webdriver - селениум второй же. Правда только для тестирования веб-приложений на мобилках. Макоси не надо, вин вполне ок.
Sikuli - да, по рисункам. Но достаточно гибкий, чтобы для ряда простых приложений (а таких под мобилки большинство... если ваше взрывает мозг, то увы) можно было создавать неплохие и вполне легко поддерживаемые тесты. Работает под Win, если надо. Тотальная java + jython, насколько помню.
FoneMonkey - Objective-C or JavaScript-based tests. Record/playback правда и есть проблемы с гибкостью.
UISpec - BDD, да. Но таки Ruby. Ну иногда придется все же с objective с ковыряться.
Это так, Brief.

Просто мне довольно странным видится когда люди разрабатывают приложения под iPhone и прочее яблочное добро, но у них есть серьезные проблемы с работой под макосью, нет доступа до средств разработки тех же самых яблочных продуктов и стойкое отвращение к objective с. И я не очень понимаю почему производитель отказывается платить деньги за средства разработки, особенно если они хорошие и решают попутно целую кучу головняков.

Айфон приложения лучше тестировать на реальных устройствах. Эмуляторы тут не нужны.
Дело в том, что не у всех есть МАК, а затраты на его приобретение значительны в случае разовой задачи.
Та же беда с изучением ObjC.
Если есть разовая задача скомпилить приложение с библиотеками для тестирования, то проще поручить эту задачу программисту.
Изучать конечно нужно, но в случае долговременных задач.
Есть такая штука m-eux
Достаточно дорогая, но самое то для данной задачи и не требует никакого мака...