кто что создал интересного
#21
Отправлено 17 мая 2011 - 16:11
На поддержке у нас около 3 сотен QTP тестов, собранных в 2-3 сотни батчей. Правда, там не только непосредственно GUI тесты, но и некоторые другие операции + библиотечные тесты.
Для поддержки - стандартно функциональная декомпозиция, up-front гибкий дизайн для долгоиграющих тестов, по максимуму автоматический обход ошибок + для нас это еще работа с пользователями, которые эти скрипты запускают (подготовка данных). Сейчас рассматриваем идеи ввести настоящий CM+CI внутри команды для предотвращения кривых изменений скриптов, плюс отслеживание статистики по failed шагам выглядит довольно перспективно.
Вообще, если рассматривать автотесты как софт, то общепринятые методики повышения качества и упрощения поддержки вполне будут работать, главное не слишком увлекаться (юнит-тесты, которые тестируют юнит-тесты, которые тестируют автотесты это уже перебор)
#22
Отправлено 18 мая 2011 - 11:29
Илья, проблема проверки тестов имеет место быть: "Who watches the watchers?"...
Вообще, если рассматривать автотесты как софт, то общепринятые методики повышения качества и упрощения поддержки вполне будут работать, главное не слишком увлекаться (юнит-тесты, которые тестируют юнит-тесты, которые тестируют автотесты это уже перебор)
У меня вот даже идея есть, как это делать. На 5-й конфе рассказывал: http://www.slideshar...CORP/ss-1367042
И даже пилотный проект на работе делал и патент хотел :)
Alexey
#23
Отправлено 19 мая 2011 - 19:02
Илья, проблема проверки тестов имеет место быть: "Who watches the watchers?"
У меня вот даже идея есть, как это делать. На 5-й конфе рассказывал: http://www.slideshar...CORP/ss-1367042
И даже пилотный проект на работе делал и патент хотел :)
Леш, я не спорю, что проблема есть. Просто на каком-то уровне проверки проверок все равно придется остановиться.
Метод интересный, и патент за него вполне можно получить, я считаю. Ну и презентация отличная - анти-паттерны названы в точку!
У нас в интеграционных тестах несколько другие проблемы, в основном встречаются ошибки "False Negative", либо тест совсем не работает. Все усугубляется тем, что не всегда есть в наличии на 100% работоспособная система, на которой можно проверить корректную работу теста. Думаю, не у нас одних такие проблемы. Как придумаем, что с этим делать - обязательно поделимся.
#24
Отправлено 20 мая 2011 - 06:37
#25
Отправлено 20 мая 2011 - 15:47
А я тоже не спорю, а хвастаюсь :) Дело в том, что предложенный подход не может уйти в такую постоянную паранойю. Т.к. есть единственный и боевой набор тестов и единственная и боевая апликуха.Леш, я не спорю, что проблема есть. Просто на каком-то уровне проверки проверок все равно придется остановиться.
Спасибо! А антипатернов у меня реально больше. К сожалению, некоторые нельзя отловить предложенным подходом, вот я о них и не упоминал.Метод интересный, и патент за него вполне можно получить, я считаю. Ну и презентация отличная - анти-паттерны названы в точку!
А патент не дали. Зато теперь могу заопенсоурсить. Вот только когда? Почему же сутки такие короткие и каждый день хочется спать...
Да, такая ситуация обычная при развитии продукта и тестов. И она обратная той, для которой мой подход был придуман. Ведь тесты "красные" при этом, а значит их "видно". Я ищу те, которые "зеленые", а должны быть "красными".У нас в интеграционных тестах несколько другие проблемы, в основном встречаются ошибки "False Negative", либо тест совсем не работает. Все усугубляется тем, что не всегда есть в наличии на 100% работоспособная система, на которой можно проверить корректную работу теста. Думаю, не у нас одних такие проблемы. Как придумаем, что с этим делать - обязательно поделимся.
Alexey
Количество пользователей, читающих эту тему: 1
0 пользователей, 1 гостей, 0 анонимных