Перейти к содержимому

Фотография

кто что создал интересного


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 24

#21 iFomin

iFomin

    Новый участник

  • Members
  • Pip
  • 51 сообщений
  • ФИО:4min Il
  • Город:мск


Отправлено 17 мая 2011 - 16:11

Мы во времена QTP 8.2 расстроились функциональностью QC и отсутствием batch-runner'a и решили написать свою кластерную систему для запуска тестов. Получилось вроде ничего, хотя по прошествии трех лет уже хочется все переписать с нуля, т.к. появилось много новых идей. Презенташку, вкратце описывающую систему, можно посмотреть здесь.

На поддержке у нас около 3 сотен QTP тестов, собранных в 2-3 сотни батчей. Правда, там не только непосредственно GUI тесты, но и некоторые другие операции + библиотечные тесты.

Для поддержки - стандартно функциональная декомпозиция, up-front гибкий дизайн для долгоиграющих тестов, по максимуму автоматический обход ошибок + для нас это еще работа с пользователями, которые эти скрипты запускают (подготовка данных). Сейчас рассматриваем идеи ввести настоящий CM+CI внутри команды для предотвращения кривых изменений скриптов, плюс отслеживание статистики по failed шагам выглядит довольно перспективно.
Вообще, если рассматривать автотесты как софт, то общепринятые методики повышения качества и упрощения поддержки вполне будут работать, главное не слишком увлекаться (юнит-тесты, которые тестируют юнит-тесты, которые тестируют автотесты это уже перебор)
  • 0

#22 LeshaL

LeshaL

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 094 сообщений
  • ФИО:Алексей Лянгузов
  • Город:Saint-Petersburg


Отправлено 18 мая 2011 - 11:29

...
Вообще, если рассматривать автотесты как софт, то общепринятые методики повышения качества и упрощения поддержки вполне будут работать, главное не слишком увлекаться (юнит-тесты, которые тестируют юнит-тесты, которые тестируют автотесты это уже перебор)

Илья, проблема проверки тестов имеет место быть: "Who watches the watchers?"
У меня вот даже идея есть, как это делать. На 5-й конфе рассказывал: http://www.slideshar...CORP/ss-1367042
И даже пилотный проект на работе делал и патент хотел :)
  • 0
Regards,
Alexey

#23 iFomin

iFomin

    Новый участник

  • Members
  • Pip
  • 51 сообщений
  • ФИО:4min Il
  • Город:мск


Отправлено 19 мая 2011 - 19:02

Илья, проблема проверки тестов имеет место быть: "Who watches the watchers?"
У меня вот даже идея есть, как это делать. На 5-й конфе рассказывал: http://www.slideshar...CORP/ss-1367042
И даже пилотный проект на работе делал и патент хотел :)


Леш, я не спорю, что проблема есть. Просто на каком-то уровне проверки проверок все равно придется остановиться.

Метод интересный, и патент за него вполне можно получить, я считаю. Ну и презентация отличная - анти-паттерны названы в точку!

У нас в интеграционных тестах несколько другие проблемы, в основном встречаются ошибки "False Negative", либо тест совсем не работает. Все усугубляется тем, что не всегда есть в наличии на 100% работоспособная система, на которой можно проверить корректную работу теста. Думаю, не у нас одних такие проблемы. Как придумаем, что с этим делать - обязательно поделимся.
  • 0

#24 OVA

OVA

    Опытный участник

  • Members
  • PipPipPipPip
  • 405 сообщений
  • ФИО:Высоцкий Сергей Павлович
  • Город:Новосибирск

Отправлено 20 мая 2011 - 06:37

Мы пока тупо собираем статистику по тестам (время работы, падения, маркируем ручками ложные падения и ложные проходы когда найдем и т.п.) и всякие подозрительно ведущие себя тесты маркируем. Обычно такие тесты довольно шустро уходят в отдельную резервацию где и предаются анафеме.
  • 0

#25 LeshaL

LeshaL

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 094 сообщений
  • ФИО:Алексей Лянгузов
  • Город:Saint-Petersburg


Отправлено 20 мая 2011 - 15:47

Леш, я не спорю, что проблема есть. Просто на каком-то уровне проверки проверок все равно придется остановиться.

А я тоже не спорю, а хвастаюсь :) Дело в том, что предложенный подход не может уйти в такую постоянную паранойю. Т.к. есть единственный и боевой набор тестов и единственная и боевая апликуха.

Метод интересный, и патент за него вполне можно получить, я считаю. Ну и презентация отличная - анти-паттерны названы в точку!

Спасибо! А антипатернов у меня реально больше. К сожалению, некоторые нельзя отловить предложенным подходом, вот я о них и не упоминал.

А патент не дали. Зато теперь могу заопенсоурсить. Вот только когда? Почему же сутки такие короткие и каждый день хочется спать...

У нас в интеграционных тестах несколько другие проблемы, в основном встречаются ошибки "False Negative", либо тест совсем не работает. Все усугубляется тем, что не всегда есть в наличии на 100% работоспособная система, на которой можно проверить корректную работу теста. Думаю, не у нас одних такие проблемы. Как придумаем, что с этим делать - обязательно поделимся.

Да, такая ситуация обычная при развитии продукта и тестов. И она обратная той, для которой мой подход был придуман. Ведь тесты "красные" при этом, а значит их "видно". Я ищу те, которые "зеленые", а должны быть "красными".
  • 0
Regards,
Alexey


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных