Перейти к содержимому

Фотография

Устойчивость тестов

Wait Timeout

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 15

#1 vitvikt

vitvikt

    Новый участник

  • Members
  • Pip
  • 9 сообщений
  • ФИО:Шетцель Виталий

Отправлено 12 августа 2016 - 06:09

Я только начал изучать тестирование с помощью Coded UI Test и Selenium.

И у меня такой вопрос: Можно ли добиться устойчивого успешного прохождения тестов web-приложения, или это всегда процесс вероятностный?

Начал какой-нибудь антивирус тормозить приложение, и тест не дождавшись появления контрола заваливается?


  • 0

#2 user12

user12

    Специалист

  • Members
  • PipPipPipPipPip
  • 894 сообщений
  • ФИО:Виктор
  • Город:Минск


Отправлено 12 августа 2016 - 06:21

Что в твоем понимании устойчивое ?


  • 0

#3 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 12 августа 2016 - 06:33

И у меня такой вопрос: Можно ли добиться устойчивого успешного прохождения тестов web-приложения, или это всегда процесс вероятностный?

Нет.
Можно уменьшить количество "ложных срабатываний", но вообще избавиться от них невозможно.
  • 0

#4 Сергей

Сергей

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 245 сообщений
  • Город:Москва

Отправлено 12 августа 2016 - 10:57

Чтобы избежать подобных влияний, да и вообще погрешностей замеров и ложных срабатываний, прогоняйте один и тот же тест несколько раз с исходными н.у.


  • 0

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#5 user12

user12

    Специалист

  • Members
  • PipPipPipPipPip
  • 894 сообщений
  • ФИО:Виктор
  • Город:Минск


Отправлено 12 августа 2016 - 11:36

Чтобы избежать подобных влияний, да и вообще погрешностей замеров и ложных срабатываний, прогоняйте один и тот же тест несколько раз с исходными н.у.

 

ну flacky -тесты еще никто не отменял, т.е. да можно уменьшить число "ложных срабатываний", там увеличить время ожидания, улучшить локаторы. Но полностью избавиться нереально.


  • 0

#6 vitvikt

vitvikt

    Новый участник

  • Members
  • Pip
  • 9 сообщений
  • ФИО:Шетцель Виталий

Отправлено 12 августа 2016 - 12:47

 

Чтобы избежать подобных влияний, да и вообще погрешностей замеров и ложных срабатываний, прогоняйте один и тот же тест несколько раз с исходными н.у.

 

ну flacky -тесты еще никто не отменял, т.е. да можно уменьшить число "ложных срабатываний", там увеличить время ожидания, улучшить локаторы. Но полностью избавиться нереально.

 

Правильно ли я понимаю, что в таком случае технология такая. Мы сегодня запускаем несколько сотен тестов, завтра обнаруживаем, что несколько десятков не сработало, и заново запускаем этот десяток. И так пока не обнаружим, что какой-то тест устойчиво не проходит. И тогда уже начинаем детально разбираться - почему.

Так?


  • 0

#7 elvis

elvis

    Постоянный участник

  • Members
  • PipPipPip
  • 189 сообщений
  • Город:Tallinn


Отправлено 12 августа 2016 - 12:56

Вы должны предоставить достаточно информации в отчёте, чтобы можно было понять баг это или ложное срабатываение. Для этого делаются скриншоты, пишутся логи, записываются скринкасты и тд и тп. На CI, если у вас всё по умному реализовано и каждый тест метод независим от другого, можно автоматически перезапускать упавший тест для проверки на "flakyness".


  • 0

#8 BabyRoot

BabyRoot

    Специалист

  • Members
  • PipPipPipPipPip
  • 833 сообщений


Отправлено 12 августа 2016 - 12:57

Да, вполне рабочий вариант.

Он ещё хорош, когда у вас уже настроено, чтобы все упавшие тесты перезапускались сразу (с задаваемым количеством повторов) автоматом.


  • 0

#9 Сергей

Сергей

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 245 сообщений
  • Город:Москва

Отправлено 12 августа 2016 - 12:57

elvis, коллега, здесь речь идет о робастности теста, а не поиске бага)


  • 0

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#10 Сергей

Сергей

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 245 сообщений
  • Город:Москва

Отправлено 12 августа 2016 - 13:01

 

 

Чтобы избежать подобных влияний, да и вообще погрешностей замеров и ложных срабатываний, прогоняйте один и тот же тест несколько раз с исходными н.у.

 

ну flacky -тесты еще никто не отменял, т.е. да можно уменьшить число "ложных срабатываний", там увеличить время ожидания, улучшить локаторы. Но полностью избавиться нереально.

 

Правильно ли я понимаю, что в таком случае технология такая. Мы сегодня запускаем несколько сотен тестов, завтра обнаруживаем, что несколько десятков не сработало, и заново запускаем этот десяток. И так пока не обнаружим, что какой-то тест устойчиво не проходит. И тогда уже начинаем детально разбираться - почему.

Так?

 

 

обнаруживаем, что не сработало несколько десятков, а другим десяткам повезло и в следующий раз они полетят) так и будете играть в рулетку. Лучше как предложил BabyRoot. К-но, тесты у вас д.б. независимы) и с хорошей архитектурой, чего трудно добиться в условиях ограниченного времени. Даже труднее чем написание самого теста. Но реально, если выделяются под это ресурсы, не на 100% к-но. Удачи!


  • 0

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#11 elvis

elvis

    Постоянный участник

  • Members
  • PipPipPip
  • 189 сообщений
  • Город:Tallinn


Отправлено 12 августа 2016 - 13:06

elvis, коллега, здесь речь идет о робастности теста, а не поиске бага)

Я и не писал о поиске бага. Я как раз о том, что 100% робастности не будет никогда, но автоматизатор должен позаботиться о том, чтобы проблемы можно было легко анализировать, и тогда эти вещи нивелируются.


  • 0

#12 vitvikt

vitvikt

    Новый участник

  • Members
  • Pip
  • 9 сообщений
  • ФИО:Шетцель Виталий

Отправлено 13 августа 2016 - 08:22

Спасибо всем откликнувшимся.

 

Вопрос тогда сформулирую так - можно ли где-то посмотреть пример с перезапуском "сразу (с задаваемым количеством повторов) автоматом".


  • 0

#13 fiatlux

fiatlux

    Новый участник

  • Members
  • Pip
  • 47 сообщений

Отправлено 13 августа 2016 - 11:07

1) Автоматизация должна начинаться, в том числе, и с хорошего тест-дизайна
2) Должно быть качественное управление тестовыми средами
3) Следует плотно взаимодействовать с разработкой
4) Про качество архитектуры и кода автотестов также не стоит забывать

Итог - механизмы рестарта flaky тестов вовсе будут не нужны. Проверено на практике

P.S. Исключение - тесты на IE. Избегайте этот браузер )))
  • 0

#14 vitvikt

vitvikt

    Новый участник

  • Members
  • Pip
  • 9 сообщений
  • ФИО:Шетцель Виталий

Отправлено 15 августа 2016 - 06:10

1) Автоматизация должна начинаться, в том числе, и с хорошего тест-дизайна
2) Должно быть качественное управление тестовыми средами
3) Следует плотно взаимодействовать с разработкой
4) Про качество архитектуры и кода автотестов также не стоит забывать

Итог - механизмы рестарта flaky тестов вовсе будут не нужны. Проверено на практике

P.S. Исключение - тесты на IE. Избегайте этот браузер )))

А можно чуть поконкретнее?

Просмотрел документацию (правда, пока по диагонали). Ничего про организацию технологии не нашел.


  • 0

#15 vitvikt

vitvikt

    Новый участник

  • Members
  • Pip
  • 9 сообщений
  • ФИО:Шетцель Виталий

Отправлено 15 августа 2016 - 07:14

Нашел в интернете упоминание двух фреймворков для перезапуска упавших тестов. Но это java и pyton. А для c# есть что-то подобное?


  • 0

#16 vitvikt

vitvikt

    Новый участник

  • Members
  • Pip
  • 9 сообщений
  • ФИО:Шетцель Виталий

Отправлено 22 августа 2016 - 07:46

Куда-то пропал ответ, который я получил в этой теме про перезапуск в c# :secret: ?

 

Там коллега советовал перейти на NUnit для запуска. Вот беда, тесты, написанные на Coded UI Test запускаться не хотят.

А вот тут

 

https://social.msdn.microsoft.com/Forums/en-US/ef77627b-6802-44e3-928e-434f1901e152/running-coded-ui-tests-with-resharpernunit-will-not-locate-silverlight-components?forum=vsautotest

пишут

  • Running a Coded UI Test with NUnit is not supported.

Coded UI Test is a Unit Test extension and has a lot of dependency on the Visual Studio Unit Test framework.

 

Действительно ли Coded UI Test и NUnit не совместимы?


  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных