Перейти к содержимому

Selenium WebDriver: полное руководство
онлайн, начало 19 октября
Логи как инструмент тестировщика
онлайн, начало 22 октября
Первый Онлайн ИНститут Тестировщиков
онлайн, начало 15 октября
Тестирование REST API
онлайн, начало 22 октября
Фотография

Как ускорить тесты?

приоритет важные тесты ускорение

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 5

#1 Vasiliy

Vasiliy

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 2 350 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 14 Июнь 2018 - 20:40

Коллеги, предлагаю продолжить обсуждение здесь. Вот начало беседы - http://software-test...oberem-vse-voz/
 
Краткое содержание:
1. Вопрос о том, как ускорить выполнение автотестов.
2. Ответ о приоритезации и выкидывании ненужных тестов.
3. Спор о 100% покрытии и выполнении всей тестовой модели каждый релиз.
Беседа разрослась и уже выходит за рамки обсуждения автоматизации.

Мои 5 копеек:)
 
Пытаться составить 100% покрытия функционала - зло, причем абсолютное. Специально полез в Канера, чтобы вспомнить описание, которое читал очень давно) Цитирую:

В 1979 году Майерс описал еще более простую программу. В ней был цикл и несколько операторов IF. В большинстве языков
программирования для ее реализации понадобилось бы не больше 20 строк кода. Путей выполнения у этой программы 100
триллионов. Самому быстрому тестировщику понадобится для их проверки миллион лет.


Расскажу о ситуации последних трех-четрых месяцев у меня на работе. Представитель бизнеса (а это бывший разработчик) бьется с отделом тестирования об объемах тестирования. Политика отдела такова: есть описанное требование в документах от аналитиков - его надо покрыть тестом и проверить. Политика бизнеса следующая: проверяйте только результат, а не метод его достижения.

Пример: в требованиях указано "взять из справочника значение и вычислить результат с его участием по заданной функции".

Тестирование будет проверять две операции - взятие из справочника и вычисление функции.

Бизнес просит смотреть только на результат функции, потому что, если из справочника прилетело неверное значение, то и функция будет давать некорректный результат. А если все верно, то и подготовка данных тоже прошла успешно.


  • 0

#2 Freiman

Freiman

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 349 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 15 Июнь 2018 - 07:07

Ок, продолжу.
Если надо, чтобы тесты выполнялись быстро и часто - то UI-тесты вообще не в тему. Они и не быстрые, и не стабильные. Модульные тесты, тесты для API - это да, можно активно использовать и гонять после каждого коммита. А UI пусть гоняются, например, по ночам, с утренним разбором упавших тестов :)
  • 1

#3 Freiman

Freiman

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 349 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 15 Июнь 2018 - 07:08

Насчет метод/результат. Дискуссионный, так скажем, вопрос :) С точки зрения бизнеса - лучше результат, с точки зрения разработчика - наверно, лучше таки разбить данный сценарий на 2.
  • 0

#4 SALar

SALar

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 2 177 сообщений
  • Город:Москва


Отправлено 15 Июнь 2018 - 07:41

Коллеги. Ну причем тут ...? Величайший специалист по качеству Э.Деминг давным давно все описал. Книга "выход из кризиса", глава 15 и еще ЕМНИП 1-я (если что, у меня раритетное издание от 1994. В новом варианте нумерация может отличаться). Читаем, осмысливаем. Затем можно и обсуждать.

 

Расскажу о ситуации последних трех-четрых месяцев у меня на работе. Представитель бизнеса (а это бывший разработчик) бьется с отделом тестирования об объемах тестирования. Политика отдела такова: есть описанное требование в документах от аналитиков - его надо покрыть тестом и проверить. Политика бизнеса следующая: проверяйте только результат, а не метод его достижения.

 

Бизнес прав. А тестировщикам срочно читать "Эффективность по Парето". И еще "Цель-3" и еще "Искусство мыть слона".


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней

 


#5 baxatob

baxatob

    Опытный участник

  • Members
  • PipPipPipPip
  • 258 сообщений
  • ФИО:Юрий
  • Город:Riga

Отправлено 15 Июнь 2018 - 07:50

Со стороны кажется, что обсуждение идет по вопросу "Нужно ли 100%-е покрытие функционала тестами" и не отвечает на поставленный вопрос "Как, собственно, ускорить тесты?". Первый вопрос - философский и мировозренческий. Второй - чисто технический :)


  • 1

#6 SALar

SALar

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 2 177 сообщений
  • Город:Москва


Отправлено 15 Июнь 2018 - 08:19

Насчет метод/результат. Дискуссионный, так скажем, вопрос :) С точки зрения бизнеса - лучше результат, с точки зрения разработчика - наверно, лучше таки разбить данный сценарий на 2.

Не должно так быть. Однажды лебедь, рак и щука...

 

Частично освещено здесь: http://blog.shumoos.com/archives/379 Продолжение будет.


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней

 



Практикум по тест-дизайну 2.0
онлайн, начало 12 октября
Школа для начинающих тестировщиков
онлайн, начало 8 октября
Школа тест-аналитика
онлайн, начало 10 октября
Тестирование веб-приложений 2.0
онлайн, начало 12 октября



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале