Перейти к содержимому

Программирование на Python для тестировщиков
онлайн, начало 28 июля
Тестирование производительности (JMeter)
онлайн, начало 28 июля
Тестирование защищенности веб-приложений
онлайн, начало 28 июля
Школа тест-менеджеров v. 2.0
онлайн, начало 2 августа
Фотография

Метрики автоматизации, полезные и не очень


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 7

#1 baranceva

baranceva

    Гуру

  • Admin
  • PipPipPipPipPipPip
  • 2 792 сообщений
  • ФИО:Баранцева Наталья


Отправлено 10 Январь 2017 - 08:54

Оригинал статьи: http://www.ontestaut...est-automation/

Автор: Баз Дийкстра (Bas Dijkstra)

Перевод: Ольга Алифанова

 

Неплохая идея – определить и отслеживать метрики, чтобы держать автоматизационные усилия под контролем и принять меры, если метрики скажут вам, что ваши действия не приносят нужных результатов. Еще важнее возможность купаться в славе, если они-таки их приносят! Но что такое хорошие метрики тест-автоматизации? В этой статье я рассмотрю некоторые метрики, которые считаю полезными, и некоторые, без которых мир автоматизаторов вполне может обойтись. Отмечу, что я не собираюсь перечислять ВСЕ метрики, которые используются в автоматизации, но надеюсь, что упомянутые мной укажут вам верное направление.

 

Итак, что, с моей точки зрения, может быть полезной метрикой для отслеживания эффективности и/или результатов усилий по автоматизации?

 

Читать статью полностью...


  • 0
Наталья Баранцева
Тренинги по тестированию ПО

#2 Freiman

Freiman

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 179 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 10 Январь 2017 - 09:19

Интересно, Code Coverage-то чем им помешал?


  • 0

#3 Spock

Spock

    Специалист

  • Members
  • PipPipPipPipPip
  • 606 сообщений
  • ФИО:Роман

Отправлено 10 Январь 2017 - 10:02

 

 

Интересно, Code Coverage-то чем им помешал?

автор говорит про реально плохие юнит-тесты, которые "трогают" строчки но реально плохо тестируют. В результате получается высокий Coverage но толку нет

 

надо просто делать Review этих тестов, чтобы они хорошо тестировали, и тогда метрика будет нормальная


  • 0

#4 SALar

SALar

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 893 сообщений
  • Город:Москва


Отправлено 11 Январь 2017 - 07:50

Метрик должно быть мало. 2-4. Иначе вы не сможете управлять.

 

Самая важная метрика:

1. Как изменяется тайм ту маркет? Как здесь может помочь тестирование? Ответ: поставлять программисту полный реестр багов сразу после коммита. Об этом я рассказывал на SQADays-18. http://sqadays.com/ru/talk/38135

 

2. Коэффициент безбажности.

 

3. Производительность. 2000 багов в год на тестировщика - результат, к которому нужно стремиться.


  • 0

-- 

Сергей Мартыненко

 


#5 baxatob

baxatob

    Активный участник

  • Members
  • PipPip
  • 144 сообщений
  • ФИО:Юрий
  • Город:Riga

Отправлено 11 Январь 2017 - 08:54

3. Производительность. 2000 багов в год на тестировщика - результат, к которому нужно стремиться.

 

Эдак мы в 1937 год вернемся... :) 

 

Если серьезно, разверните подробнее этот момент. 


  • 0

#6 SALar

SALar

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 893 сообщений
  • Город:Москва


Отправлено 11 Январь 2017 - 08:58

 

3. Производительность. 2000 багов в год на тестировщика - результат, к которому нужно стремиться.

 

Эдак мы в 1937 год вернемся... :) 

 

Если серьезно, разверните подробнее этот момент. 

 

Уже лет 8 как. В блоге ищите.


  • 0

-- 

Сергей Мартыненко

 


#7 SALar

SALar

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 893 сообщений
  • Город:Москва


Отправлено 11 Январь 2017 - 10:06

А еще лучше, сходите на мой тренинг. Он так и называется: "ключевые процессы, артефакты и метрики тестирования". Там все очень развернуто.

 

PS. В Ригу я с удовольствием приеду. Мой дед говорил, что очень красивый город.


  • 0

-- 

Сергей Мартыненко

 


#8 baxatob

baxatob

    Активный участник

  • Members
  • PipPip
  • 144 сообщений
  • ФИО:Юрий
  • Город:Riga

Отправлено 11 Январь 2017 - 14:55

Благодарю за приглашение. Я в общем-то хотел узнать только, как родилась цифра 2000 багов в год, к которой нужно стремиться. Это в рассчете на продукт, на автоматизатора, на отдел автоматизации? Если уже где-то писали об этом, то буду признателен за ссылку.


  • 0


Программирование на С# для тестировщиков
онлайн, начало 1 сентября
Эффективное использование TestNG и JUnit
онлайн, начало 1 сентября
Selenium WebDriver: полное руководство
онлайн, начало 11 августа
Программирование на Java для тестировщиков
онлайн, начало 11 августа



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале