Перейти к содержимому

Программирование на Java для тестировщиков
онлайн, начало 12 мая
Тестирование производительности (HP Load Runner)
онлайн, начало 12 мая
Школа тест-менеджеров
онлайн, начало 4 мая
Тестирование юзабилити (usability)
онлайн, начало 11 мая
Фотография

Метрики автоматизации, полезные и не очень


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 7

#1 baranceva

baranceva

    Гуру

  • Admin
  • PipPipPipPipPipPip
  • 2 779 сообщений
  • ФИО:Баранцева Наталья


Отправлено 10 Январь 2017 - 08:54

Оригинал статьи: http://www.ontestaut...est-automation/

Автор: Баз Дийкстра (Bas Dijkstra)

Перевод: Ольга Алифанова

 

Неплохая идея – определить и отслеживать метрики, чтобы держать автоматизационные усилия под контролем и принять меры, если метрики скажут вам, что ваши действия не приносят нужных результатов. Еще важнее возможность купаться в славе, если они-таки их приносят! Но что такое хорошие метрики тест-автоматизации? В этой статье я рассмотрю некоторые метрики, которые считаю полезными, и некоторые, без которых мир автоматизаторов вполне может обойтись. Отмечу, что я не собираюсь перечислять ВСЕ метрики, которые используются в автоматизации, но надеюсь, что упомянутые мной укажут вам верное направление.

 

Итак, что, с моей точки зрения, может быть полезной метрикой для отслеживания эффективности и/или результатов усилий по автоматизации?

 

Читать статью полностью...


  • 0
Наталья Баранцева
Тренинги по тестированию ПО

#2 Freiman

Freiman

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 152 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 10 Январь 2017 - 09:19

Интересно, Code Coverage-то чем им помешал?


  • 0

#3 Spock

Spock

    Специалист

  • Members
  • PipPipPipPipPip
  • 529 сообщений
  • ФИО:Роман

Отправлено 10 Январь 2017 - 10:02

 

 

Интересно, Code Coverage-то чем им помешал?

автор говорит про реально плохие юнит-тесты, которые "трогают" строчки но реально плохо тестируют. В результате получается высокий Coverage но толку нет

 

надо просто делать Review этих тестов, чтобы они хорошо тестировали, и тогда метрика будет нормальная


  • 0

#4 SALar

SALar

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 857 сообщений
  • Город:Москва


Отправлено 11 Январь 2017 - 07:50

Метрик должно быть мало. 2-4. Иначе вы не сможете управлять.

 

Самая важная метрика:

1. Как изменяется тайм ту маркет? Как здесь может помочь тестирование? Ответ: поставлять программисту полный реестр багов сразу после коммита. Об этом я рассказывал на SQADays-18. http://sqadays.com/ru/talk/38135

 

2. Коэффициент безбажности.

 

3. Производительность. 2000 багов в год на тестировщика - результат, к которому нужно стремиться.


  • 0

-- 

Сергей Мартыненко

 

Меняться необязательно. Выживание – дело добровольное.

Первая теорема Деминга: «Всем наплевать на прибыль» — задумайтесь над этим!

Вторая теорема: «Больше всего вреда приносит тот, кто работает изо всех сил».


#5 baxatob

baxatob

    Активный участник

  • Members
  • PipPip
  • 103 сообщений
  • ФИО:Юрий
  • Город:Riga

Отправлено 11 Январь 2017 - 08:54

3. Производительность. 2000 багов в год на тестировщика - результат, к которому нужно стремиться.

 

Эдак мы в 1937 год вернемся... :) 

 

Если серьезно, разверните подробнее этот момент. 


  • 0

#6 SALar

SALar

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 857 сообщений
  • Город:Москва


Отправлено 11 Январь 2017 - 08:58

 

3. Производительность. 2000 багов в год на тестировщика - результат, к которому нужно стремиться.

 

Эдак мы в 1937 год вернемся... :) 

 

Если серьезно, разверните подробнее этот момент. 

 

Уже лет 8 как. В блоге ищите.


  • 0

-- 

Сергей Мартыненко

 

Меняться необязательно. Выживание – дело добровольное.

Первая теорема Деминга: «Всем наплевать на прибыль» — задумайтесь над этим!

Вторая теорема: «Больше всего вреда приносит тот, кто работает изо всех сил».


#7 SALar

SALar

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 857 сообщений
  • Город:Москва


Отправлено 11 Январь 2017 - 10:06

А еще лучше, сходите на мой тренинг. Он так и называется: "ключевые процессы, артефакты и метрики тестирования". Там все очень развернуто.

 

PS. В Ригу я с удовольствием приеду. Мой дед говорил, что очень красивый город.


  • 0

-- 

Сергей Мартыненко

 

Меняться необязательно. Выживание – дело добровольное.

Первая теорема Деминга: «Всем наплевать на прибыль» — задумайтесь над этим!

Вторая теорема: «Больше всего вреда приносит тот, кто работает изо всех сил».


#8 baxatob

baxatob

    Активный участник

  • Members
  • PipPip
  • 103 сообщений
  • ФИО:Юрий
  • Город:Riga

Отправлено 11 Январь 2017 - 14:55

Благодарю за приглашение. Я в общем-то хотел узнать только, как родилась цифра 2000 багов в год, к которой нужно стремиться. Это в рассчете на продукт, на автоматизатора, на отдел автоматизации? Если уже где-то писали об этом, то буду признателен за ссылку.


  • 0


Программирование на С# для тестировщиков
онлайн, начало 12 мая
Эффективное использование TestNG и JUnit
онлайн, начало 9 июня
Вакансии компании Aplana
Москва
Программирование на Java для тестировщиков
онлайн, начало 12 мая



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале