В теме одно сообщение

[FestiveGrape]

Добрый день, уважаемое сообщество тестировщиков.

 

Я готовлю презентацию на тему использования статистики в тестировании, для которой я хочу собрать материал об использовании тестовых метрик в командах тестирования. Для этого я прошу Вас поделиться информацией о том:

* какую статистику о тестировании вы собираете и анализируете на постоянной основе

* какая статистика была собрана лишь однажды, но оказалась очень полезной для понимания сути происходящего

 

Например:

* график найденных багов за определенный отрезок времени (неделя, месяц, квартал, год)

* график с количеством выполненных тест-кейсов

* график с количеством запущенных тест-ранов с количеством failed/success build’ов и времени выполнения каждого тест-рана

* рейтинг самых время затратных для выполнения тест-кейсов

 

Я буду очень благодарен каждому, кто поделится примерами графиков, которые вы создаете на основании собранных метрик тестирования. Ответ не должен быть максимально развернут или как-то аргументирован. Мне важно лишь узнать какую статистику собирают и используют на практике другие команды и какие самые популярные виды графиков, построенные на основании собранных тест данных

 

Ссылка на опрос: https://goo.gl/forms/a8QGMF0tO0PGfoyW2

Или вы можете дать ответ прям в этом топике.

 

С уважением,

 

Евгений. 

[SALar]

 

Добрый день, уважаемое сообщество тестировщиков.

 

Я готовлю презентацию на тему использования статистики в тестировании, для которой я хочу собрать материал об использовании тестовых метрик в командах тестирования. Для этого я прошу Вас поделиться информацией о том:

* какую статистику о тестировании вы собираете и анализируете на постоянной основе

* какая статистика была собрана лишь однажды, но оказалась очень полезной для понимания сути происходящего

 

Например:

* график найденных багов за определенный отрезок времени (неделя, месяц, квартал, год)

* график с количеством выполненных тест-кейсов

* график с количеством запущенных тест-ранов с количеством failed/success build’ов и времени выполнения каждого тест-рана

* рейтинг самых время затратных для выполнения тест-кейсов

 

Я буду очень благодарен каждому, кто поделится примерами графиков, которые вы создаете на основании собранных метрик тестирования. Ответ не должен быть максимально развернут или как-то аргументирован. Мне важно лишь узнать какую статистику собирают и используют на практике другие команды и какие самые популярные виды графиков, построенные на основании собранных тест данных

 

Ссылка на опрос: https://goo.gl/forms/a8QGMF0tO0PGfoyW2

Или вы можете дать ответ прям в этом топике.

 

С уважением,

 

Евгений. 

 

Я надеюсь, что мне ничто не помешает попасть на SQADays в Минске. Мой доклад: https://sqadays.com/ru/talk/59478 именно о метриках в тестировании.

 

> * график с количеством выполненных тест-кейсов

> * график с количеством запущенных тест-ранов с количеством failed/success build’ов и времени выполнения каждого тест-рана

> * рейтинг самых время затратных для выполнения тест-кейсов

Это информационный шум, который будет мешать вам управлять.

 

 

Тем не менее, метрики полезны для управления. Но проблема в том, что мы не всегда измеряем то, что действительно полезно измерять. В итоге, мы часто получаем информационный шум, в котором попросту тонем. Об этом прекрасно написал Голдратт в книге «Синдром стога сена». Если вы хотите не просто что-то измерять (например, температуру на темной стороне луны), но измерять для улучшения состояния фирмы, то необходимо делать трассировку на финансовые показатели.

 

Что только не измеряют… Покрытие кода, количество прогонов автотестов (здесь мерилом работы считают усталость). Это относительно бесполезные показатели. Вместе с тем есть несколько метрик, которые действительно полезно измерять. И их немного.