Сообщений в теме: 9

[Cheshire]

Добрый день, уважаемая братия специалистов по тестированию!

Мне хотелось бы поднять следующий вопрос:
А собирает ли кто-нибудь из Вас какие-нибудь метрики в процессе тестирования ПО?
А если собирает, то какие и с какой целью? Используете ли Вы каким-либо образом полученную информацию для мониторинга процесса, анализа и оценки результатов, планирования и т.д.

Заранее, благодарю.

Cheshire.

[Alex4all]

Мы собираем. Цель у каждой метрики своя. Например

Для тестируемого модуля:
* Requirements-base coverage– % успешно требований без дефектов для оценки качества модуля, % выполненных тестов для отслеживания хода тестирования, ....
* Defect Reports (Defect Status versus Priority, Defect History Reports, Defect Trend) – для оценки стабилизации количества дефектов, оценки качества модуля, ...
* Correspondence to Release Criterion (Y/N)

Для процесса тестирования:
* Requirements-base Coverage (на разных стадиях работы над тестовой документацией для отслеживания процесса разработки тестов, хода тестирования, качества тестов, ...)
* Consistency with Testing Approach (Y/N) – один из критериев завершения работы над каким-либо тестовым документом, например, сценарием; участвует в оценке качества тестовой документации
* Time frames of each test activity – время, необходимое на разработку / проведение теста (необходимое / затраченное)
* Consistency with QA standards (Y/N) – один из критериев завершения работы над каким-либо тестовым документом, например, сценарием; участвует в оценке качества тестовой документации

Могу описать более подробно критерии оценки каждой метрики, если кому-то это интересно ;)

[van]

Очень интересно.
И если не секрет, откуда "родились" именно такие метрики?
Киньте пожалуйста ссылочки на какую - либо инфу или названия литературы.

[Alex4all]

Очень интересно.
И если не секрет, откуда "родились" именно такие метрики?
Киньте пожалуйста ссылочки на какую - либо инфу или названия литературы.

Прародители были следующие.

Из RUP (раздел Test Concepts: Key Measures of Test) мы взяли Requirements-base coverage и Defect Reports (Defect Status versus Priority, Defect History Reports, Defect Trend). Неплохая статья об анализе дефектов (и метриках) - Bala Subramaniam “Effective Software Defect Tracking” (Есть в электронном виде, могу выслать заинтересованным).

Все остальные метрики – продукт нашего творчества на ниве написания собственных QA процедур. Возможно, первоисточник и был, но сейчас уже вспомнить трудно.

Об критериях оценки Coverage и Defect Reports можно найти в первоисточниках. Об остальных критериях вкратце далее.

Consistency with Testing Approach, Consistency with QA standards – критерий завершения работ над любым тестовым документом, а в паре с coverage - для оценки качества документа.
Time frames of each test activity – если какая-либо временные рамки какой-либо активности существенно отличаются от запланированных, то это повод к пересмотру плана, выявлению причин отклонений, и т.п.
Release Criterion – признак готовности проекта для передачи клиенту. Изначально формулируется исходя из бюджета проекта, сроков, ресурсов и т.п. Качество проекта должно приближаться к Release Criterion по мере работы над проектом

[van]

Alex, пришлите мне пожалуйста статью Bala Subramaniam “Effective Software Defect Tracking” на avaulin@kopyc.ru

Заранее благодарен.

Спасибо большое за Ваше объяснение метрик.

[natalka]

Alex, если можно то и я бы хотела прочитать данную статью. Вышлите пожалуйста на мейл - natalija.pantelejeva@inbox.lv

[van]

Прочитал статью и раздел RUP Test Concepts: Key Measures of Test. Статья потчти полностью дублирует RUP.

[Alex4all]

Вообщем и подразумевалась она не в дополнение к материалам из RUP, а вместо . Сорри, из моего поста, действительно, это не очнь понятно :(

[van]

Ничего страшного :))
Все равно огромное спасибо за указание на RUP. Я (С Вашей подачи :) ) наконец - то себе поставил этот тул.

[Cheshire]

Alex,
спасибо за информацию. Статью не прошу, она у меня есть.
Но, дабы не остаться в долгу, предлагаю еще одну :) Думаю, она будет Вам (да и не только Вам) интересна.

http://www.kaner.com...ement_segue.pdf