Сообщений в теме: 9

[Case]

Есть задача - оценить эффективность вложений в средства автоматизации тестирования.

Приветсвуются ссылки, опыт и готовые алгоритмы, потому как я себе очень смутно вижу формализованный метод оценки возврата вложений в автоматизации тестирования выраженную в цифрах.

[Case]

Не совсем ТО, но прочитал с удовлльствием.
Ещё идеи есть?

[Case]

Перерыл кажется всё, что позднее 2000 года и нормально видится поисковиками.
Коллеги, неужто никто не пробовал оценить эффективность тестирования? Эффект от внедрения средств автоматизации тестирования?

[Case]

Коллеги, всё что мне удалось найти по поставленной задаче, это небольшая статья в книге Автоматизированное тестирование программного обеспечения
Оценка сэкономленных человеко-часов или Возврат вложений, которую я и выложил в раздел лаборатория.
Оценка очень неопределённая, но это всё же хоть что-то в попытках оценить результат использования средств автоматизации тестирования.

Вопрос остаётся открытым - не встречал ли кто нибудь более формального процесса оценки эффективности использования автоматизации?

[Green]

Честно говоря, никогда не приходилось производить оченку эффективности, по этому напишу только свои соображения исходя из общей логики процесса (как я его понимаю B) ).

Что бы определить эффективно ли применение автоматизации в конкретном проекте, как правило используется один и тот же подход. Если затраченное время на автоматизацию позволит сэкономить такой же объем времени в процессе тестирования, то можно применять автоматизацию. Если подходить формально, то автоматизация применяется к тому тесту, который будет исполнен не менее 10 раз.

[Green]

Если рассматривать более глобальные сущности, а именно введение автоматизации в тестировочный процесс компании, то в этом случае надо обращаться к экономическим сущностям, таким как капитальные вложения, перспективный план развития компании и т.п.

Но в наших условиях, все может быть немного проще. B)

Купили диск за 3 бакса. Посадили программиста, он разобрался как писать программы. Все! Можно считать, что автоматизация уже применяется.
:rolleyes:

[Олешка]

ИМХО, оценка эффективности автоматизации в области функционального тестирования возможна, когда есть набор ручных тестов, и известно, сколько времени надо на прогон одного теста ручками.

Допустим,
1 тест ручками выполняется 30 минут.
Запись скрипта требует столько же времени - еще плюс 30 минут.
Прогон скрипта (для отладки) - 5-10 минут.
Прогон скрипта для проверки работоспособности - около 3-5 минут, зависит от сложности теста.

На релиз с ручным тестированием имели расход времени:

Выполнение 10-ти ручных тестов = 5 часов
Запись скриптов по этим тестам = 5 часов
Отладка скриптов ~ 1.5 часа.
Прогон скриптов ~ 1 час.
Итого расход времени ~ 12.5 - 13 часов

На следующий релиз того же приложения имеем:

Выполнение 10 автоматических скриптов ~ 1 час.

Попробуем рассчитать эффективность.

Вложенные затраты - зарплата тестировщика за 13 часов работы.
Плюс амортизация стоимости тулзы.

На следующем релизе сэкономили ту же зарплату за 12 часов. А если этих релизов много - то на каждом столько и сэкономили.

[Case]

Коллеги, математика как раз понятна, она изложена и в книге.

Меня смущает несколько иной факт: про эффективность ЕРП систем к примеру, поют много, хором, дуетом, как угодно. При этом ЕРП сравненима по стоимости скажем с Мерседесом для разработчика от Rational. А вот об эффективности средств автоматизации (не самого процесса автоматизации - прошу заметить), сказано крайне мало и всё в таких же формулировках: берём, считаем, вычитаем, экономим за вычетом амортизации и ЗП.

Немного оглянувшись на картину со средствами баг трака, которые в основном используются потому что так сложилось, получается не очень лицеприятное положение дел.
Используем именно то что когда то было куплено за 3 бакса и прижилось. Новое освоить врядли замахнёмся, потмоу как не знаем "а окупиться ли оно?" если купить чесно.

Пессимистический прогноз: Rational и иже с ними таки сотворят непробиваемую защиту для новых версий своих продуктов и мы останемся с тем что имеем, иногда ещё и на коленках писаным нашими программистами в свободное от работы время.

[P@vel]

Сдесь статья была. Сам не читал, правда.

http://www.stickymin...&ObjectType=ART