Оценка эффективности вложений
Автор Case, 11 ноя 2003 13:39
Сообщений в теме: 9
#1
Отправлено 11 ноября 2003 - 13:39
Есть задача - оценить эффективность вложений в средства автоматизации тестирования.
Приветсвуются ссылки, опыт и готовые алгоритмы, потому как я себе очень смутно вижу формализованный метод оценки возврата вложений в автоматизации тестирования выраженную в цифрах.
Приветсвуются ссылки, опыт и готовые алгоритмы, потому как я себе очень смутно вижу формализованный метод оценки возврата вложений в автоматизации тестирования выраженную в цифрах.
Слава Панкратов
Редактор портала www.it4business.ru
Редактор портала www.it4business.ru
#2 Гость_Guest_*
Отправлено 11 ноября 2003 - 13:56
Есть на cfin.ru интересная статья "Записки доброго автоматизатора или Руководителю, обдумывающему компьютеризацию своего бизнеса" ( http://www.cfin.ru/itm/auto_good.shtml ).
Из названия ясно, что это не совсем то, что требуется, но кое-какой опыт автора вполне может быть небесполезен
Из названия ясно, что это не совсем то, что требуется, но кое-какой опыт автора вполне может быть небесполезен
#3
Отправлено 11 ноября 2003 - 14:56
Не совсем ТО, но прочитал с удовлльствием.
Ещё идеи есть?
Ещё идеи есть?
Слава Панкратов
Редактор портала www.it4business.ru
Редактор портала www.it4business.ru
#4
Отправлено 13 ноября 2003 - 12:31
Перерыл кажется всё, что позднее 2000 года и нормально видится поисковиками.
Коллеги, неужто никто не пробовал оценить эффективность тестирования? Эффект от внедрения средств автоматизации тестирования?
Коллеги, неужто никто не пробовал оценить эффективность тестирования? Эффект от внедрения средств автоматизации тестирования?
Слава Панкратов
Редактор портала www.it4business.ru
Редактор портала www.it4business.ru
#5
Отправлено 14 ноября 2003 - 08:00
Коллеги, всё что мне удалось найти по поставленной задаче, это небольшая статья в книге Автоматизированное тестирование программного обеспечения
Оценка сэкономленных человеко-часов или Возврат вложений, которую я и выложил в раздел лаборатория.
Оценка очень неопределённая, но это всё же хоть что-то в попытках оценить результат использования средств автоматизации тестирования.
Вопрос остаётся открытым - не встречал ли кто нибудь более формального процесса оценки эффективности использования автоматизации?
Оценка сэкономленных человеко-часов или Возврат вложений, которую я и выложил в раздел лаборатория.
Оценка очень неопределённая, но это всё же хоть что-то в попытках оценить результат использования средств автоматизации тестирования.
Вопрос остаётся открытым - не встречал ли кто нибудь более формального процесса оценки эффективности использования автоматизации?
Слава Панкратов
Редактор портала www.it4business.ru
Редактор портала www.it4business.ru
#6
Отправлено 14 ноября 2003 - 11:47
Честно говоря, никогда не приходилось производить оченку эффективности, по этому напишу только свои соображения исходя из общей логики процесса (как я его понимаю B) ).
Что бы определить эффективно ли применение автоматизации в конкретном проекте, как правило используется один и тот же подход. Если затраченное время на автоматизацию позволит сэкономить такой же объем времени в процессе тестирования, то можно применять автоматизацию. Если подходить формально, то автоматизация применяется к тому тесту, который будет исполнен не менее 10 раз.
Что бы определить эффективно ли применение автоматизации в конкретном проекте, как правило используется один и тот же подход. Если затраченное время на автоматизацию позволит сэкономить такой же объем времени в процессе тестирования, то можно применять автоматизацию. Если подходить формально, то автоматизация применяется к тому тесту, который будет исполнен не менее 10 раз.
Гринкевич Сергей
#7
Отправлено 14 ноября 2003 - 12:03
Если рассматривать более глобальные сущности, а именно введение автоматизации в тестировочный процесс компании, то в этом случае надо обращаться к экономическим сущностям, таким как капитальные вложения, перспективный план развития компании и т.п.
Но в наших условиях, все может быть немного проще. B)
Купили диск за 3 бакса. Посадили программиста, он разобрался как писать программы. Все! Можно считать, что автоматизация уже применяется.
:rolleyes:
Но в наших условиях, все может быть немного проще. B)
Купили диск за 3 бакса. Посадили программиста, он разобрался как писать программы. Все! Можно считать, что автоматизация уже применяется.
:rolleyes:
Гринкевич Сергей
#8
Отправлено 14 ноября 2003 - 12:19
ИМХО, оценка эффективности автоматизации в области функционального тестирования возможна, когда есть набор ручных тестов, и известно, сколько времени надо на прогон одного теста ручками.
Допустим,
1 тест ручками выполняется 30 минут.
Запись скрипта требует столько же времени - еще плюс 30 минут.
Прогон скрипта (для отладки) - 5-10 минут.
Прогон скрипта для проверки работоспособности - около 3-5 минут, зависит от сложности теста.
На релиз с ручным тестированием имели расход времени:
Выполнение 10-ти ручных тестов = 5 часов
Запись скриптов по этим тестам = 5 часов
Отладка скриптов ~ 1.5 часа.
Прогон скриптов ~ 1 час.
Итого расход времени ~ 12.5 - 13 часов
На следующий релиз того же приложения имеем:
Выполнение 10 автоматических скриптов ~ 1 час.
Попробуем рассчитать эффективность.
Вложенные затраты - зарплата тестировщика за 13 часов работы.
Плюс амортизация стоимости тулзы.
На следующем релизе сэкономили ту же зарплату за 12 часов. А если этих релизов много - то на каждом столько и сэкономили.
Допустим,
1 тест ручками выполняется 30 минут.
Запись скрипта требует столько же времени - еще плюс 30 минут.
Прогон скрипта (для отладки) - 5-10 минут.
Прогон скрипта для проверки работоспособности - около 3-5 минут, зависит от сложности теста.
На релиз с ручным тестированием имели расход времени:
Выполнение 10-ти ручных тестов = 5 часов
Запись скриптов по этим тестам = 5 часов
Отладка скриптов ~ 1.5 часа.
Прогон скриптов ~ 1 час.
Итого расход времени ~ 12.5 - 13 часов
На следующий релиз того же приложения имеем:
Выполнение 10 автоматических скриптов ~ 1 час.
Попробуем рассчитать эффективность.
Вложенные затраты - зарплата тестировщика за 13 часов работы.
Плюс амортизация стоимости тулзы.
На следующем релизе сэкономили ту же зарплату за 12 часов. А если этих релизов много - то на каждом столько и сэкономили.
#9
Отправлено 14 ноября 2003 - 12:30
Коллеги, математика как раз понятна, она изложена и в книге.
Меня смущает несколько иной факт: про эффективность ЕРП систем к примеру, поют много, хором, дуетом, как угодно. При этом ЕРП сравненима по стоимости скажем с Мерседесом для разработчика от Rational. А вот об эффективности средств автоматизации (не самого процесса автоматизации - прошу заметить), сказано крайне мало и всё в таких же формулировках: берём, считаем, вычитаем, экономим за вычетом амортизации и ЗП.
Немного оглянувшись на картину со средствами баг трака, которые в основном используются потому что так сложилось, получается не очень лицеприятное положение дел.
Используем именно то что когда то было куплено за 3 бакса и прижилось. Новое освоить врядли замахнёмся, потмоу как не знаем "а окупиться ли оно?" если купить чесно.
Пессимистический прогноз: Rational и иже с ними таки сотворят непробиваемую защиту для новых версий своих продуктов и мы останемся с тем что имеем, иногда ещё и на коленках писаным нашими программистами в свободное от работы время.
Меня смущает несколько иной факт: про эффективность ЕРП систем к примеру, поют много, хором, дуетом, как угодно. При этом ЕРП сравненима по стоимости скажем с Мерседесом для разработчика от Rational. А вот об эффективности средств автоматизации (не самого процесса автоматизации - прошу заметить), сказано крайне мало и всё в таких же формулировках: берём, считаем, вычитаем, экономим за вычетом амортизации и ЗП.
Немного оглянувшись на картину со средствами баг трака, которые в основном используются потому что так сложилось, получается не очень лицеприятное положение дел.
Используем именно то что когда то было куплено за 3 бакса и прижилось. Новое освоить врядли замахнёмся, потмоу как не знаем "а окупиться ли оно?" если купить чесно.
Пессимистический прогноз: Rational и иже с ними таки сотворят непробиваемую защиту для новых версий своих продуктов и мы останемся с тем что имеем, иногда ещё и на коленках писаным нашими программистами в свободное от работы время.
Слава Панкратов
Редактор портала www.it4business.ru
Редактор портала www.it4business.ru
#10
Отправлено 14 января 2004 - 16:42
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных