100%ная автоматизациятестирования
#1
Отправлено 08 ноября 2005 - 11:04
Мы пытаемся ему объяснить, что это не целесобразно расходовать столько ресурсов, на такие задачи, но ему все не по чем, говори: "Делайте и все..."
Вот я и хочу узнать у вас, на сколько целесообразна 100%ная автоматизация тестирования?
Про Тестинг
#2
Отправлено 08 ноября 2005 - 11:17
Во-вторых, это невозможно (см. например первую главу вот этой статьи Канера -- http://www.kaner.com/pdfs/testarch.pdf )
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#5
Отправлено 08 ноября 2005 - 15:02
Во-вторых, это невозможно (см. например первую главу вот этой статьи Канера -- http://www.kaner.com/pdfs/testarch.pdf )
Кроме того, что это невозможно, подобные попытки негативно влияют на общее качество продукта. Могу обосновать, но надеюсь не понадобится :)
#6
Отправлено 09 ноября 2005 - 08:50
Наш менеджер тербует от нас атоматизировать на 100% тестирование всего приложения. Некоторые фичи в нашем приложении намного быстрее протестировать "ручками", нежели писать очень сложный тест, используя дорогостоящую тулзу (которая честно говоря, отработает несколько медленнее чем тестер протестирует руками)
Мы пытаемся ему объяснить, что это не целесобразно расходовать столько ресурсов, на такие задачи, но ему все не по чем, говори: "Делайте и все..."
1. А вы интересовались, что Ваш менеджер подразумевает под 100% автоматизацией?
2. Я сам в течении полутора лет занимался внедрением и проведением автоматизированного (только регрессионного) тестирования с нуля. И могу с полной уверенностью заявить, что это безумно дорого, безумно трудоемко и на 100% автоматизировать тестирование НЕВОЗМОЖНО.
Не хочу сейчас углубляться в количественные оценки "безумно дорого" и "безумно трудоемко", хотя попытки оценить все это в денежном и временном эквиваленте были.
Кстати, в результате этих оценок от автоматизированного тестирования на нашем проекте пришлось отказаться :)
#7
Отправлено 10 ноября 2005 - 07:30
Не стоит травить тараканов тактическими боеголовками
#8
Отправлено 10 ноября 2005 - 10:26
Автоматизацию вообще стоит затевать только в том случае, если польза от этого больше затраченных усилий.
Не стоит травить тараканов тактическими боеголовками
Согласен.
Даже все книги и публикации начинаются с разделов типа "Оценка целесообразности применения/внедрения автоматизированного тестирования".
Это первое, о чем стоит задуматься.
Пропустив этот шаг, рискуете зря постратить кучу времени, усилий и денег.
#9
Отправлено 10 ноября 2005 - 17:30
Иногда результат не столь важен, главное сам процессПропустив этот шаг, рискуете зря постратить кучу времени, усилий и денег.
#10
Отправлено 11 ноября 2005 - 07:20
Именно. Если полковник сказал красить траву зеленой краской, надо красить. Скажут красить оранжевой, придется красить оранжевой.Иногда результат не столь важен, главное сам процессПропустив этот шаг, рискуете зря постратить кучу времени, усилий и денег.
Если заказчик платит не за качественный продукт, а за "100% автоматизацию тестов", значит нужно делать. Деньги, усилия целесообразность - это чушь. Главное, поизящней выгнуть пальцы.
PS. Напрашивается аналогия с сотовыми телефонами. Я раньше наивно полагал, что мобильник нужен, чтобы звонить. Ага, щаз. Мобильник нужен: для украшения стола в переговорной, чтобы слушать мелодии, чтобы делать снимки ужасного качества. Если он при этом, его невозможно использовать по прямому назначению - это никого не волнует.
--
Сергей Мартыненко
Блог 255 ступеней (байки для оруженосца)
facebook (Дети диаграммы Ганта)
ВебПосиделки клуба имени Френсиса Бэкона
#11
Отправлено 11 ноября 2005 - 08:15
Если заказчик платит не за качественный продукт, а за "100% автоматизацию тестов", значит нужно делать. Деньги, усилия целесообразность - это чушь. Главное, поизящней выгнуть пальцы.
Понятие "целесообразность" сильно различается для разных категорий заинтересованных лиц.
То что кажется бестолоквым с точки зрения рядового сотрудника, с точки зрения топ-менеджера может иметь огромное тактическое значение
#12
Отправлено 11 ноября 2005 - 08:53
#13
Отправлено 11 ноября 2005 - 09:51
В этом случае хорошо бы, чтобы и топ-менеджер, и сотрудник, одинаково понимали, что такое автоматизация. Наличие системы баг-трекинга тоже в своём роде автоматизация, как и использование средств автоматизированного тестированияТо что кажется бестолоквым с точки зрения рядового сотрудника, с точки зрения топ-менеджера может иметь огромное тактическое значение
#14
Отправлено 11 ноября 2005 - 13:42
Надеюсь вы не будете брошены 100% на автоматизацию. Часто менеджера не видят, сколько сил и времяни требуется на тестирование системы.
По етому им нужна наглядность.
#16
Отправлено 16 ноября 2005 - 15:34
Я еще раз убедился, что не совсем сварил свой мозг.
Я как и вы понимаю, что 100% автоматизация тесирования очень дорогое и не всегда оправданное мероприятие :)
Просто наш менеджер уверен, что раз написанный тест в любом случае сэкономить время при последующем тестировании. Что потом только запустил тест и пошел спать, пришел и отрпортовал результаты.
Но как и у каждого менеджера у него единственно правильная точка зрения и другие просто не рассматриваются...
вот и приходится тратить время на написание тестов. Нежели на детальное тестирование :(
Про Тестинг
#17
Отправлено 16 ноября 2005 - 18:54
А он не думает, что автоматизированные тесты тоже надо поддерживать время от времени, что тоже требует определенных затрат? Не говоря уже о том, что для того, чтобы написанный тест сэкономил время при последующем тестировании, сначала может потребоваться затратить в десятки раз больше времени, чтобы этот автоматизированный тест довести до ума.Просто наш менеджер уверен, что раз написанный тест в любом случае сэкономить время при последующем тестировании. Что потом только запустил тест и пошел спать, пришел и отрпортовал результаты.
Ну зачем же так думать о всех менеджерах? По крайней мере на этом форуме я вижу вполне адекватных менеджеров. Идиотами не могут быть абсолютно все.Но как и у каждого менеджера у него единственно правильная точка зрения и другие просто не рассматриваются...
#18
Отправлено 17 ноября 2005 - 07:26
И что удивительно -- Ваш менеджер абсолютно прав!Просто наш менеджер уверен, что раз написанный тест в любом случае сэкономить время при последующем тестировании. Что потом только запустил тест и пошел спать, пришел и отрпортовал результаты.
Действительно, экономит время, даже несмотря на проблемы поддержки, о которых упомянул Дмитрий (выполняемые вручную тесты тоже нужно поддерживать, чтобы они были актуальны).
В чем же хитрость? В слове "потом". Да, ПОТОМ экономит. Но СЕЙЧАС требует гораздо больших усилий. А если вдруг случится такое, что ПОТОМ эти тесты по каким-то причинам не нужно будет запускать много и часто, значит ПОТОМ ничего сэкономить не удастся, однако СЕЙЧАС усилия будут потрачены.
И вообще, зачем Вам 100% автоматизация? Вы что, уже достигли 50% автоматизации? Нет? А 25%? Достигли. Вот и хорошо, теперь достигайте 30%, и выберите следующие 5% так, чтобы ПОТОМ достичь максимальной экономии, не впустую потратив усилия СЕЙЧАС.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#19
Отправлено 17 ноября 2005 - 11:35
И вообще, зачем Вам 100% автоматизация? Вы что, уже достигли 50% автоматизации? Нет? А 25%? Достигли. Вот и хорошо, теперь достигайте 30%, и выберите следующие 5% так, чтобы ПОТОМ достичь максимальной экономии, не впустую потратив усилия СЕЙЧАС.
Ну по существу у нас есть где-то процентов 30%, но надвигается очень большой апгрейд системы, начиная замены серверов и заканчиваяя переходом на новую БД. Для этого и хотят сделать 100% автоматизации, чтобы потом сразу после апгрейда в самые короткие сроки все было протестировано с минимальным даунтаймом.
Вот и думай, надо ли все автоматизировать или нет.
Про Тестинг
#20
Отправлено 08 декабря 2005 - 00:01
Я не думаю, что он настолько непрофессионален, что не понимает невозможность этого. Тем более, что Канера уж он точно читал
Скорее всего, речь идет о 100% покрытии тестами функциональности приложения - это вполне достижимая цель.
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных