Сообщений в теме: 22

[Boltick]

Наш менеджер тербует от нас атоматизировать на 100% тестирование всего приложения. Некоторые фичи в нашем приложении намного быстрее протестировать "ручками", нежели писать очень сложный тест, используя дорогостоящую тулзу (которая честно говоря, отработает несколько медленнее чем тестер протестирует руками)

Мы пытаемся ему объяснить, что это не целесобразно расходовать столько ресурсов, на такие задачи, но ему все не по чем, говори: "Делайте и все..."

Вот я и хочу узнать у вас, на сколько целесообразна 100%ная автоматизация тестирования?

[barancev]

Во-первых, это дорого (см. любую книгу, например Дастин-Рашка-Пол -- http://software-test...are_testing.htm ).

Во-вторых, это невозможно (см. например первую главу вот этой статьи Канера -- http://www.kaner.com/pdfs/testarch.pdf )

[Clauster]

в-третьих, здесь уже была такая дискуссия, поищите на форуме

[serega]

Знакомая тема
http://forums.softwa...wtopic=3257&hl=

[xska]

Во-вторых, это невозможно (см. например первую главу вот этой статьи Канера -- http://www.kaner.com/pdfs/testarch.pdf )

Кроме того, что это невозможно, подобные попытки негативно влияют на общее качество продукта. Могу обосновать, но надеюсь не понадобится :)

[van]

Наш менеджер тербует от нас атоматизировать на 100% тестирование всего приложения. Некоторые фичи в нашем приложении намного быстрее протестировать "ручками", нежели писать очень сложный тест, используя дорогостоящую тулзу (которая честно говоря, отработает несколько медленнее чем тестер протестирует руками)

Мы пытаемся ему объяснить, что это не целесобразно расходовать столько ресурсов, на такие задачи, но ему все не по чем, говори: "Делайте и все..."

1. А вы интересовались, что Ваш менеджер подразумевает под 100% автоматизацией?

2. Я сам в течении полутора лет занимался внедрением и проведением автоматизированного (только регрессионного) тестирования с нуля. И могу с полной уверенностью заявить, что это безумно дорого, безумно трудоемко и на 100% автоматизировать тестирование НЕВОЗМОЖНО.
Не хочу сейчас углубляться в количественные оценки "безумно дорого" и "безумно трудоемко", хотя попытки оценить все это в денежном и временном эквиваленте были.
Кстати, в результате этих оценок от автоматизированного тестирования на нашем проекте пришлось отказаться :)

[xska]

Автоматизацию вообще стоит затевать только в том случае, если польза от этого больше затраченных усилий.

Не стоит травить тараканов тактическими боеголовками

[van]

Автоматизацию вообще стоит затевать только в том случае, если польза от этого больше затраченных усилий.

Не стоит травить тараканов тактическими боеголовками 

Согласен.
Даже все книги и публикации начинаются с разделов типа "Оценка целесообразности применения/внедрения автоматизированного тестирования".
Это первое, о чем стоит задуматься.
Пропустив этот шаг, рискуете зря постратить кучу времени, усилий и денег.

[Dmitry_NJ]

Пропустив этот шаг, рискуете зря постратить кучу времени, усилий и денег.

Иногда результат не столь важен, главное сам процесс

[SALar]

Пропустив этот шаг, рискуете зря постратить кучу времени, усилий и денег.

Иногда результат не столь важен, главное сам процесс

Именно. Если полковник сказал красить траву зеленой краской, надо красить. Скажут красить оранжевой, придется красить оранжевой.

Если заказчик платит не за качественный продукт, а за "100% автоматизацию тестов", значит нужно делать. Деньги, усилия целесообразность - это чушь. Главное, поизящней выгнуть пальцы.

PS. Напрашивается аналогия с сотовыми телефонами. Я раньше наивно полагал, что мобильник нужен, чтобы звонить. Ага, щаз. Мобильник нужен: для украшения стола в переговорной, чтобы слушать мелодии, чтобы делать снимки ужасного качества. Если он при этом, его невозможно использовать по прямому назначению - это никого не волнует.

[serega]

Если заказчик платит не за качественный продукт, а за "100% автоматизацию тестов", значит нужно делать. Деньги, усилия целесообразность - это чушь. Главное, поизящней выгнуть пальцы.

Понятие "целесообразность" сильно различается для разных категорий заинтересованных лиц.
То что кажется бестолоквым с точки зрения рядового сотрудника, с точки зрения топ-менеджера может иметь огромное тактическое значение

[zemljak]

Кстати да, все таки звучание этих магических слов "У нас на 100% все автоматизировано" производит на некоторых прямо таки огромное впечатление. Возможно Ваш мереджер это и хочет говорить в будующем

[Clauster]

То что кажется бестолоквым с точки зрения рядового сотрудника, с точки зрения топ-менеджера может иметь огромное тактическое значение

В этом случае хорошо бы, чтобы и топ-менеджер, и сотрудник, одинаково понимали, что такое автоматизация. Наличие системы баг-трекинга тоже в своём роде автоматизация, как и использование средств автоматизированного тестирования

[astik]

Если не понимают на пальцах,начните создовать тесты, и учитываите все рашоды (время на разработку тестов, время на ознакомление с ПО, время на конфигурацию ПО, время на конфигурацию тестовых инструментов, кол-в о сотрудников) Потом выложите ето все через неделю менедзеру на стол - с таким же перечнем ваших текущих обязанностеи и дел.
Надеюсь вы не будете брошены 100% на автоматизацию. Часто менеджера не видят, сколько сил и времяни требуется на тестирование системы.
По етому им нужна наглядность.

[serega]

В этом случае хорошо бы, чтобы и топ-менеджер, и сотрудник, одинаково понимали, что такое автоматизация.

Ага, было бы классно.
Это уже вопросы взаимодействия - основная задача менеджера.
Как, например, в армии. "Копать от забора и до обеда. Вопросы есть?"

[Boltick]

Спасибо большое за ответы...

Я еще раз убедился, что не совсем сварил свой мозг.
Я как и вы понимаю, что 100% автоматизация тесирования очень дорогое и не всегда оправданное мероприятие :)

Просто наш менеджер уверен, что раз написанный тест в любом случае сэкономить время при последующем тестировании. Что потом только запустил тест и пошел спать, пришел и отрпортовал результаты.

Но как и у каждого менеджера у него единственно правильная точка зрения и другие просто не рассматриваются...

вот и приходится тратить время на написание тестов. Нежели на детальное тестирование :(

[Dmitry_NJ]

Просто наш менеджер уверен, что раз написанный тест в любом случае сэкономить время при последующем тестировании. Что потом только запустил тест и пошел спать, пришел и отрпортовал результаты.

А он не думает, что автоматизированные тесты тоже надо поддерживать время от времени, что тоже требует определенных затрат? Не говоря уже о том, что для того, чтобы написанный тест сэкономил время при последующем тестировании, сначала может потребоваться затратить в десятки раз больше времени, чтобы этот автоматизированный тест довести до ума.

Но как и у каждого менеджера у него единственно правильная точка зрения и другие просто не рассматриваются...

Ну зачем же так думать о всех менеджерах? По крайней мере на этом форуме я вижу вполне адекватных менеджеров. Идиотами не могут быть абсолютно все.

[barancev]

Просто наш менеджер уверен, что раз написанный тест в любом случае сэкономить время при последующем тестировании. Что потом только запустил тест и пошел спать, пришел и отрпортовал результаты.

И что удивительно -- Ваш менеджер абсолютно прав!
Действительно, экономит время, даже несмотря на проблемы поддержки, о которых упомянул Дмитрий (выполняемые вручную тесты тоже нужно поддерживать, чтобы они были актуальны).

В чем же хитрость? В слове "потом". Да, ПОТОМ экономит. Но СЕЙЧАС требует гораздо больших усилий. А если вдруг случится такое, что ПОТОМ эти тесты по каким-то причинам не нужно будет запускать много и часто, значит ПОТОМ ничего сэкономить не удастся, однако СЕЙЧАС усилия будут потрачены.

И вообще, зачем Вам 100% автоматизация? Вы что, уже достигли 50% автоматизации? Нет? А 25%? Достигли. Вот и хорошо, теперь достигайте 30%, и выберите следующие 5% так, чтобы ПОТОМ достичь максимальной экономии, не впустую потратив усилия СЕЙЧАС.

[Boltick]

И вообще, зачем Вам 100% автоматизация? Вы что, уже достигли 50% автоматизации? Нет? А 25%? Достигли. Вот и хорошо, теперь достигайте 30%, и выберите следующие 5% так, чтобы ПОТОМ достичь максимальной экономии, не впустую потратив усилия СЕЙЧАС.

Ну по существу у нас есть где-то процентов 30%, но надвигается очень большой апгрейд системы, начиная замены серверов и заканчиваяя переходом на новую БД. Для этого и хотят сделать 100% автоматизации, чтобы потом сразу после апгрейда в самые короткие сроки все было протестировано с минимальным даунтаймом.

Вот и думай, надо ли все автоматизировать или нет.

[Jackie]

Возможно, вы неправильно поняли своего менеджера.
Я не думаю, что он настолько непрофессионален, что не понимает невозможность этого. Тем более, что Канера уж он точно читал
Скорее всего, речь идет о 100% покрытии тестами функциональности приложения - это вполне достижимая цель.