Перейти к содержимому

  1. Форум тестировщиков
  2. → Тестирование
  3. → Тест-дизайн и ручное тестирование
Фотография

Имеет ли смысл автоматизировать все?

Автор snusmumrik, 01 сен 2005 15:53

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 16

#1 snusmumrik

snusmumrik

    Новый участник

  • Members
  • Pip
  • 48 сообщений
  • Город:Киев

Отправлено 01 сентября 2005 - 15:53

Недавно возник спор, который никак не решится в какую-либо сторону.
есть ли необходимость автоматизировать полностью тестирование определенного програмного продукта.
было принято решение об автоматизации, но действительно ли нужно автоматизировать абсолютно все модули?.
мне кажется, что все же надо обращать внимание на то, сколько тратится на реализацию скриптов и на сколько это окупится..
имеет ли смысл писать скрипт, для коректной работы которого в него прийдется вбивать всю логику приложения...
я в замешательстве...
подскажите, как правильно поступать с автоматизацией крупного проекта с большим количеством модулей?
:lazy:
  • 0
Подгурская Алена
QA manager

#2 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 01 сентября 2005 - 15:58

Вы правы, автоматизировать абсолютно все не считаясь с затратами не нужно. Более того в реальных проектах (особенно крупных) бывают задачи, которые имеющимися средствами автоматизации не решить совсем. Поэтому в этом вопросе надо находить разумную грань между затратами на автоматизацию и получаемым от нее эффектом.
  • 0
Дмитрий Шевченко

HP Software

#3 Green

Green

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 233 сообщений
  • ФИО:Гринкевич Сергей
  • Город:Москва

Отправлено 02 сентября 2005 - 06:29

Вопрос абсолютно риторический.

Такие вопросы любила русская интеллигенция 19-го века.
- Возможно ли пожертвовать жизнью младенца для достижения мира всеобщего благоденствия?
:fool:

Переведите спор в объективное русло. Попробуйте прикинуть материальные затраты (хотя бы на пальцах), необходимые для достижения всеобщей автоматизации. Вопрос "рассосется"сам собой.
:lazy:
  • 0
Гринкевич Сергей

#4 serega

serega

    Опытный участник

  • Members
  • PipPipPipPip
  • 355 сообщений
  • Город:Москва

Отправлено 02 сентября 2005 - 06:39

Само понятие автоматизировать все и 100% покрытие автотестами лишено всякого смысла.
Если едет разработка, значит происходят доработки, в каждой сборке появлется нечто новое, что необходимо заново автоматизировать.
А может проще прогнать ручное тестирование этой функции вручную, если это отдельная фича, которая реализовалась в отдельно взятой сборке для конкретного заказчика.
И потом не забываем, что автоматизация тестирование это сам по себе отдельный проект, включающий: написание тестовых спецификаций, примеров, подготовки данных и окружения, непосредственно написания автотестов, их отладка, поддержание в актуальном состоянии.
Примерное отношение трудозатрат на написание автотестов 10:1 по отношению к ручному тестированию, отсюда и прыгайте.
Не забудьте учеть затраты на покупку инструмена автотетстирования, обучение, стоимость его владения и т.д.
  • 0

#5 snusmumrik

snusmumrik

    Новый участник

  • Members
  • Pip
  • 48 сообщений
  • Город:Киев

Отправлено 02 сентября 2005 - 09:30

фуф, спасибо большое. вы меня очень успокоили.. :)
я уж было начала сомниваться в своих соображениях по этому поводу. ребята, которые вроде более опытные уверяли, что я не права.. а верить наслово не хотелось :lazy:
еще раз спасиба :fool:
  • 0
Подгурская Алена
QA manager

#6 Chaos

Chaos

    Новый участник

  • Members
  • Pip
  • 12 сообщений
  • ФИО:Родичев Артем
  • Город:Москва

Отправлено 02 сентября 2005 - 10:03

У нас сейчас идет проект по автоматизации фукционального тестирования. И у заказчика тоже было много вопросов о том, что именно мы автоматизируем. В конечном счете было принято решение автоматизировать наиболее критичный функционал, который просто будет выполняться при каждой новой сборке.
Смысл заключался в том, что в программе существует большой набор сложных расчетых алгоритмов и регрессионные тесты новых билдов занимали до 3х человеко-недель.
В этом случае мы надеемся получить большую выгоду от автоматизации.

Удачи!
  • 0

#7 DrVal

DrVal

    Постоянный участник

  • Members
  • PipPipPip
  • 230 сообщений
  • ФИО:Drozdov V. V.

Отправлено 02 сентября 2005 - 11:18

Можно ли с этого места поподробнее?
Зачем тестовый скрипт должен дублировать логику программы?

имеет ли смысл писать скрипт, для коректной работы которого в него прийдется вбивать всю логику приложения...

Просмотр сообщения


  • 0

#8 snusmumrik

snusmumrik

    Новый участник

  • Members
  • Pip
  • 48 сообщений
  • Город:Киев

Отправлено 05 сентября 2005 - 06:25

например есть кусок программы, в котором осуществляется учет экономических операций, т.е для корректной работы скрипта прийдется в него вбивать логику бухгалтерского учета.
Можно к примеру написать один конкрестый сценарий который всегда будет выполняться. Но если пробовать добавить хоть какой-то элемент случайности,
т.е. несколько типов ЕО то будет слишком трудно все это описать в скрипте...
а описать отдельно все возможные комбинации счетов и т.п. выйдет слишком долго и хлопотно.. я быстрее проверю ручками, чем придумаю как все это корректно описать в скрипте. и труднее будет определить где именно содержиться ошибка, в моем скрипте или в программе. по моему это наоборот усложнит работу.
  • 0
Подгурская Алена
QA manager

#9 DrVal

DrVal

    Постоянный участник

  • Members
  • PipPipPip
  • 230 сообщений
  • ФИО:Drozdov V. V.

Отправлено 05 сентября 2005 - 07:22

С моей точки зрения, для такой задачи вопрос должен звучать "как правильно автоматизировать", а не "автоматизировать или нет".

В любом случае, ручками прогонится конечное число конкретных сценариев, что мешает их загнать в скрипты?

Т.е. я бы тоже настаивал на 100% атоматизации в данном конкретном случае.
  • 0

#10 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 872 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 05 сентября 2005 - 07:40

http://blogs.msdn.co.../05/368833.aspx
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#11 serega

serega

    Опытный участник

  • Members
  • PipPipPipPip
  • 355 сообщений
  • Город:Москва

Отправлено 05 сентября 2005 - 07:43

С моей точки зрения, для такой задачи вопрос должен звучать "как правильно автоматизировать", а не "автоматизировать или нет".

В любом случае, ручками прогонится конечное число конкретных сценариев, что мешает их загнать в скрипты?

Т.е. я бы тоже настаивал на 100% атоматизации в данном конкретном случае.

Просмотр сообщения


Смело..а если это сценарии которые не поддаются автоматизации(автоматизируется с большими трудозатратами)?
  • 0

#12 DrVal

DrVal

    Постоянный участник

  • Members
  • PipPipPip
  • 230 сообщений
  • ФИО:Drozdov V. V.

Отправлено 05 сентября 2005 - 08:04

Смело..а если это сценарии которые не поддаются  автоматизации(автоматизируется с большими трудозатратами)?

Просмотр сообщения


Можно примеры таких сценариев для экономических приложений?
  • 0

#13 serega

serega

    Опытный участник

  • Members
  • PipPipPipPip
  • 355 сообщений
  • Город:Москва

Отправлено 05 сентября 2005 - 08:34

Можно примеры таких сценариев для экономических приложений?

Просмотр сообщения


Например, поддержка self-made контроллов, либо разработчиков сторонних фирм.
Еще конкретнее - была проблема поддержи Infragistics Controls средствами RRobot
  • 0

#14 DrVal

DrVal

    Постоянный участник

  • Members
  • PipPipPip
  • 230 сообщений
  • ФИО:Drozdov V. V.

Отправлено 05 сентября 2005 - 10:04

Например, поддержка self-made контроллов, либо разработчиков сторонних фирм.
Еще конкретнее - была проблема поддержи Infragistics Controls средствами RRobot

Просмотр сообщения


Оригинальный пост был про затаскивание алгоритмов в тестовый скрипт, т.е. дублирования бизнес-логики тестируемого приложения в тестирующем, а не про контролы и выбор инструментария.

Проблема кастомных контролов при желании обходится (наши тоже большинством тулзов не понимаются).
  • 0

#15 serega

serega

    Опытный участник

  • Members
  • PipPipPipPip
  • 355 сообщений
  • Город:Москва

Отправлено 05 сентября 2005 - 10:13

[
Оригинальный пост был про затаскивание алгоритмов в тестовый скрипт, т.е. дублирования бизнес-логики тестируемого приложения в тестирующем, а не про контролы и выбор инструментария.

Просмотр сообщения


Надо делать мир лучше?
Надо..ок, проблема решена :friends:

Проблема кастомных контролов при желании обходится (наши тоже большинством тулзов не понимаются).

Просмотр сообщения


Ну и как успехи? Желание совпало с возможностями?
  • 0

#16 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 872 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 05 сентября 2005 - 10:24

(Это уходит в сторону от оригинальной темы, но все-таки...)

Если не секрет, а какое новое качество получается от дублирования в тесте логики реализации?

Еще в первом классе учат, что нужно "проверять сложение вычитанием", а не "сложить два раза подряд и сравнить результаты". При альтернативном способе проверки меньше вероятность повторить в тесте ошибку, сделанную в реализации.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#17 DrVal

DrVal

    Постоянный участник

  • Members
  • PipPipPip
  • 230 сообщений
  • ФИО:Drozdov V. V.

Отправлено 05 сентября 2005 - 12:10

Если не секрет, а какое новое качество получается от дублирования в тесте логики реализации?

Просмотр сообщения


Чуть выше я примерно об этом автора и спрашивал...
  • 0
Обратно в Тест-дизайн и ручное тестирование

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Реклама на портале
  1. Форум тестировщиков
  2. → Тестирование
  3. → Тест-дизайн и ручное тестирование
  4. Политика Конфиденциальности
  5. Правила форума ·