Сообщений в теме: 12

[artem1234]

Ув. коллеги, прошу помочь вашими мыслями и идеями в определении вопроса:

В каких случаях автоматизированное тестирование более полезно чем ручное и наоборот?


Вопрос больше теоретический, задумались с товарищем на досуге.
Ну например: применение автоматизации целесообразно в случае
+ если проект длинный по времени (от года и более)
+ если необходимо проверять требования, которые физически не в состоянии проверить человек (много сессионность, например)
+ если существует большое кол-во рутинных операции, такие как.... переборы каких-то данных.

дополните список пожалуйста...

А когда выгоднее пользоваться старым добрым ручным тестингом?!



P.S. Априори считается, что политическая воля и финансовые средства на автоматизацию имеются. :)

[artem123]

Это снова топик стартер. Сори, забыл свой экаунт.

Вот дополнительные мысли на счет автоматизации:

+ Проект должен иметь большую часть кода или функциональности , которая не часто изменяется, для того что бы покрыть автоматизацией эту область.
+ Так же имеет смысл пользоваться автоматизацией в критически важных областях программы, который будет проверяться при каждой новой сборке, или там где цена ошибки очень велика.

[SALar]

http://blog.shumoos.com/archives/92
http://blog.shumoos.com/archives/138

Это не все. Нужна еще третья часть.

[Boltick]

Ну раз ссылками засыпать можно, то и я парочку дам:

Зачем нужно автоматизировать?
Что нужно автоматизировать?
Как автоматизировать?

Появятся вопросы кидайте сюда, дообсудим!

[KaNoN]

Ну раз ссылками засыпать можно, то и я парочку дам:

Зачем нужно автоматизировать?
Что нужно автоматизировать?
Как автоматизировать?

Появятся вопросы кидайте сюда, дообсудим!

По первой ссылке в перечне недостатков автоматизации тестирования кое-что непонятно вот по этому пункту:

Затраты на поддержку – несмотря на то, что в случае автоматизированных тестов они меньше – они все же есть. Чем чаще изменяется приложение, тем они выше.

А именно интересует выделенное. Меньше, чем затраты на поддержку чего?

[artem123]

Господа, спасибо за линки. ознакомился.

Но вот все там хорошо, кроме одного, там нет кратких сформулированных ответов.
предлагаю конкретизировать по максимуму.

Вот еще, мысль :
+ ручное тестирование не заменимо в ситуациях "умного поведения программы" (т.е присутствие сложных зависимостей\условий при выполнении) когда принять решение о правильности результата может только человек.

[Boltick]

Ну раз ссылками засыпать можно, то и я парочку дам:

Зачем нужно автоматизировать?
...

По первой ссылке в перечне недостатков автоматизации тестирования кое-что непонятно вот по этому пункту:

Затраты на поддержку – несмотря на то, что в случае автоматизированных тестов они меньше – они все же есть. Чем чаще изменяется приложение, тем они выше.

А именно интересует выделенное. Меньше, чем затраты на поддержку чего?

сравнение происходит между автоматизированным и ручным тестированием.
Ответ: чем на выполнение ручного тестирования в том же объеме

[SALar]

http://local.joelons...

Раньше тестеры Microsoft проверяли множество разных вещей: совместимость и читаемость шрифтов, грамотность расположения контролов в диалоговых окнах, не мерцает ли экран при определённых операциях, вёрстку пользовательского интерфейса. Они оценивали, легко ли пользоваться программой, насколько согласованны формулировки, они беспокоились о производительности, проверяли орфографию и грамматику во всех сообщениях об ошибках. Они тратили много времени, чтобы убедиться в том, что пользовательский интерфейс выглядит одинаково во всей программе, поскольку с таким интерфейсом куда легче работать.

Ничего из вышеперечисленного нельзя проверить с помощью автоматизированных тестов. И результатом упора на автоматическое тестирование стала крайняя противоречивость и "шероховатость" Windows Vista. Множество очевидных проблем добрались до релиза, и ни одна из них не была "багом" с точки зрения автоматических тестов.

Даже если автоматизация:
* увеличит бюджет проекта
* не позволит избежать ручного тестирования
(а так скорее всего и будет), это не значит, что она невыгодна. Но готовы ли ваши руководители увеличить затраты на тестирование в два раза при том же конечном уровне качества продукта, для достижения сокращения срока проекта "всего лишь" на 5%?

[tarapulka]

Думаю не рентабельно, ведь результат то всего на 5-10 процентов лучше!

[Boltick]

Думаю не рентабельно, ведь результат то всего на 5-10 процентов лучше!

Одно дело рентабельность, другое захват рынка... Кто первый вышел на рынок, тот и победил... Тут надо думать глобально: вложил на 50% больше в тестирование, выпустил продукт на 5% раньше срока, зато уже привлек 50млн клиентов, пока конкуренты еще дописывали свой софт.

[SALar]

Думаю не рентабельно, ведь результат то всего на 5-10 процентов лучше!

Напротив, очень даже рентабельно. Еще как рентабельно. Это едва ли не лучшее вложение денег. И дело даже не в захвате рынка.

[vass]

Думаю не рентабельно, ведь результат то всего на 5-10 процентов лучше!

Это если проект небольшой.

[horhe]

но проект нужно не только запустить, но поддерживать и развивать его тоже немаловажно. тут автоматизация весьма кстати.