Сообщений в теме: 21

[almak]

Ребята, подскажите, как тестировать инсталляционные прилаги? а именно: инсталляцию, деинсталляцию, замена версий, если можно подскажите кейзы, как тестить?

[Boltick]

Ребята, подскажите, как тестировать инсталляционные прилаги? а именно: инсталляцию, деинсталляцию, замена версий, если можно подскажите кейзы, как тестить?

Алена, была уже тема здесь посвященная твоей. Сходу не нашел ее, но если найду обязательно дам линку.
Но по существу ответ у меня один
"как тестировать инсталляционные прилаги?" - так же как и любое другое приложение.
Также пишется тест план, также пишутся тест кейсы, и также тестируется. Ничего сверхъестественного нет.
Основная функция инсталятора - установить в нужное место требуемое ПО, деинсталятора - удалить ПО, Замены версий - заменить ПО

Отталкиваясь от этого и работаем :)

[almak]

Я вот не нашла похожую тему. Дайте линк.
А вообще я просила кейзы, может ли кто нибудь подсказать, так как проект сделать хорошо хочеЦЦо.
Например, инсталяция:
1. в пустую папку
2. в существующую
3. в несуществующую

[Bars Master]

1. Описание тестирования каждого шага инсталяции (папки как я понимаю это один из шагов)
2. правильность инсталяции (размещение файлов, записи в реестрах, целостность распаковки архивов(в том числе нужен тест кейс с работой с "битым" архивом))
3. Откат инсталяции (в процессе её работы, т. е. как подчищает за собой она)
4. деinstall, ну собственно практически те же проверки должны быть

навскидку примерные проверки для начала(это не тесткейсы, а то, на чем их строить надо), но для более полной картины надо знать проект, и вальировать план написания от конкретного продукта.

[Boltick]

Вот, нашел...
Немного не то что хотел, но очень близко к теме:
Тест-кейсы для проверки работы wizard'a

[Vasiliy]

Если именно по инсталляции, то еще можно добавить:
- правильность списка файлов, которые должны попасть на диск пользователю
- отсутствие лишних файлов
- регистрация библиотек в ОС
- необходимые права доступа у пользователя, который ставит приложение. Как на работу с реестром, так и доступ к спец. папкам.
- работа с системой UAC в Висте
- работа инсталляшки с различными версиями ОС и их поддержка. (Виста в этом отношении ведет себя очень дружелюбно к пользователю и крайне недружелюбно к программе и разработчикам)

Пока все. Если еще вспомню, то напишу.

P.S.
Какие-то еще действия должны быть после завершения процесса инсталляци?
Вы ставите одно приложение или два?
Есть ли среди них чужое приложение, которое вы просто тащите as is?
Должен ли поддерживаться режим "тихой установки"?

[Clauster]

Считаю, что Boltick не прав. Ни фига не так же как и любое другое приложение. Тестирование инсталляций это совсем другая песня. Инсталляция это некие последовательности с известными результатами. Чтобы протестировать, надо всего-то пройти по всем возможным последовательностям и протестировать все возможные условия на каждом шаге последовательности. Очень сильно может помочь в этом деле автоматизация и виртуальные машины. Какие-то конкретные кейсы не вижу смысла писать.
В общем, как только вы поймете как работает и что делает инсталляция, вам сразу станет понятно как её тестировать. Для этого надо плотно пообщаться с разработчиками, разбить по шагам, нарисовать модельку и вперед на мины.
Да, и не забывайте про логи.

[Boltick]

Считаю, что Boltick не прав. Ни фига не так же как и любое другое приложение. Тестирование инсталляций это совсем другая песня. Инсталляция это некие последовательности с известными результатами. Чтобы протестировать, надо всего-то пройти по всем возможным последовательностям и протестировать все возможные условия на каждом шаге последовательности. Очень сильно может помочь в этом деле автоматизация и виртуальные машины. Какие-то конкретные кейсы не вижу смысла писать.
В общем, как только вы поймете как работает и что делает инсталляция, вам сразу станет понятно как её тестировать. Для этого надо плотно пообщаться с разработчиками, разбить по шагам, нарисовать модельку и вперед на мины.
Да, и не забывайте про логи.

Считаю, что Clauster, ни фига не прав говоря, что я ни фига не прав...
Инсталятор - это приложение, которое подпадает под все правила тестирования, имеющее требования налагаемые на него. Т.е. тестируется он точно также, но как и все приложения, со своими особенностями..

[rlabs]

Инсталятор - это приложение, которое подпадает под все правила тестирования, имеющее требования налагаемые на него. Т.е. тестируется он точно также, но как и все приложения, со своими особенностями..

Согласен. Специфические особенности, и не более того.
Среди интересных особенностей инсталяторов стоит отметить следующие:

• Во многих случаях, более глубокое взаимодействие с операционной системой (и зависимость от неё) - реестр, файловая система, сервисы и библиотечки
• Если приложение несет с собой "чужие" компоненты, вроде библиотек, возникает дополнительный риск, так как их поведение тоже зависит от платформы
• Сюда же - риск поломать систему из-за неправильной установки
• Отсутствие времени на обучение - в лучшем случае пользователь видит инсталятор один раз (в худшем - два), и у него вообще не должно возникать трудностей в процессе установки
• Сюда же - первое впечатление от продукта формируется инсталятором, все в нем должно быть симпатичненько
• Достаточно интересный сценарий - установка новой версии поверх старой. Пользовательские документы, настройки, и много чего еще
• Ну и так далее

Здесь скорее не столь важны конкретные "кейзы", сколько хорошее понимание продукта (будете тестировать "черным ящиком" - многое потеряете) и аккуратное распределение приоритетов. Инсталятор - очень ответственное приложение.

[Clauster]

Считаю, что Clauster, ни фига не прав говоря, что я ни фига не прав...
Инсталятор - это приложение, которое подпадает под все правила тестирования, имеющее требования налагаемые на него. Т.е. тестируется он точно также, но как и все приложения, со своими особенностями..

Ну вы аргументы нормальные приведите, а то пишете второй раз одно и то же как мантру :) В каком плане так же? Написать план, кейсы и прогнать их? Но это ответ ни о чем и не факт что он верный. Если вы подумаете, какие требования к инсталлятору могут предъявляться, то третий раз, надеюсь, так же не ответите. Кстати, вам приходилось тестировать инсталляции когда-нибудь?

PS Про тест-кейсы я имелл ввиду что здесь не имеет смысла писать, а вообще они нужны :)

[Boltick]

Здесь скорее не столь важны конкретные "кейзы", сколько хорошее понимание продукта (будете тестировать "черным ящиком" - многое потеряете) и аккуратное распределение приоритетов. Инсталятор - очень ответственное приложение.

Правильно... Инсталятор - это одёжка, а по ней как говорится встречают, ну а провожают уже по уму... Так что кривой инсталятор может испортить все впечатление о продукте.

[Clauster]

Инсталятор - это приложение, которое подпадает под все правила тестирования, имеющее требования налагаемые на него. Т.е. тестируется он точно также, но как и все приложения, со своими особенностями..

Согласен. Специфические особенности, и не более того.

Я так не играю!!!

[Boltick]

Ну вы аргументы нормальные приведите, а то пишете второй раз одно и то же как мантру :) В каком плане так же? Написать план, кейсы и прогнать их? Но это ответ ни о чем и не факт что он верный. Если вы подумаете, какие требования к инсталлятору могут предъявляться, то третий раз, надеюсь, так же не ответите. Кстати, вам приходилось тестировать инсталляции когда-нибудь?

PS Про тест-кейсы я имелл ввиду что здесь не имеет смысла писать, а вообще они нужны :)

Коллега, не пойму чего вы так агрессивно настроены. Кризис финансовый вас что ли затронул? Нет? ну и слава богу, дышите спокойно...
Как "мантру" повторю еще раз, все приложения тестируются одинаково... Ко всем есть требования и их надо тестировать. Для меня нет разницы что именно тестировать, будь это веб приложение, будь десктоп, инсталятор или пусковая панель ракетной установки. Процесс везде один и тот же. Читайте требования, пишите кейсы, проходите их. Что в этом неправильного?
ответ на ваш вопрос: - Приходилось! и даже автоматизировалось!

Скажу сразу, я не люблю давать конкретные ответы на не сложные вопросы, по причине того, что готовые решения расслабляют мозг того, кому их дают. Мне кажется, что человека нужно навести на мысль, чтобы он сам все понял и только потом немного подкорректировать то, что он сделал. Может это и не правильно, но я так работаю. В этом случае люди учатся думать и принимать решения самостоятельно, а не лезут за шпаргалкой в карман при каждом удобном случае.

Вот.

[Clauster]

Коллега, не пойму чего вы так агрессивно настроены. Кризис финансовый вас что ли затронул? Нет? ну и слава богу, дышите спокойно...
Как "мантру" повторю еще раз, все приложения тестируются одинаково... Ко всем есть требования и их надо тестировать. Для меня нет разницы что именно тестировать, будь это веб приложение, будь десктоп, инсталятор или пусковая панель ракетной установки. Процесс везде один и тот же. Читайте требования, пишите кейсы, проходите их. Что в этом неправильного?
ответ на ваш вопрос: - Приходилось! и даже автоматизировалось!

Скажу сразу, я не люблю давать конкретные ответы на не сложные вопросы, по причине того, что готовые решения расслабляют мозг того, кому их дают. Мне кажется, что человека нужно навести на мысль, чтобы он сам все понял и только потом немного подкорректировать то, что он сделал. Может это и не правильно, но я так работаю. В этом случае люди учатся думать и принимать решения самостоятельно, а не лезут за шпаргалкой в карман при каждом удобном случае.

Вот.

Это вы смайлики как агрессию расценили?
Ход ваших мыслей я понял. Я сначала подумал, что вам просто нечем поделиться, а оказалось вы просто заботитесь о нашем мозге, спасибо :)

[Vasiliy]

Аlmak, вы успели прочесть ответы до сбоя на форуме или надо повторно описать все?

[Mongol]

Цитата с блога, порекомендованого мне куратором, когда как раз занимался тестированием инсталляции(увы, адрес блога не сохранился):
Installation testing is often the most under tested area in testing. This type of testing is performed to ensure that all Installed features and options function properly. It is also performed to verify that all necessary components of the application are, indeed, installed.

Installation testing should take care of the following points: -

1. To check if while installing product checks for the dependent software / patches say Service pack3.
2. The product should check for the version of the same product on the target machine, say the previous version should not be over installed on the newer version.
3. Installer should give a default installation path say “C:\programs\.”
4. Installer should allow user to install at location other then the default installation path.
5. Check if the product can be installed “Over the Network”
6. Installation should start automatically when the CD is inserted.
7. Installer should give the remove / Repair options.
8. When uninstalling, check that all the registry keys, files, Dll, shortcuts, active X components are removed from the system.
9. Try to install the software without administrative privileges (login as guest).
10. Try installing on different operating system.
11. Try installing on system having non-compliant configuration such as less memory / RAM / HDD.

[Vasiliy]

Цитата с блога, порекомендованого мне куратором, когда как раз занимался тестированием инсталляции(увы, адрес блога не сохранился):

Не знаю как насчет блога, но Гугл выдает ссылку на иностранный сайт при поиске.

С некоторыми вещами тут можно поспорить.

6. Installation should start automatically when the CD is inserted.

Я бы назвал такое поведение некоректным. Авторан выполнить - да, а вот сразу инсталятор запускать это странно.
Да и не все приложения распростроняются на CD/DVD.

7. Installer should give the remove / Repair options.

Зависит от требований к продукту, имхо.

8. When uninstalling, check that all the registry keys, files, Dll, shortcuts, active X components are removed from the system.

Все?? А если у меня там рабочие скрипты за годы работы программы? Или мне нужны sav'ы из игрушки?
Удалять можно то, что инсталлятор записал сам в свое время. Но если в папке появились новые файлы, то лучше или оставить все как есть или переспросить пользователя.

[Clauster]

С некоторыми вещами тут можно поспорить.

я бы ещё поспорил с п. 2 и 4

[Boltick]

Видите, господа, мы можем спорить на счет практически всех пунктов предоставленных нам...
Поэтому пока нет конкретных требований мы не сможем однозначно говорить, что правильно для данного приложения (инсталлятора), а что нет...

Может это и есть тот самый случай: "Что русскому хорошо, то немцу - смерть"

[Vasiliy]

Видите, господа, мы можем спорить на счет практически всех пунктов предоставленных нам...

Зато в спорах рождается Истина:)
Не всегда, правда)