Сообщений в теме: 3

[Leela]

Здравствуйте!

1. Есть программный комплекс, который состоит из:
а) Приложение для управления конфигурациями (создание новой конфигурации, редактирование конфигурации, сохранение конфигурации, загрузка конфигурации на терминал)
б) Приложение для управления службой (частичное редактирование конфигурации, запуск, остановка службы, обновление)
в) И, наконец, программа для проведения операций на терминале.

2. Программный комплекс предназначен для проведения операций на терминале при различных конфигурациях ПО.

Вопрос в следующем: Как подойти к тестированию комплекса, учитывая, что временные издержки при проведении одной операции с различными вариантами конфигурации ПО могут быть огромными, так как вариантов конфигурации тысячи?

3. Условие: тестирование ручное.

[Alfa]

Термин pairwise testing знаком?

[LeshaL]

Здравствуйте!

1. Есть программный комплекс, который состоит из:
а) Приложение для управления конфигурациями (создание новой конфигурации, редактирование конфигурации, сохранение конфигурации, загрузка конфигурации на терминал)
б) Приложение для управления службой (частичное редактирование конфигурации, запуск, остановка службы, обновление)
в) И, наконец, программа для проведения операций на терминале.

2. Программный комплекс предназначен для проведения операций на терминале при различных конфигурациях ПО.

Вопрос в следующем: Как подойти к тестированию комплекса, учитывая, что временные издержки при проведении одной операции с различными вариантами конфигурации ПО могут быть огромными, так как вариантов конфигурации тысячи?

3. Условие: тестирование ручное.

Хотелось бы немного раскрыть совет, про pairwise, данный коллегой Alfa.
Несомненно, если вы не знакомы с понятием pairwise, то следует познакомится и использовать. Но для применения данного метода вам необходимо иметь набор параметров, по которым производится тестирование(если хотите - степени свободы вашего ПО); набор значений для каждого из параметров и еще ограничения на взаимное появление как параметров так и их значений. За счет таких ограничений кол-во конфигураций может заметно уменьшится.
Так же кол-во тестовых конфигураций может уменьшится если определить ортогональные параметры, т.е. такие, значения которых не влияют друг на друга.
Далее, еще один предварительный этап - это определение значений для ваших параметров тестирования. Есть такие подходы как boundary analysis и equivalent class partitioning. Т.е. анализ граничных значений и разбиение на классы эквивалентности. Грамотный подход, который позволит определить набор значений достаточный для тестирования.
Попробуйте, глядишь и тысячи конфигураций сведутся к нескольким десяткам или сотне-другой.
Далее к уже отобранным конфигурациям можно применить простую логику - например наименее вероятные отложить "на потом" или вообще исключить. Самые распространненые конфигурации тестировать чаще других (например, в рамках интеграционного тестирования).

[Leela]

Огромное спасибо, коллеги!