Ортогональные матрицы для тестирования

Привет, народ!

А юзает ли кто в своей практической работе ортогональные матрицы для тестирования в тех случаях, когда полный перебор тестовых случаев немыслим из-за очень большого их числа?
Представьте себе, что есть штук пять разных факторов, каждый из которых может иметь несколько значений. Проверить все их комбинации невозможно, а надо бы. Берем ортогональную матрицу, а в ней число требуемых тестовых случаев в десятки раз меньше, чем при полном факторном эксперименте, а покрытие с точки зрения нахождения багов практически такое-же.

Если юзаете, то как вы эти матрицы генерите? Я пробовал пакет SPSS, но это такой монстр, напоминает стрельбу из гаубицы по воробьям ;))

Николай

Использовали такой подход (правда не зная что это так умно называется:) ) когда столкнулись со следующей проблемой:

Есть система которая должна работать под:
4-мя языками, (анг, фр, нем, ит)
10-ю операционками (95, 98, МЕ, NTwst, NTsrv, 2000 prof, 2000srv, 2000 adv srv, XP home ed, XP prof ed.)
3-мя офисами (97, 2000, ХР)
4-я IE (4.0 / 5.0 / 5.5 / 6.0)
и по желанию поварьировать наличие сервис паков, для любого компонента :)
Путём нехитрых вычислений получаем кол-во вариаций окружений равное:
4*10*3*4= 480 окружений.

Канечно подо всем прогнать хотя бы по разу нереально, при общей продолжительности разработки 2 месяца от проектирования до запуска.
Тогда строили матрицы пересечений (руками, без инструментов, пользуясь во многом здравым смыслом, который помогал выбрасывать нетипичные окружения типа XP + IE 4.0 из списка обязательных к проверке и формировался список критичных окружений, под которыми вероятности сбоев велики как никогда) и по полученным результатам собирали наборы окружений, под которыми проводили тестирование на совместимость.

Как стоили пересечения я уже затронул - на здравом смысле.

Во-во, замечательный пример использования.
А вот здравый смысл тут не очень подходит, так как фокус в том, что матрица должна быть сбалансирована, т.е. у нее должно быть равное число всех попарных, потрешных и т.д. сочетаний факторов. Алгоритмы для генерации таких матриц, мягко говоря, нетривильны и громоздки.
Вот после генерации можно исключить заранее неприменимые тестовые случаи. Но одно дело просмотреть матрицу из 480 строк, а другое из 25. Цифра 25 взята не с потолка, это я получил такую матрицу в SPSS (только операционок я взял 5, а не десять, но все равно, 25 не 240 ;) .

Если интересно, могу такую матрицу выложить или послать мылом.
В общем, подход интересный и полезный, хочу его использовать шире да и узнать заодно, а есть ли кто-нибудь, кто использует его в реальной работе.

Высылайте - выложу на севрер и залинкую в форум - или сами выкинте на веб и вставье в форум картинку.

Есть система которая должна работать под:
4-мя языками, (анг, фр, нем, ит)
10-ю операционками (95, 98, МЕ, NTwst, NTsrv, 2000 prof, 2000srv, 2000 adv srv, XP home ed, XP prof ed.)
3-мя офисами (97, 2000, ХР)
4-я IE (4.0 / 5.0 / 5.5 / 6.0)
и по желанию поварьировать наличие сервис паков, для любого компонента :)

Надо своим дать почитать, а то разнылись - под трямя браузерами работать заставляю :D

Ну тогда добавте сюда что все браузеры в конечном итоге гонялись со всеми существующими к ним сервис паками, равно как сервис паки учитывались и под операционками.

Жду Ваш рисунок - ответил почтой.

Можете начать новую тему я вторым сообщением запостю файлик.
А то тут уже и так пост длинный.