Перейти к содержимому

Фотография

Ортогональные матрицы для тестирования


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 6

#1 Nick

Nick

    Новый участник

  • Members
  • Pip
  • 24 сообщений
  • Город:Санкт-Петербург

Отправлено 30 сентября 2003 - 12:57

Привет, народ!

А юзает ли кто в своей практической работе ортогональные матрицы для тестирования в тех случаях, когда полный перебор тестовых случаев немыслим из-за очень большого их числа?
Представьте себе, что есть штук пять разных факторов, каждый из которых может иметь несколько значений. Проверить все их комбинации невозможно, а надо бы. Берем ортогональную матрицу, а в ней число требуемых тестовых случаев в десятки раз меньше, чем при полном факторном эксперименте, а покрытие с точки зрения нахождения багов практически такое-же.

Если юзаете, то как вы эти матрицы генерите? Я пробовал пакет SPSS, но это такой монстр, напоминает стрельбу из гаубицы по воробьям ;))

Николай
  • 0

#2 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 30 сентября 2003 - 14:04

Использовали такой подход (правда не зная что это так умно называется:) ) когда столкнулись со следующей проблемой:

Есть система которая должна работать под:
4-мя языками, (анг, фр, нем, ит)
10-ю операционками (95, 98, МЕ, NTwst, NTsrv, 2000 prof, 2000srv, 2000 adv srv, XP home ed, XP prof ed.)
3-мя офисами (97, 2000, ХР)
4-я IE (4.0 / 5.0 / 5.5 / 6.0)
и по желанию поварьировать наличие сервис паков, для любого компонента :)
Путём нехитрых вычислений получаем кол-во вариаций окружений равное:
4*10*3*4= 480 окружений.

Канечно подо всем прогнать хотя бы по разу нереально, при общей продолжительности разработки 2 месяца от проектирования до запуска.
Тогда строили матрицы пересечений (руками, без инструментов, пользуясь во многом здравым смыслом, который помогал выбрасывать нетипичные окружения типа XP + IE 4.0 из списка обязательных к проверке и формировался список критичных окружений, под которыми вероятности сбоев велики как никогда) и по полученным результатам собирали наборы окружений, под которыми проводили тестирование на совместимость.

Как стоили пересечения я уже затронул - на здравом смысле.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#3 Nick

Nick

    Новый участник

  • Members
  • Pip
  • 24 сообщений
  • Город:Санкт-Петербург

Отправлено 30 сентября 2003 - 14:34

Во-во, замечательный пример использования.
А вот здравый смысл тут не очень подходит, так как фокус в том, что матрица должна быть сбалансирована, т.е. у нее должно быть равное число всех попарных, потрешных и т.д. сочетаний факторов. Алгоритмы для генерации таких матриц, мягко говоря, нетривильны и громоздки.
Вот после генерации можно исключить заранее неприменимые тестовые случаи. Но одно дело просмотреть матрицу из 480 строк, а другое из 25. Цифра 25 взята не с потолка, это я получил такую матрицу в SPSS (только операционок я взял 5, а не десять, но все равно, 25 не 240 ;) .

Если интересно, могу такую матрицу выложить или послать мылом.
В общем, подход интересный и полезный, хочу его использовать шире да и узнать заодно, а есть ли кто-нибудь, кто использует его в реальной работе.
  • 0

#4 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 30 сентября 2003 - 14:50

Высылайте - выложу на севрер и залинкую в форум - или сами выкинте на веб и вставье в форум картинку.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#5 Guriy

Guriy

    Опытный участник

  • Members
  • PipPipPipPip
  • 316 сообщений
  • Город:Киев, Украина

Отправлено 30 сентября 2003 - 15:46

Есть система которая должна работать под:
4-мя языками, (анг, фр, нем, ит)
10-ю операционками (95, 98, МЕ, NTwst, NTsrv, 2000 prof, 2000srv, 2000 adv srv, XP home ed, XP prof ed.)
3-мя офисами (97, 2000, ХР)
4-я IE (4.0 / 5.0 / 5.5 / 6.0)
и по желанию поварьировать наличие сервис паков, для любого компонента :)

Надо своим дать почитать, а то разнылись - под трямя браузерами работать заставляю :D
  • 0

#6 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 01 октября 2003 - 07:22

Ну тогда добавте сюда что все браузеры в конечном итоге гонялись со всеми существующими к ним сервис паками, равно как сервис паки учитывались и под операционками.

Жду Ваш рисунок - ответил почтой.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#7 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 01 октября 2003 - 07:24

Можете начать новую тему я вторым сообщением запостю файлик.
А то тут уже и так пост длинный.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных