Перейти к содержимому

Аудит и оптимизация QA-процессов
онлайн, начало 24 декабря
Автоматизация функционального тестирования
онлайн, начало 27 ноября
Логи как инструмент тестировщика
онлайн, начало 30 ноября
Тестирование REST API
онлайн, начало 30 ноября
Фотография

Ортогональные матрицы для тестирования


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 6

#1 Nick

Nick

    Новый участник

  • Members
  • Pip
  • 24 сообщений
  • Город:Санкт-Петербург

Отправлено 30 сентября 2003 - 12:57

Привет, народ!

А юзает ли кто в своей практической работе ортогональные матрицы для тестирования в тех случаях, когда полный перебор тестовых случаев немыслим из-за очень большого их числа?
Представьте себе, что есть штук пять разных факторов, каждый из которых может иметь несколько значений. Проверить все их комбинации невозможно, а надо бы. Берем ортогональную матрицу, а в ней число требуемых тестовых случаев в десятки раз меньше, чем при полном факторном эксперименте, а покрытие с точки зрения нахождения багов практически такое-же.

Если юзаете, то как вы эти матрицы генерите? Я пробовал пакет SPSS, но это такой монстр, напоминает стрельбу из гаубицы по воробьям ;))

Николай
  • 0

#2 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 30 сентября 2003 - 14:04

Использовали такой подход (правда не зная что это так умно называется:) ) когда столкнулись со следующей проблемой:

Есть система которая должна работать под:
4-мя языками, (анг, фр, нем, ит)
10-ю операционками (95, 98, МЕ, NTwst, NTsrv, 2000 prof, 2000srv, 2000 adv srv, XP home ed, XP prof ed.)
3-мя офисами (97, 2000, ХР)
4-я IE (4.0 / 5.0 / 5.5 / 6.0)
и по желанию поварьировать наличие сервис паков, для любого компонента :)
Путём нехитрых вычислений получаем кол-во вариаций окружений равное:
4*10*3*4= 480 окружений.

Канечно подо всем прогнать хотя бы по разу нереально, при общей продолжительности разработки 2 месяца от проектирования до запуска.
Тогда строили матрицы пересечений (руками, без инструментов, пользуясь во многом здравым смыслом, который помогал выбрасывать нетипичные окружения типа XP + IE 4.0 из списка обязательных к проверке и формировался список критичных окружений, под которыми вероятности сбоев велики как никогда) и по полученным результатам собирали наборы окружений, под которыми проводили тестирование на совместимость.

Как стоили пересечения я уже затронул - на здравом смысле.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#3 Nick

Nick

    Новый участник

  • Members
  • Pip
  • 24 сообщений
  • Город:Санкт-Петербург

Отправлено 30 сентября 2003 - 14:34

Во-во, замечательный пример использования.
А вот здравый смысл тут не очень подходит, так как фокус в том, что матрица должна быть сбалансирована, т.е. у нее должно быть равное число всех попарных, потрешных и т.д. сочетаний факторов. Алгоритмы для генерации таких матриц, мягко говоря, нетривильны и громоздки.
Вот после генерации можно исключить заранее неприменимые тестовые случаи. Но одно дело просмотреть матрицу из 480 строк, а другое из 25. Цифра 25 взята не с потолка, это я получил такую матрицу в SPSS (только операционок я взял 5, а не десять, но все равно, 25 не 240 ;) .

Если интересно, могу такую матрицу выложить или послать мылом.
В общем, подход интересный и полезный, хочу его использовать шире да и узнать заодно, а есть ли кто-нибудь, кто использует его в реальной работе.
  • 0

#4 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 30 сентября 2003 - 14:50

Высылайте - выложу на севрер и залинкую в форум - или сами выкинте на веб и вставье в форум картинку.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#5 Guriy

Guriy

    Опытный участник

  • Members
  • PipPipPipPip
  • 316 сообщений
  • Город:Киев, Украина

Отправлено 30 сентября 2003 - 15:46

Есть система которая должна работать под:
4-мя языками, (анг, фр, нем, ит)
10-ю операционками (95, 98, МЕ, NTwst, NTsrv, 2000 prof, 2000srv, 2000 adv srv, XP home ed, XP prof ed.)
3-мя офисами (97, 2000, ХР)
4-я IE (4.0 / 5.0 / 5.5 / 6.0)
и по желанию поварьировать наличие сервис паков, для любого компонента :)

Надо своим дать почитать, а то разнылись - под трямя браузерами работать заставляю :D
  • 0

#6 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 01 октября 2003 - 07:22

Ну тогда добавте сюда что все браузеры в конечном итоге гонялись со всеми существующими к ним сервис паками, равно как сервис паки учитывались и под операционками.

Жду Ваш рисунок - ответил почтой.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#7 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 01 октября 2003 - 07:24

Можете начать новую тему я вторым сообщением запостю файлик.
А то тут уже и так пост длинный.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru


Практикум по тест-дизайну 2.0
онлайн
Школа для начинающих тестировщиков
онлайн
Школа тест-аналитика
онлайн
Техники локализации плавающих дефектов
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале