Перейти к содержимому

Аудит и оптимизация QA-процессов
онлайн, начало 4 декабря
Практикум по тест-дизайну 2.0
онлайн, начало 4 декабря
Школа Тест-Аналитика
онлайн, начало 9 декабря
Школа тест-менеджеров v. 2.0
онлайн, начало 9 декабря
Фотография

Пример ортогональной матрицы


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 25

#1 Nick

Nick

    Новый участник

  • Members
  • Pip
  • 24 сообщений
  • Город:Санкт-Петербург

Отправлено 01 октября 2003 - 07:33

Пример ортогональной матрицы
  • 0

#2 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 01 октября 2003 - 07:41

Чтобы увидеть рисунок нажмите ссылку: (32 kb)
Ортогональная матрица.

Попробовал залить на форум - слишком долго грузиться, даже на моей выделенке, чтобы тягать такую картинку каждый раз при просмотре темы.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#3 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 01 октября 2003 - 07:45

А теперь вопрос - почему эта матрица ОРТОГОНАЛЬНАЯ?
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#4 Nick

Nick

    Новый участник

  • Members
  • Pip
  • 24 сообщений
  • Город:Санкт-Петербург

Отправлено 01 октября 2003 - 09:29

Тут я доверяю пакету SPSS. Если он пишет, что создает на основании введенных факторов и их значений ортогональную матрицу, значит она такая и есть :rolleyes: . Точное описание ортогональности можно найти где-нибудь в институтском курсе линейной алгебры.
Идею я взял из книжки "Тестирование объектно-ориентированного программного обеспечения", где вскользь говорилось об использовании подобного подхода в IBM, там он называется OATS (Orphogonal Array Testing System).
  • 0

#5 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 01 октября 2003 - 09:52

:)
Вера в пакет это канечно замечательно, но давайте попробуем разобраться что получилось.

Насколько я могу понять полученную матрицу - это какой-то промежуточный вариант работы системы. Сужу исключительно по виду - это не ортогональная матрица (насколько свежи в моей памяти познания в алгебре), стало быть это какой то предварительный, полный вариант работы системы, на который можно накладывать доп условия.
Может как-то так?
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#6 Олешка

Олешка

    Консультант

  • Members
  • PipPipPipPip
  • 497 сообщений
  • ФИО:Ольга
  • Город:Рига, Латвия

Отправлено 01 октября 2003 - 10:19

Nick, идея очень интересная, вот разобраться бы только.

Залезла в эту книжку, нашла там такой текст: "В ортогональной матрице коэффициенты образуют попарные сочетания, а не всевозможные комбинации уровней для коэффициентов."

Насколько понимаю, в этом и есть идея. Так? И еще вопрос - как вы выбираете уровень покрытия?
  • 0

#7 Eugene

Eugene

    Консультант

  • Members
  • Pip
  • 50 сообщений
  • Город:Киев

Отправлено 01 октября 2003 - 11:04

Насколько я понял идею ортогонального метода по описанию в данной книге, то она состоит в том, что Most of the faults resulting from interactions are due to two-way interactions. Таким образом матрица должна содержать как минимум все возможные попарные комбинации различных факторов. По рисунку на первый взгляд похоже, что это условие действительно выполняется, и ни одну строку нельзя выкинуть без его нарушения.
  • 0

#8 Nick

Nick

    Новый участник

  • Members
  • Pip
  • 24 сообщений
  • Город:Санкт-Петербург

Отправлено 01 октября 2003 - 11:13

Полный вариант - это т.н. полный факторный эксперимент, 240 вариантов. Как по внешнему виду можно определить ортогональность, я не знаю, насколько я помню, для этого нужны достаточно серьезные вычисления.
Доп условия, конечно, накладывать нужно, т.к. часть вариантов может быть неприменима, ортогональность при этом будет утеряна, но в качестве первого приближения это очень неплохо.
  • 0

#9 Nick

Nick

    Новый участник

  • Members
  • Pip
  • 24 сообщений
  • Город:Санкт-Петербург

Отправлено 01 октября 2003 - 11:31

Пока отправлял ответ Case, пришли еще два сообщения :unsure:
В теории вроде так и считается, что именно попарные сочетания всех факторов и позволяют наиболее полно проверить надежность системы при минимуме испытаний. Все возможные комбинации из 3,4 и т.д. факторов тоже могут иметь значение, но оно значительно меньше. Не уверен на сто процентов, но что-то в этом духе я читал.
Общая идея в том, что при выборе тестовых случаев по ортогональной матрице вы имеете МАКСИМАЛЬНУЮ вероятность обнаружить проблемы для данного числа тестов. Если придумать другие свои 25 случаев из полных 240, то вероятность будет меньше (в статистическом плане, конечно).

2Олешка: что имелось в виду в данном случае под уровнем покрытия?
  • 0

#10 Олешка

Олешка

    Консультант

  • Members
  • PipPipPipPip
  • 497 сообщений
  • ФИО:Ольга
  • Город:Рига, Латвия

Отправлено 01 октября 2003 - 11:42

В той же книжке далее (у меня перевод на русский издательства DiaSoft, так что может не совпадать с оригиналом) написано, что, работая с такой системой, можно выделять несколько уровней покрытия (плотность покрытия тестируемого продукта тестовыми случайми), которыми и пользоваться. Насколько я поняла, надо выбрать, какое количество комбинаций проверять. Так?
  • 0

#11 Nick

Nick

    Новый участник

  • Members
  • Pip
  • 24 сообщений
  • Город:Санкт-Петербург

Отправлено 01 октября 2003 - 12:12

Да, у меня тоже перевод от Диасофт. Заглянул и нашел там параграф про уровни покрытия.
Написано не очень внятно, но если я правильно понял, выполнение всех случаев из ортогональной матрицы дает представительный уровень покрытия. Если мы просто понапридумываем тестовых случаев, то произвольный уровень.

Я взял из этой книжки только идею без привязки к ОО программированию.

Дело еще в том, что в реальной работе мы пока еще не применяли данный подход, но хотим, т.к. это все-таки научный метод тыка ;) , а не просто метод тыка.
  • 0

#12 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 01 октября 2003 - 13:39

В помощь дискусии Eugene предложил воспользоваться оригиналом статьи на англ. языке, который можно получить вот тут: http://tester.com.ua..._test_cases.pdf

Спасибо, Eugene!
Eugene также предложил полную версию книги в ел.виде (всё тот же буржуйский язык), она весит около 6 метров, будет необходимость, говорите, тоже выложим.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#13 SALar

SALar

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 2 289 сообщений
  • Город:Москва


Отправлено 06 октября 2003 - 06:38

Ок. Все хорошо. Но!
Возможно при других факторах эту таблицу и можно использовать. А при таких, ну, никак. Строки 5, 10, 11 и т.д. сразу нужно отбрасывать. 6 строку и ей подобные (W95+XP+5.0) я бы тоже выкинул, как слишком маловероятную. Видимо тулза тулзой, но здравый смысл применять тоже стоит.
  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#14 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 октября 2003 - 07:47

Здравый смысл так же подскажет убрать строки 5,11, 24 (если ХР виндовс идёт с 6.0 ИЕ, врядли кто будет сносить 6-ку и ставить 4-ку или 5-ку, если такое винда кстати ваапче позволит :))
Строка 19 под бо-о-ольшим вопросом, так как 5.5 по моему поставлялась с ХР-шкой только на заре, когда были какие то мутки с Ява-машиной 6-ой версии ИЕ (веб девелоперы меня подравят, если я ошибаюсь).
4 строки из 25 строковой выборки уже отметаются - не нравится мне эта програмульина.
Счас ещё побегаю по результатам - поглядим что ещё глючное на логику.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#15 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 октября 2003 - 07:56

Идём дальше:
25 строка: 2000-ка идёт с 5-ым ИЕ(?) - опять таки под вопросом вариант 2000-ки с 4-ым ИЕ, ну пусть будет.

2,6 строки: Ставить на 95-ую оську ХР-шный офис? Ну фанатов канечно много, сам когда то прикручивал, но рассматривать это как типичное окружение? :(

В опчем либо программа слишком переусердствовала в ортоганизации матрицы (термин странный, но наверное понятный), либо заданы какие-то сумашедшие условия выборки (к примеру сформировать критичныфе и нетипичные варианты - если программа такое позволяет)
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#16 Nick

Nick

    Новый участник

  • Members
  • Pip
  • 24 сообщений
  • Город:Санкт-Петербург

Отправлено 06 октября 2003 - 09:20

У меня складывается впечатление, что за деревьями вы не можете разглядеть леса. :)

Во-первых, SPSS ничего не знает об ограничениях, накладываемых на совместимость отдельных факторов между собой. Строки матрицы, содержащие такие комбинации, должны быть исключены вручную, я об этом писал выше.
Во-вторых, это только ПРИМЕР, идея которого была предложена Case. Можно привести другие примеры, где ситуация складывается аналогично (ПФЭ будет насчитывать сотни тестовых случаев), которые все будут валидными и соответсвенно ортогональная матрица может быть использована полностью.
Пытался найти ссылку, есть где-то сайт, который на ВЕБ основе выполняет генерацию таких матриц за деньги с учетом всех исключений, но ценник у них - мама не горюй.
К сожалению, ссылки не нашел, может, кто другой видел.
  • 0

#17 Nick

Nick

    Новый участник

  • Members
  • Pip
  • 24 сообщений
  • Город:Санкт-Петербург

Отправлено 06 октября 2003 - 09:46

Все-таки нашел ссылочку
http://aetgweb.argre...m/pricing.shtml

А вот еще интересная статья на ту-же тему
Orthogonally Speaking
A method for deriving a suitable set of test cases

http://www.stickymin...iteemail&iDyn=2
  • 0

#18 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 октября 2003 - 09:50

Может я таки с утра леса и не разглядел :) но суть в том, что єтот подход мне остался непонятен.
Есть тул который делает матрицу окружений, при этом заявлено, что он её параметризирует согласно заданным параметрам, а на выходе мы имеем матрицу которую нужно на логику править руками, то вариантов два:
- не натроена логика построения и/или преобразования матрицы;
- тул не делает того, чаво должен (или я не понимаю, что он делает).

Растолкуйте? :)
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#19 Nick

Nick

    Новый участник

  • Members
  • Pip
  • 24 сообщений
  • Город:Санкт-Петербург

Отправлено 06 октября 2003 - 11:13

Тул (SPSS) - это пакет статистических расчетов, не имеющий ничего общего с тестированием. Построение ортогональных матриц - это одна из его возможностей, весьма полезная при планировании эксперимента. Чистая математика. Само построение проводится после задания факторов и их уровней в диалоге. Эти данные можно экспортировать в текстовый файл, Excel, DBF etc. В этом случае это просто таблица чисел. Никаких ограничений на логику построения матрицы на совместимость факторов не накладывается. Возможно, есть и другие тулзы, которые позволяют на этапе описания факторов установить правила их совместимости. С этого и начинался тред, кто что может юзает для задач такого типа.
  • 0

#20 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 октября 2003 - 12:15

Тул (SPSS) - это пакет статистических расчетов, не имеющий ничего общего с тестированием.

:D Вот блин - а я губу раскатал :)
Теперь понятно откуда таки математически верные результаты.
Спасибо что прояснили.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru


Практикум по тест-дизайну 2.0
онлайн
Школа для начинающих тестировщиков
онлайн
Школа тест-аналитика
онлайн
Техники локализации плавающих дефектов
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале