Просмотр новых публикаций

Пример ортогональной матрицы

Автор Nick, 01 окт 2003 07:33

Вперед

Авторизуйтесь для ответа в теме

Сообщений в теме: 25

#1 Nick

Новый участник

Members
24 сообщений

Город:Санкт-Петербург

Отправлено 01 октября 2003 - 07:33

Пример ортогональной матрицы

0

Наверх

#2 Case

Основатель

Members
7 071 сообщений

ФИО:Панкратов Вячеслав
Город:Украина, Киев.

Отправлено 01 октября 2003 - 07:41

Чтобы увидеть рисунок нажмите ссылку: (32 kb)
Ортогональная матрица.

Попробовал залить на форум - слишком долго грузиться, даже на моей выделенке, чтобы тягать такую картинку каждый раз при просмотре темы.

0

Слава Панкратов
Редактор портала www.it4business.ru

Наверх

#3 Case

Основатель

Members
7 071 сообщений

ФИО:Панкратов Вячеслав
Город:Украина, Киев.

Отправлено 01 октября 2003 - 07:45

А теперь вопрос - почему эта матрица ОРТОГОНАЛЬНАЯ?

0

Слава Панкратов
Редактор портала www.it4business.ru

Наверх

#4 Nick

Новый участник

Members
24 сообщений

Город:Санкт-Петербург

Отправлено 01 октября 2003 - 09:29

Тут я доверяю пакету SPSS. Если он пишет, что создает на основании введенных факторов и их значений ортогональную матрицу, значит она такая и есть :rolleyes: . Точное описание ортогональности можно найти где-нибудь в институтском курсе линейной алгебры.
Идею я взял из книжки "Тестирование объектно-ориентированного программного обеспечения", где вскользь говорилось об использовании подобного подхода в IBM, там он называется OATS (Orphogonal Array Testing System).

0

Наверх

#5 Case

Основатель

Members
7 071 сообщений

ФИО:Панкратов Вячеслав
Город:Украина, Киев.

Отправлено 01 октября 2003 - 09:52

:)
Вера в пакет это канечно замечательно, но давайте попробуем разобраться что получилось.

Насколько я могу понять полученную матрицу - это какой-то промежуточный вариант работы системы. Сужу исключительно по виду - это не ортогональная матрица (насколько свежи в моей памяти познания в алгебре), стало быть это какой то предварительный, полный вариант работы системы, на который можно накладывать доп условия.
Может как-то так?

0

Слава Панкратов
Редактор портала www.it4business.ru

Наверх

#6 Олешка

Консультант

Members
497 сообщений

ФИО:Ольга
Город:Рига, Латвия

Отправлено 01 октября 2003 - 10:19

Nick, идея очень интересная, вот разобраться бы только.

Залезла в эту книжку, нашла там такой текст: "В ортогональной матрице коэффициенты образуют попарные сочетания, а не всевозможные комбинации уровней для коэффициентов."

Насколько понимаю, в этом и есть идея. Так? И еще вопрос - как вы выбираете уровень покрытия?

0

Наверх

#7 Eugene

Консультант

Members
50 сообщений

Город:Киев

Отправлено 01 октября 2003 - 11:04

Насколько я понял идею ортогонального метода по описанию в данной книге, то она состоит в том, что Most of the faults resulting from interactions are due to two-way interactions. Таким образом матрица должна содержать как минимум все возможные попарные комбинации различных факторов. По рисунку на первый взгляд похоже, что это условие действительно выполняется, и ни одну строку нельзя выкинуть без его нарушения.

0

Наверх

#8 Nick

Новый участник

Members
24 сообщений

Город:Санкт-Петербург

Отправлено 01 октября 2003 - 11:13

Полный вариант - это т.н. полный факторный эксперимент, 240 вариантов. Как по внешнему виду можно определить ортогональность, я не знаю, насколько я помню, для этого нужны достаточно серьезные вычисления.
Доп условия, конечно, накладывать нужно, т.к. часть вариантов может быть неприменима, ортогональность при этом будет утеряна, но в качестве первого приближения это очень неплохо.

0

Наверх

#9 Nick

Новый участник

Members
24 сообщений

Город:Санкт-Петербург

Отправлено 01 октября 2003 - 11:31

Пока отправлял ответ Case, пришли еще два сообщения :unsure:
В теории вроде так и считается, что именно попарные сочетания всех факторов и позволяют наиболее полно проверить надежность системы при минимуме испытаний. Все возможные комбинации из 3,4 и т.д. факторов тоже могут иметь значение, но оно значительно меньше. Не уверен на сто процентов, но что-то в этом духе я читал.
Общая идея в том, что при выборе тестовых случаев по ортогональной матрице вы имеете МАКСИМАЛЬНУЮ вероятность обнаружить проблемы для данного числа тестов. Если придумать другие свои 25 случаев из полных 240, то вероятность будет меньше (в статистическом плане, конечно).

2Олешка: что имелось в виду в данном случае под уровнем покрытия?

0

Наверх

#10 Олешка

Консультант

Members
497 сообщений

ФИО:Ольга
Город:Рига, Латвия

Отправлено 01 октября 2003 - 11:42

В той же книжке далее (у меня перевод на русский издательства DiaSoft, так что может не совпадать с оригиналом) написано, что, работая с такой системой, можно выделять несколько уровней покрытия (плотность покрытия тестируемого продукта тестовыми случайми), которыми и пользоваться. Насколько я поняла, надо выбрать, какое количество комбинаций проверять. Так?

0

Наверх

#11 Nick

Новый участник

Members
24 сообщений

Город:Санкт-Петербург

Отправлено 01 октября 2003 - 12:12

Да, у меня тоже перевод от Диасофт. Заглянул и нашел там параграф про уровни покрытия.
Написано не очень внятно, но если я правильно понял, выполнение всех случаев из ортогональной матрицы дает представительный уровень покрытия. Если мы просто понапридумываем тестовых случаев, то произвольный уровень.

Я взял из этой книжки только идею без привязки к ОО программированию.

Дело еще в том, что в реальной работе мы пока еще не применяли данный подход, но хотим, т.к. это все-таки научный метод тыка ;) , а не просто метод тыка.

0

Наверх

#12 Case

Основатель

Members
7 071 сообщений

ФИО:Панкратов Вячеслав
Город:Украина, Киев.

Отправлено 01 октября 2003 - 13:39

В помощь дискусии Eugene предложил воспользоваться оригиналом статьи на англ. языке, который можно получить вот тут: http://tester.com.ua..._test_cases.pdf

Спасибо, Eugene!
Eugene также предложил полную версию книги в ел.виде (всё тот же буржуйский язык), она весит около 6 метров, будет необходимость, говорите, тоже выложим.

0

Слава Панкратов
Редактор портала www.it4business.ru

Наверх

#13 SALar

Профессионал

Members
2 298 сообщений

Город:Москва

Отправлено 06 октября 2003 - 06:38

Ок. Все хорошо. Но!
Возможно при других факторах эту таблицу и можно использовать. А при таких, ну, никак. Строки 5, 10, 11 и т.д. сразу нужно отбрасывать. 6 строку и ей подобные (W95+XP+5.0) я бы тоже выкинул, как слишком маловероятную. Видимо тулза тулзой, но здравый смысл применять тоже стоит.

0

--

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона

Наверх

#14 Case

Основатель

Members
7 071 сообщений

ФИО:Панкратов Вячеслав
Город:Украина, Киев.

Отправлено 06 октября 2003 - 07:47

Здравый смысл так же подскажет убрать строки 5,11, 24 (если ХР виндовс идёт с 6.0 ИЕ, врядли кто будет сносить 6-ку и ставить 4-ку или 5-ку, если такое винда кстати ваапче позволит :))
Строка 19 под бо-о-ольшим вопросом, так как 5.5 по моему поставлялась с ХР-шкой только на заре, когда были какие то мутки с Ява-машиной 6-ой версии ИЕ (веб девелоперы меня подравят, если я ошибаюсь).
4 строки из 25 строковой выборки уже отметаются - не нравится мне эта програмульина.
Счас ещё побегаю по результатам - поглядим что ещё глючное на логику.

0

Слава Панкратов
Редактор портала www.it4business.ru

Наверх

#15 Case

Основатель

Members
7 071 сообщений

ФИО:Панкратов Вячеслав
Город:Украина, Киев.

Отправлено 06 октября 2003 - 07:56

Идём дальше:
25 строка: 2000-ка идёт с 5-ым ИЕ(?) - опять таки под вопросом вариант 2000-ки с 4-ым ИЕ, ну пусть будет.

2,6 строки: Ставить на 95-ую оську ХР-шный офис? Ну фанатов канечно много, сам когда то прикручивал, но рассматривать это как типичное окружение? :(

В опчем либо программа слишком переусердствовала в ортоганизации матрицы (термин странный, но наверное понятный), либо заданы какие-то сумашедшие условия выборки (к примеру сформировать критичныфе и нетипичные варианты - если программа такое позволяет)

0

Слава Панкратов
Редактор портала www.it4business.ru

Наверх

#16 Nick

Новый участник

Members
24 сообщений

Город:Санкт-Петербург

Отправлено 06 октября 2003 - 09:20

У меня складывается впечатление, что за деревьями вы не можете разглядеть леса. :)

Во-первых, SPSS ничего не знает об ограничениях, накладываемых на совместимость отдельных факторов между собой. Строки матрицы, содержащие такие комбинации, должны быть исключены вручную, я об этом писал выше.
Во-вторых, это только ПРИМЕР, идея которого была предложена Case. Можно привести другие примеры, где ситуация складывается аналогично (ПФЭ будет насчитывать сотни тестовых случаев), которые все будут валидными и соответсвенно ортогональная матрица может быть использована полностью.
Пытался найти ссылку, есть где-то сайт, который на ВЕБ основе выполняет генерацию таких матриц за деньги с учетом всех исключений, но ценник у них - мама не горюй.
К сожалению, ссылки не нашел, может, кто другой видел.

0

Наверх

#17 Nick

Новый участник

Members
24 сообщений

Город:Санкт-Петербург

Отправлено 06 октября 2003 - 09:46

Все-таки нашел ссылочку
http://aetgweb.argre...m/pricing.shtml

А вот еще интересная статья на ту-же тему
Orthogonally Speaking
A method for deriving a suitable set of test cases

http://www.stickymin...iteemail&iDyn=2

0

Наверх

#18 Case

Основатель

Members
7 071 сообщений

ФИО:Панкратов Вячеслав
Город:Украина, Киев.

Отправлено 06 октября 2003 - 09:50

Может я таки с утра леса и не разглядел :) но суть в том, что єтот подход мне остался непонятен.
Есть тул который делает матрицу окружений, при этом заявлено, что он её параметризирует согласно заданным параметрам, а на выходе мы имеем матрицу которую нужно на логику править руками, то вариантов два:
- не натроена логика построения и/или преобразования матрицы;
- тул не делает того, чаво должен (или я не понимаю, что он делает).

Растолкуйте? :)

0

Слава Панкратов
Редактор портала www.it4business.ru

Наверх

#19 Nick

Новый участник

Members
24 сообщений

Город:Санкт-Петербург

Отправлено 06 октября 2003 - 11:13

Тул (SPSS) - это пакет статистических расчетов, не имеющий ничего общего с тестированием. Построение ортогональных матриц - это одна из его возможностей, весьма полезная при планировании эксперимента. Чистая математика. Само построение проводится после задания факторов и их уровней в диалоге. Эти данные можно экспортировать в текстовый файл, Excel, DBF etc. В этом случае это просто таблица чисел. Никаких ограничений на логику построения матрицы на совместимость факторов не накладывается. Возможно, есть и другие тулзы, которые позволяют на этапе описания факторов установить правила их совместимости. С этого и начинался тред, кто что может юзает для задач такого типа.