Сообщений в теме: 25

[Nick]

Пример ортогональной матрицы

[Case]

Чтобы увидеть рисунок нажмите ссылку: (32 kb)
Ортогональная матрица.

Попробовал залить на форум - слишком долго грузиться, даже на моей выделенке, чтобы тягать такую картинку каждый раз при просмотре темы.

[Case]

А теперь вопрос - почему эта матрица ОРТОГОНАЛЬНАЯ?

[Nick]

Тут я доверяю пакету SPSS. Если он пишет, что создает на основании введенных факторов и их значений ортогональную матрицу, значит она такая и есть :rolleyes: . Точное описание ортогональности можно найти где-нибудь в институтском курсе линейной алгебры.
Идею я взял из книжки "Тестирование объектно-ориентированного программного обеспечения", где вскользь говорилось об использовании подобного подхода в IBM, там он называется OATS (Orphogonal Array Testing System).

[Case]

:)
Вера в пакет это канечно замечательно, но давайте попробуем разобраться что получилось.

Насколько я могу понять полученную матрицу - это какой-то промежуточный вариант работы системы. Сужу исключительно по виду - это не ортогональная матрица (насколько свежи в моей памяти познания в алгебре), стало быть это какой то предварительный, полный вариант работы системы, на который можно накладывать доп условия.
Может как-то так?

[Олешка]

Nick, идея очень интересная, вот разобраться бы только.

Залезла в эту книжку, нашла там такой текст: "В ортогональной матрице коэффициенты образуют попарные сочетания, а не всевозможные комбинации уровней для коэффициентов."

Насколько понимаю, в этом и есть идея. Так? И еще вопрос - как вы выбираете уровень покрытия?

[Eugene]

Насколько я понял идею ортогонального метода по описанию в данной книге, то она состоит в том, что Most of the faults resulting from interactions are due to two-way interactions. Таким образом матрица должна содержать как минимум все возможные попарные комбинации различных факторов. По рисунку на первый взгляд похоже, что это условие действительно выполняется, и ни одну строку нельзя выкинуть без его нарушения.

[Nick]

Полный вариант - это т.н. полный факторный эксперимент, 240 вариантов. Как по внешнему виду можно определить ортогональность, я не знаю, насколько я помню, для этого нужны достаточно серьезные вычисления.
Доп условия, конечно, накладывать нужно, т.к. часть вариантов может быть неприменима, ортогональность при этом будет утеряна, но в качестве первого приближения это очень неплохо.

[Nick]

Пока отправлял ответ Case, пришли еще два сообщения :unsure:
В теории вроде так и считается, что именно попарные сочетания всех факторов и позволяют наиболее полно проверить надежность системы при минимуме испытаний. Все возможные комбинации из 3,4 и т.д. факторов тоже могут иметь значение, но оно значительно меньше. Не уверен на сто процентов, но что-то в этом духе я читал.
Общая идея в том, что при выборе тестовых случаев по ортогональной матрице вы имеете МАКСИМАЛЬНУЮ вероятность обнаружить проблемы для данного числа тестов. Если придумать другие свои 25 случаев из полных 240, то вероятность будет меньше (в статистическом плане, конечно).

2Олешка: что имелось в виду в данном случае под уровнем покрытия?

[Олешка]

В той же книжке далее (у меня перевод на русский издательства DiaSoft, так что может не совпадать с оригиналом) написано, что, работая с такой системой, можно выделять несколько уровней покрытия (плотность покрытия тестируемого продукта тестовыми случайми), которыми и пользоваться. Насколько я поняла, надо выбрать, какое количество комбинаций проверять. Так?

[Nick]

Да, у меня тоже перевод от Диасофт. Заглянул и нашел там параграф про уровни покрытия.
Написано не очень внятно, но если я правильно понял, выполнение всех случаев из ортогональной матрицы дает представительный уровень покрытия. Если мы просто понапридумываем тестовых случаев, то произвольный уровень.

Я взял из этой книжки только идею без привязки к ОО программированию.

Дело еще в том, что в реальной работе мы пока еще не применяли данный подход, но хотим, т.к. это все-таки научный метод тыка ;) , а не просто метод тыка.

[Case]

В помощь дискусии Eugene предложил воспользоваться оригиналом статьи на англ. языке, который можно получить вот тут: http://tester.com.ua..._test_cases.pdf

Спасибо, Eugene!
Eugene также предложил полную версию книги в ел.виде (всё тот же буржуйский язык), она весит около 6 метров, будет необходимость, говорите, тоже выложим.

[SALar]

Ок. Все хорошо. Но!
Возможно при других факторах эту таблицу и можно использовать. А при таких, ну, никак. Строки 5, 10, 11 и т.д. сразу нужно отбрасывать. 6 строку и ей подобные (W95+XP+5.0) я бы тоже выкинул, как слишком маловероятную. Видимо тулза тулзой, но здравый смысл применять тоже стоит.

[Case]

Здравый смысл так же подскажет убрать строки 5,11, 24 (если ХР виндовс идёт с 6.0 ИЕ, врядли кто будет сносить 6-ку и ставить 4-ку или 5-ку, если такое винда кстати ваапче позволит :))
Строка 19 под бо-о-ольшим вопросом, так как 5.5 по моему поставлялась с ХР-шкой только на заре, когда были какие то мутки с Ява-машиной 6-ой версии ИЕ (веб девелоперы меня подравят, если я ошибаюсь).
4 строки из 25 строковой выборки уже отметаются - не нравится мне эта програмульина.
Счас ещё побегаю по результатам - поглядим что ещё глючное на логику.

[Case]

Идём дальше:
25 строка: 2000-ка идёт с 5-ым ИЕ(?) - опять таки под вопросом вариант 2000-ки с 4-ым ИЕ, ну пусть будет.

2,6 строки: Ставить на 95-ую оську ХР-шный офис? Ну фанатов канечно много, сам когда то прикручивал, но рассматривать это как типичное окружение? :(

В опчем либо программа слишком переусердствовала в ортоганизации матрицы (термин странный, но наверное понятный), либо заданы какие-то сумашедшие условия выборки (к примеру сформировать критичныфе и нетипичные варианты - если программа такое позволяет)

[Nick]

У меня складывается впечатление, что за деревьями вы не можете разглядеть леса. :)

Во-первых, SPSS ничего не знает об ограничениях, накладываемых на совместимость отдельных факторов между собой. Строки матрицы, содержащие такие комбинации, должны быть исключены вручную, я об этом писал выше.
Во-вторых, это только ПРИМЕР, идея которого была предложена Case. Можно привести другие примеры, где ситуация складывается аналогично (ПФЭ будет насчитывать сотни тестовых случаев), которые все будут валидными и соответсвенно ортогональная матрица может быть использована полностью.
Пытался найти ссылку, есть где-то сайт, который на ВЕБ основе выполняет генерацию таких матриц за деньги с учетом всех исключений, но ценник у них - мама не горюй.
К сожалению, ссылки не нашел, может, кто другой видел.

[Nick]

Все-таки нашел ссылочку
http://aetgweb.argre...m/pricing.shtml

А вот еще интересная статья на ту-же тему
Orthogonally Speaking
A method for deriving a suitable set of test cases

http://www.stickymin...iteemail&iDyn=2

[Case]

Может я таки с утра леса и не разглядел :) но суть в том, что єтот подход мне остался непонятен.
Есть тул который делает матрицу окружений, при этом заявлено, что он её параметризирует согласно заданным параметрам, а на выходе мы имеем матрицу которую нужно на логику править руками, то вариантов два:
- не натроена логика построения и/или преобразования матрицы;
- тул не делает того, чаво должен (или я не понимаю, что он делает).

Растолкуйте? :)

[Nick]

Тул (SPSS) - это пакет статистических расчетов, не имеющий ничего общего с тестированием. Построение ортогональных матриц - это одна из его возможностей, весьма полезная при планировании эксперимента. Чистая математика. Само построение проводится после задания факторов и их уровней в диалоге. Эти данные можно экспортировать в текстовый файл, Excel, DBF etc. В этом случае это просто таблица чисел. Никаких ограничений на логику построения матрицы на совместимость факторов не накладывается. Возможно, есть и другие тулзы, которые позволяют на этапе описания факторов установить правила их совместимости. С этого и начинался тред, кто что может юзает для задач такого типа.

[Case]

Тул (SPSS) - это пакет статистических расчетов, не имеющий ничего общего с тестированием.

:D Вот блин - а я губу раскатал :)
Теперь понятно откуда таки математически верные результаты.
Спасибо что прояснили.