Форум тестировщиков: Software-Testing.Ru: Можно ли подтвердить теорию результатами испытаний? - Форум тестировщиков: Software-Testing.Ru

Началось все примерно с этого поста http://software-testing.ru/forum/index.php?show...ost&p=58498 .
Потом была куча ответов. Предлагаю продолжить обсуждать в этой теме.

Alfa (16.7.2008, 10:58) писал:

Можно, можно обобщить, не сомневайтесь :) Читайте упомянутые книжки.

Alfa (16.7.2008, 10:58) писал:

Везде, где можно ввести какую-нибудь метрику, автоматически можно ввести и операцию сравнения. Метрику часто можно ввести многими разными способами, тогда получается много разных способов сравнения, как бы "несовместимых" между собой, но они просто служат достижению разных целей.

Чтобы не морочить голову, поясню без математики, на бытовом примере (про яблоки и апельсины). Можно сравнивать количество съеденной еды по массе. Можно по объёму. Можно по калорийности. Можно по вкусности (основываясь на экспертных оценках). Можно по отдельным ингредиентам (белки, жиры, минералы, витамины). Куча разных метрик. Их можно комбинировать, получатся новые метрики. Метрика выбирается под ЦЕЛЬ.

barancev (17.7.2008, 12:26) писал:

Прямо заинтриговали. Прочитаю и заставлю всех есть апельсины :))).

barancev (17.7.2008, 12:26) писал:

Это в целом было понятно. НО в итоге сравниваются все-таки метрики (числа), про это забывать не стоит. И про то, что метрик куча разных, то же не стоит забывать.
Вообщем я понял вашу мысль, обращусь далее к литературе.

PS Теперь офтопим в этой теме

Читайте раздел высшей математики "Многофакторный эксперимент".

Обидно. Этот раздел является одним из самых часто используемых в работе тестировщика, руководителя проекта, аудитора (QA). И при этом его очень редко читают в институтах в полном объеме. А ведь управление проектом напрямую базируется на этом разделе! Без него вообще нельзя.
Я выскажу крамольную мысль, что вместо PMBok лучше изучить именно его.

SALar (17.7.2008, 13:57) писал:

Спасибо, но про метрики и сравнение не сравниваемого я уже понял достаточно. В какую-нибудь книгу загляну.

Может кто-нибудь хочет высказаться по теме?

Alfa (16.7.2008, 11:05) писал:

Действительно, под "точностью" в стандарте подразумевается более широкое понятие, может быть лучше было бы сказать "правильность", "корректность", но уж больно эти слова расплывчатые. Смысл в том, что система делает то, что должна делать.

Характеристики, определяемые как "способность", не надо понимать как значение в один бит. Это просто оборот речи :)

Теперь про предельную ясность. Давайте, в самом деле, поговорим про какие-нибудь простые математические функции и точность вычислений.
Вот есть у нас, скажем, три реализации функции синус, на входе и выходе действительное число двойной точности (double то есть).
Первая реализация вычисляет синус в любой точке с абсолютной погрешностью 10E-8.
Вторая вычисляет с абсолютной погрешностью 10E-10 в области от -2pi до +2pi и с погрешностью 10E-5 на остальной части оси.
Третья вычисляет с абсолютной погрешностью 10E-12 на всей оси, но есть некоторое количество "плохих" точек, в которых значение синуса может достигать нескольких тысяч.
Вопрос -- какая из реализаций лучше, точнее?

barancev (17.7.2008, 15:36) писал:

Да, действительно очень, очень расплывчато. Кому все-таки она это должна? :)) Больше похоже на функциональную полноту получается.

barancev (17.7.2008, 15:36) писал:

Хороший вопрос.
Если функция синуса будет применяться на всем диапазоне значений, то безусловно первая реализация точнее. Потому что гарантированная погрешность у нее меньше, при любых входных данных.
Вторая и третья будут точнее, если мы можем гарантировать, что соответствующие "плохие" входные данные не будут переданы функции.
Т.е. например второй вариант реализации можно легко переделать на более точный, за счет периодичности синуса.
Аналогично с третьим можно что-то придумать.

barancev (17.7.2008, 15:36) писал:

Или еще можно для каждого варианта посчитать некую интегральную характеристику "что-то типа невязки". И сравнить по ней.
Но как вы писали -- метрика будет зависеть от ЦЕЛЕЙ.

Alfa (17.7.2008, 15:20) писал:

По теме: http://en.wikipedia..../Falsifiability

barancev (17.7.2008, 19:27) писал:

О спасибо. Не думаю, что там написано что-то сильно для меня новое, зато теперь я знаю как это слово переводится. И еще там есть куча отличных ссылок. Даже не ожидал, что в википедии так прилично написано.