Сообщений в теме: 9

[Alfa]

Началось все примерно с этого поста http://software-test...w...ost&p=58498 .
Потом была куча ответов. Предлагаю продолжить обсуждать в этой теме.

[barancev]

Сравнивать можно что угодно. Иначе жить было бы невозможно. На вопрос "как сравнивать то, что не сравнивается непосредственно" отвечает наука о принятии решений. Кого математика не смущает -- читайте книгу Блюмин С.Л., Шуйкова И.А. Модели и методы принятия решения в условиях неопределенности. Если хочется избежать математических сложностей -- можно почитать Эддоус М., Стэнсфилд Р. Методы принятия решения (читается вообще как художественная литература).

То что я могу сравнить, что мне лучше, два яблока или три апельсина у меня сомнений не вызывает. Но этот результат НЕ может быть обобщен на большую группу людей.

Можно, можно обобщить, не сомневайтесь :) Читайте упомянутые книжки.

Вообще-то я имел ввиду, что нельзя ввести в стогом математическом смысле операцию сравнения. Вы, Алексей, как математик должны знать, что поле комплексных чисел упорядочить нельзя. Т.е. нельзя сравнить одно комплексное число с другим.

Везде, где можно ввести какую-нибудь метрику, автоматически можно ввести и операцию сравнения. Метрику часто можно ввести многими разными способами, тогда получается много разных способов сравнения, как бы "несовместимых" между собой, но они просто служат достижению разных целей.

Чтобы не морочить голову, поясню без математики, на бытовом примере (про яблоки и апельсины). Можно сравнивать количество съеденной еды по массе. Можно по объёму. Можно по калорийности. Можно по вкусности (основываясь на экспертных оценках). Можно по отдельным ингредиентам (белки, жиры, минералы, витамины). Куча разных метрик. Их можно комбинировать, получатся новые метрики. Метрика выбирается под ЦЕЛЬ.

[Alfa]

Можно, можно обобщить, не сомневайтесь :) Читайте упомянутые книжки.

Прямо заинтриговали. Прочитаю и заставлю всех есть апельсины :))).

Везде, где можно ввести какую-нибудь метрику, автоматически можно ввести и операцию сравнения. Метрику часто можно ввести многими разными способами, тогда получается много разных способов сравнения, как бы "несовместимых" между собой, но они просто служат достижению разных целей.

Чтобы не морочить голову, поясню без математики, на бытовом примере (про яблоки и апельсины). Можно сравнивать количество съеденной еды по массе. Можно по объёму. Можно по калорийности. Можно по вкусности (основываясь на экспертных оценках). Можно по отдельным ингредиентам (белки, жиры, минералы, витамины). Куча разных метрик. Их можно комбинировать, получатся новые метрики. Метрика выбирается под ЦЕЛЬ.

Это в целом было понятно. НО в итоге сравниваются все-таки метрики (числа), про это забывать не стоит. И про то, что метрик куча разных, то же не стоит забывать.
Вообщем я понял вашу мысль, обращусь далее к литературе.

PS Теперь офтопим в этой теме

[SALar]

Читайте раздел высшей математики "Многофакторный эксперимент".

Обидно. Этот раздел является одним из самых часто используемых в работе тестировщика, руководителя проекта, аудитора (QA). И при этом его очень редко читают в институтах в полном объеме. А ведь управление проектом напрямую базируется на этом разделе! Без него вообще нельзя.
Я выскажу крамольную мысль, что вместо PMBok лучше изучить именно его.

[Alfa]

Читайте раздел высшей математики "Многофакторный эксперимент".

Спасибо, но про метрики и сравнение не сравниваемого я уже понял достаточно. В какую-нибудь книгу загляну.

Может кто-нибудь хочет высказаться по теме?

[barancev]

А отчего такое особое внимание к удобству использования? Метрики для остальных атрибутов качества не вызывают сомнений? Скажем, для самой первой группы, которая относится собственно к функциональности, и самых наиважнейших атрибутов -- пригодность и точность -- всё с метриками ясно?

С точностью, например, все предельно ясно. Чем меньше погрешность тем лучше точность. Хотя определение точности приведено более чем странное.
Встречный вопрос: я правильно понимаю, что все характеристики определяемые как "способность ...", надо понимать как значение в один бит? Т.е. либо способность есть либо ее нет. Или имеется ввиду что-то другое?

Действительно, под "точностью" в стандарте подразумевается более широкое понятие, может быть лучше было бы сказать "правильность", "корректность", но уж больно эти слова расплывчатые. Смысл в том, что система делает то, что должна делать.

Характеристики, определяемые как "способность", не надо понимать как значение в один бит. Это просто оборот речи :)

Теперь про предельную ясность. Давайте, в самом деле, поговорим про какие-нибудь простые математические функции и точность вычислений.
Вот есть у нас, скажем, три реализации функции синус, на входе и выходе действительное число двойной точности (double то есть).
Первая реализация вычисляет синус в любой точке с абсолютной погрешностью 10E-8.
Вторая вычисляет с абсолютной погрешностью 10E-10 в области от -2pi до +2pi и с погрешностью 10E-5 на остальной части оси.
Третья вычисляет с абсолютной погрешностью 10E-12 на всей оси, но есть некоторое количество "плохих" точек, в которых значение синуса может достигать нескольких тысяч.
Вопрос -- какая из реализаций лучше, точнее?

[Alfa]

Действительно, под "точностью" в стандарте подразумевается более широкое понятие, может быть лучше было бы сказать "правильность", "корректность", но уж больно эти слова расплывчатые. Смысл в том, что система делает то, что должна делать.

Да, действительно очень, очень расплывчато. Кому все-таки она это должна? :)) Больше похоже на функциональную полноту получается.

Вопрос -- какая из реализаций лучше, точнее?

Хороший вопрос.
Если функция синуса будет применяться на всем диапазоне значений, то безусловно первая реализация точнее. Потому что гарантированная погрешность у нее меньше, при любых входных данных.
Вторая и третья будут точнее, если мы можем гарантировать, что соответствующие "плохие" входные данные не будут переданы функции.
Т.е. например второй вариант реализации можно легко переделать на более точный, за счет периодичности синуса.
Аналогично с третьим можно что-то придумать.

[Alfa]

Вопрос -- какая из реализаций лучше, точнее?

Или еще можно для каждого варианта посчитать некую интегральную характеристику "что-то типа невязки". И сравнить по ней.
Но как вы писали -- метрика будет зависеть от ЦЕЛЕЙ.

[barancev]

Может кто-нибудь хочет высказаться по теме?

По теме: http://en.wikipedia..../Falsifiability

[Alfa]

Может кто-нибудь хочет высказаться по теме?

По теме: http://en.wikipedia..../Falsifiability

О спасибо. Не думаю, что там написано что-то сильно для меня новое, зато теперь я знаю как это слово переводится. И еще там есть куча отличных ссылок. Даже не ожидал, что в википедии так прилично написано.