Можно ли подтвердить теорию результатами испытаний?
#1
Отправлено 16 июля 2008 - 06:40
Потом была куча ответов. Предлагаю продолжить обсуждать в этой теме.
Чубака — это вуки с планеты Киши, но живет Чубака на планете Эндо, а теперь вдумайтесь:
в этом же нет смысла. С какой стати Чубаке, вуки высотой два с половиной метра,
жить среди эвоков, которые чуть выше полуметра. В этом нет абсолютно никакого смысла.
#2
Отправлено 17 июля 2008 - 08:26
Можно, можно обобщить, не сомневайтесь :) Читайте упомянутые книжки.То что я могу сравнить, что мне лучше, два яблока или три апельсина у меня сомнений не вызывает. Но этот результат НЕ может быть обобщен на большую группу людей.Сравнивать можно что угодно. Иначе жить было бы невозможно. На вопрос "как сравнивать то, что не сравнивается непосредственно" отвечает наука о принятии решений. Кого математика не смущает -- читайте книгу Блюмин С.Л., Шуйкова И.А. Модели и методы принятия решения в условиях неопределенности. Если хочется избежать математических сложностей -- можно почитать Эддоус М., Стэнсфилд Р. Методы принятия решения (читается вообще как художественная литература).
Везде, где можно ввести какую-нибудь метрику, автоматически можно ввести и операцию сравнения. Метрику часто можно ввести многими разными способами, тогда получается много разных способов сравнения, как бы "несовместимых" между собой, но они просто служат достижению разных целей.Вообще-то я имел ввиду, что нельзя ввести в стогом математическом смысле операцию сравнения. Вы, Алексей, как математик должны знать, что поле комплексных чисел упорядочить нельзя. Т.е. нельзя сравнить одно комплексное число с другим.
Чтобы не морочить голову, поясню без математики, на бытовом примере (про яблоки и апельсины). Можно сравнивать количество съеденной еды по массе. Можно по объёму. Можно по калорийности. Можно по вкусности (основываясь на экспертных оценках). Можно по отдельным ингредиентам (белки, жиры, минералы, витамины). Куча разных метрик. Их можно комбинировать, получатся новые метрики. Метрика выбирается под ЦЕЛЬ.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#3
Отправлено 17 июля 2008 - 09:42
Прямо заинтриговали. Прочитаю и заставлю всех есть апельсины :))).Можно, можно обобщить, не сомневайтесь :) Читайте упомянутые книжки.
Это в целом было понятно. НО в итоге сравниваются все-таки метрики (числа), про это забывать не стоит. И про то, что метрик куча разных, то же не стоит забывать.Везде, где можно ввести какую-нибудь метрику, автоматически можно ввести и операцию сравнения. Метрику часто можно ввести многими разными способами, тогда получается много разных способов сравнения, как бы "несовместимых" между собой, но они просто служат достижению разных целей.
Чтобы не морочить голову, поясню без математики, на бытовом примере (про яблоки и апельсины). Можно сравнивать количество съеденной еды по массе. Можно по объёму. Можно по калорийности. Можно по вкусности (основываясь на экспертных оценках). Можно по отдельным ингредиентам (белки, жиры, минералы, витамины). Куча разных метрик. Их можно комбинировать, получатся новые метрики. Метрика выбирается под ЦЕЛЬ.
Вообщем я понял вашу мысль, обращусь далее к литературе.
PS Теперь офтопим в этой теме
Чубака — это вуки с планеты Киши, но живет Чубака на планете Эндо, а теперь вдумайтесь:
в этом же нет смысла. С какой стати Чубаке, вуки высотой два с половиной метра,
жить среди эвоков, которые чуть выше полуметра. В этом нет абсолютно никакого смысла.
#4
Отправлено 17 июля 2008 - 09:57
Обидно. Этот раздел является одним из самых часто используемых в работе тестировщика, руководителя проекта, аудитора (QA). И при этом его очень редко читают в институтах в полном объеме. А ведь управление проектом напрямую базируется на этом разделе! Без него вообще нельзя.
Я выскажу крамольную мысль, что вместо PMBok лучше изучить именно его.
--
Сергей Мартыненко
Блог 255 ступеней (байки для оруженосца)
facebook (Дети диаграммы Ганта)
ВебПосиделки клуба имени Френсиса Бэкона
#5
Отправлено 17 июля 2008 - 11:20
Спасибо, но про метрики и сравнение не сравниваемого я уже понял достаточно. В какую-нибудь книгу загляну.Читайте раздел высшей математики "Многофакторный эксперимент".
Может кто-нибудь хочет высказаться по теме?
Чубака — это вуки с планеты Киши, но живет Чубака на планете Эндо, а теперь вдумайтесь:
в этом же нет смысла. С какой стати Чубаке, вуки высотой два с половиной метра,
жить среди эвоков, которые чуть выше полуметра. В этом нет абсолютно никакого смысла.
#6
Отправлено 17 июля 2008 - 11:36
Действительно, под "точностью" в стандарте подразумевается более широкое понятие, может быть лучше было бы сказать "правильность", "корректность", но уж больно эти слова расплывчатые. Смысл в том, что система делает то, что должна делать.С точностью, например, все предельно ясно. Чем меньше погрешность тем лучше точность. Хотя определение точности приведено более чем странное.А отчего такое особое внимание к удобству использования? Метрики для остальных атрибутов качества не вызывают сомнений? Скажем, для самой первой группы, которая относится собственно к функциональности, и самых наиважнейших атрибутов -- пригодность и точность -- всё с метриками ясно?
Встречный вопрос: я правильно понимаю, что все характеристики определяемые как "способность ...", надо понимать как значение в один бит? Т.е. либо способность есть либо ее нет. Или имеется ввиду что-то другое?
Характеристики, определяемые как "способность", не надо понимать как значение в один бит. Это просто оборот речи :)
Теперь про предельную ясность. Давайте, в самом деле, поговорим про какие-нибудь простые математические функции и точность вычислений.
Вот есть у нас, скажем, три реализации функции синус, на входе и выходе действительное число двойной точности (double то есть).
Первая реализация вычисляет синус в любой точке с абсолютной погрешностью 10E-8.
Вторая вычисляет с абсолютной погрешностью 10E-10 в области от -2pi до +2pi и с погрешностью 10E-5 на остальной части оси.
Третья вычисляет с абсолютной погрешностью 10E-12 на всей оси, но есть некоторое количество "плохих" точек, в которых значение синуса может достигать нескольких тысяч.
Вопрос -- какая из реализаций лучше, точнее?
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#7
Отправлено 17 июля 2008 - 13:39
Да, действительно очень, очень расплывчато. Кому все-таки она это должна? :)) Больше похоже на функциональную полноту получается.Действительно, под "точностью" в стандарте подразумевается более широкое понятие, может быть лучше было бы сказать "правильность", "корректность", но уж больно эти слова расплывчатые. Смысл в том, что система делает то, что должна делать.
Хороший вопрос.Вопрос -- какая из реализаций лучше, точнее?
Если функция синуса будет применяться на всем диапазоне значений, то безусловно первая реализация точнее. Потому что гарантированная погрешность у нее меньше, при любых входных данных.
Вторая и третья будут точнее, если мы можем гарантировать, что соответствующие "плохие" входные данные не будут переданы функции.
Т.е. например второй вариант реализации можно легко переделать на более точный, за счет периодичности синуса.
Аналогично с третьим можно что-то придумать.
Чубака — это вуки с планеты Киши, но живет Чубака на планете Эндо, а теперь вдумайтесь:
в этом же нет смысла. С какой стати Чубаке, вуки высотой два с половиной метра,
жить среди эвоков, которые чуть выше полуметра. В этом нет абсолютно никакого смысла.
#8
Отправлено 17 июля 2008 - 13:51
Или еще можно для каждого варианта посчитать некую интегральную характеристику "что-то типа невязки". И сравнить по ней.Вопрос -- какая из реализаций лучше, точнее?
Но как вы писали -- метрика будет зависеть от ЦЕЛЕЙ.
Чубака — это вуки с планеты Киши, но живет Чубака на планете Эндо, а теперь вдумайтесь:
в этом же нет смысла. С какой стати Чубаке, вуки высотой два с половиной метра,
жить среди эвоков, которые чуть выше полуметра. В этом нет абсолютно никакого смысла.
#9
Отправлено 17 июля 2008 - 15:27
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#10
Отправлено 17 июля 2008 - 16:39
О спасибо. Не думаю, что там написано что-то сильно для меня новое, зато теперь я знаю как это слово переводится. И еще там есть куча отличных ссылок. Даже не ожидал, что в википедии так прилично написано.По теме: http://en.wikipedia..../FalsifiabilityМожет кто-нибудь хочет высказаться по теме?
Чубака — это вуки с планеты Киши, но живет Чубака на планете Эндо, а теперь вдумайтесь:
в этом же нет смысла. С какой стати Чубаке, вуки высотой два с половиной метра,
жить среди эвоков, которые чуть выше полуметра. В этом нет абсолютно никакого смысла.
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных