Критерии тестирования и методы тестирования.
#1
Отправлено 27 июня 2005 - 13:50
Вводная:
Как объяснить человеку разницу между критерием выбора тестов и методом тестирования?
Задача дать чёткое определение - "Критерий тесирования - это..."
Вот кратко до чего дошли.
Критерий (от греч. kriterion - средство для суждения), признак, на основании которого производится оценка, определение или классификация чего-либо; мерило суждения.
То есть критерий тестирования - это ЧТО-ТО на основании чего можно измерять тестирование.
Значит критерий тестирования - это признак, на основании которого производится оценка, определение или классификация тестирования.
Надежность - признак? Признак.
Качество - признак? Тоже.
Достаточность (тестов должно быть достаточно, чтобы тестировать данную программу) - тоже признак.
Коллеги, предлагаю присоединится к обсуждению в разрезе: полный список критериев, которые определеют тестирование. Может у кого-то есть идеи на предмет того как ещё можно определить критерии тестирования.
Редактор портала www.it4business.ru
#2
Отправлено 27 июня 2005 - 13:56
-- метод определяет КАК ТЕСТИРОВАТЬ
-- критерий определяет КОГДА ОСТАНОВИТЬСЯ
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#3
Отправлено 27 июня 2005 - 16:41
#4
Отправлено 28 июня 2005 - 05:02
Какими критериями мы пользуемся, чтобы купить продукт ( еда, железки и т.п.)?
Например:
Мы смотрим фирму-произовдителя.
Мы смотрим цену.
Мы смотрим качество.
...
То есть критерием в данном случае выступает некоторая наша субъективная оценка о продукте. Цель - выбрать продукт удовлетворяющий этим критериям.
.....
Теперь о наших критериях тестирования.
Я прочитал посты, давайте подумаем, насколько применимо определение "Когда остановиться". Т.е. согласно этому опередлению мы руководствуемся некоторым набором признаков (исходя из греч.) пока не достигнем заданного результата.
Давайте я ещё подкину информации для размышления:
Наверное вы знаете, что существуют классы критериев тестирования, например:
структурные критерии, функциональные критерии, мутационные критерии и т.д...
Все они являются критериями тестирования. Если вам эти термины не удобные для восприятия, то можно грубо говоря остановиться на 2 из них:
- критерии "белого ящика"
- критерий "черного ящика"
С помощью этих критериев тестирования мы можем добиться в той или иной степени того, что мы ждём от конечного продукта.
...
Поэтому я бы сейчас даже сказал, что:
Критерий тестирования - это набор признаков (правил, методик...), которые предполагают знание тех или иных особненностей программы (структура, функциональность, набор входных-выходных данных), целью которых ставится достичь определенного состояния(согласно требованиям) тестируемого продукта.
Критерии тестирования также обладают свойствами: надежность, полнота, достаточность, проверяемость.
Методы тестирования определяют как достичь заданных критериев тестирования.
...
Поправляйте, критикуйте, соглашайтесь :)
#5
Отправлено 28 июня 2005 - 05:42
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#6
Отправлено 28 июня 2005 - 06:22
:(Однако, Darkus подливает масла в огонь
Жаль, мне хотелось прояснить и не усугубить ситуацию :)
#7
Отправлено 28 июня 2005 - 06:42
Находясь в процесе написания длинного текста на тему критериев, хочется, забегая вперед, поворчать по поводу этого высказывания.в моей документации проскакивают тока критерии успешности тестирования. типичиными критериями успешности идут: наличие критических ошибок, наличие некритических ошибок, скрытых от пользователя, наличие визуальных ошибок...
Задам два вопроса.
Предположим, Катерина, Вам дали на тестирование систему, в которой нет ни одной ошибки (маловероятно, но всё таки предположим :)). Вы тестировали ее месяц и не нашли ни одной ошибки (ещё бы, их же там нет!). Вопрос первый: следует ли считать, что тестирование закончилось неуспешно (ибо предложенный Вами критерий не выполнен)?
Предположим, что Вам дали на тестирование систему и сказали, что нужно "протестировать ее полностью" (что значит "полностью" пока уточнять не будем). Вы тестировали месяц, нашли 100 ошибок. Вопрос второй: насколько Вы близки к завершению работы?
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#8
Отправлено 28 июня 2005 - 07:57
#9
Отправлено 28 июня 2005 - 08:20
#10
Отправлено 28 июня 2005 - 08:32
Примеры: "покрыто 90% целевого кода", "проверены все функциональные точки", "написано 1000 тест-кейсов", "найдено 100 ошибок".
Никаких вероятностей. Критерий либо выполняется, либо нет. Tertium non datur.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#11
Отправлено 28 июня 2005 - 08:56
#12
Отправлено 28 июня 2005 - 09:27
А может не изобретать велосипед, а просто обратиться к литературе?Я бы кратко сформулировал так (не определение критерия, конечно, а разницу между двумя указанными понятиями):
-- метод определяет КАК ТЕСТИРОВАТЬ
-- критерий определяет КОГДА ОСТАНОВИТЬСЯ
Например: О.С.Анисимов, Основы методологии: Учебное пособие. - М., 1994.
В интернет магазинах правда этой книги не нашел. Можно также заказать тренинг. Более десяти лет назад я проходил один из тренингов, очень положительные впечатления. По крайней мере вопросов по определениям не остается.
--
Сергей Мартыненко
Блог 255 ступеней (байки для оруженосца)
facebook (Дети диаграммы Ганта)
ВебПосиделки клуба имени Френсиса Бэкона
#13
Отправлено 28 июня 2005 - 09:47
Значит, вам ЭТОТ критерий не подходит :)что значит целевой код и откуда я знаю, что мои тест-кейсы покрывают именно 90 его процентов ?
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#14
Отправлено 28 июня 2005 - 09:48
1) Исходный кодчто значит целевой код и откуда я знаю, что мои тест-кейсы покрывают именно 90 его процентов ?
2) Например, с помощью программы, отслеживающей покрытие кода тестами, см. топики по автоматизации.
Хорошо, давайте придумаем совсем простой пример, и простые критерии.
Пусть есть HTML страница, печатающая "Hello Word!". В требованиях указано, что страница должна просматриваться минимум на 70% десктопах.
Берем глобальную статистику по браузерам и отбираем самые популярные, чтобы в сумме получилось 70 или более процентов.
Юзкейс: Вызываем страницу, она отображается.
Критерий качества кода: страница просматривается под всеми выбраннами броузерами.
Метод тестирования: полный перебор (есть конечно еще и другие варианты, вроде метода "5 тестеров", но для данного случая это хороший выбор)
Тест кейсы:
№ 1. Вызываем страницу под первым браузером из списка
№ 2. Вызываем страницу под ...
Критерий завершенности цикла тестирования: Все тестовые сценарии пройдены
Критерий завершенности тестирования: Все тестовые сценарии пройдены удачно.
Если очень хочется, записываем сценарий в менеджер тестирования, задаем варианты окружения, и т.д. и т.п..
--
Сергей Мартыненко
Блог 255 ступеней (байки для оруженосца)
facebook (Дети диаграммы Ганта)
ВебПосиделки клуба имени Френсиса Бэкона
#16
Отправлено 28 июня 2005 - 10:42
"...Необходима выработка представления о нормах, которым должна подчиняться деятельность для достижения успеха, нужно соответствующее нормирование и перенормирование деятельности для разрешения ситуации и преодоления трудностей. Норма — это предписание к деятельности, она состоит из представлений о будущей деятельности и предписывающего статуса этих представлений..." см. труды Анисимова и последователей.Что-то мне подсказывает, что критерии (в общем понимании, и не только для тестирования) можно разбить на две большие группы:
-необходимые
-достаточные
и уже от этого плясать и детализировать. Что скажете?
А то, о чем выговорите, это критерии частичного или полного достижения успеха, в терминах многих методологий. Они ничему не противоречат, но ничего и не дают, в рамках обсуждения вопроса
Как объяснить человеку разницу между критерием выбора тестов и методом тестирования?Задача дать чёткое определение - "Критерий тесирования - это..."
--
Сергей Мартыненко
Блог 255 ступеней (байки для оруженосца)
facebook (Дети диаграммы Ганта)
ВебПосиделки клуба имени Френсиса Бэкона
#17
Отправлено 28 июня 2005 - 11:38
Вводная:
Как объяснить человеку разницу между критерием выбора тестов и методом тестирования?
Задача дать чёткое определение - "Критерий тесирования - это..."
И уже здесь появляются вопросы: мы о чем? О более-менее понятном критерии выбора тестов или о некотором абстрактном критерии тесирования (в последнем случае к определению критерия надо добавить определение тестирования, и тогда станет все сразу понятно ).
Как иначе мы можем прийти к какому-либо совместному выводу если на одной странице можно встретить несколько различных критериев:
1. критерием выбора тестов
2. Критерий тесирования
3. критерии успешности тестирования
4. структурные критерии, функциональные критерии, мутационные критерии ... критерии "белого ящика", критерий "черного ящика"
5. Критерий качества кода
6. Критерий завершенности цикла тестирования
7. Критерий завершенности тестирования
И как в этом можно разобраться?
Если исходить из вводной, то я бы по анологии с barancev'ым сказал, что метод определяет способ выполнения тестирования, а критерий служит только для оценки.
#18
Отправлено 28 июня 2005 - 11:52
А в рамках:А то, о чем выговорите, это критерии частичного или полного достижения успеха, в терминах многих методологий. Они ничему не противоречат, но ничего и не дают, в рамках обсуждения вопроса
Как объяснить человеку разницу между критерием выбора тестов и методом тестирования?Задача дать чёткое определение - "Критерий тесирования - это..."
?Коллеги, предлагаю присоединится к обсуждению в разрезе: полный список критериев, которые определеют тестирование. Может у кого-то есть идеи на предмет того как ещё можно определить критерии тестирования.
#19
Отправлено 28 июня 2005 - 12:30
"Критерии соответствия требованиям. Как мы узнаем, что продукт удовлетворяет требованиям? Как выбрать объективные критерии соответствия требованиям так, чтобы они были связаны с каждым требованиям по отдельности и со всеми вместе?
Критерии завершённости. Как узнать, когда данная часть ПО будет готова к переходу на следующую стадию процесса разработки? Что является реальным, объективным признаком завершённости?
Критерий готовности. Как узнать, когда данная часть ПО будет удовлетворять условиям, необходимым для перехода на следующую стадию процесса разработки? Подобное описание вовсе не избыточно. Компонент программы может пройти через множество стадий или использоваться множеством других компонентов, каждый из которых имеет свои критерии готовности. Как правило, критерий завершенности компонента является объединением всех критериев готовности для этого компонента."
От себя скажу, что, на практике, мне приходилось вычислять критерий готовности.
#20
Отправлено 29 июня 2005 - 09:24
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных