Сообщений в теме: 31

[Case]

В аське с коллегой Darkus-ом затеяли разговор на тему "Критерии тестирования и методы тестирования."

Вводная:
Как объяснить человеку разницу между критерием выбора тестов и методом тестирования?

Задача дать чёткое определение - "Критерий тесирования - это..."

Вот кратко до чего дошли.
Критерий (от греч. kriterion - средство для суждения), признак, на основании которого производится оценка, определение или классификация чего-либо; мерило суждения.

То есть критерий тестирования - это ЧТО-ТО на основании чего можно измерять тестирование.

Значит критерий тестирования - это признак, на основании которого производится оценка, определение или классификация тестирования.
Надежность - признак? Признак.
Качество - признак? Тоже.
Достаточность (тестов должно быть достаточно, чтобы тестировать данную программу) - тоже признак.

Коллеги, предлагаю присоединится к обсуждению в разрезе: полный список критериев, которые определеют тестирование. Может у кого-то есть идеи на предмет того как ещё можно определить критерии тестирования.

[barancev]

Я бы кратко сформулировал так (не определение критерия, конечно, а разницу между двумя указанными понятиями):

-- метод определяет КАК ТЕСТИРОВАТЬ
-- критерий определяет КОГДА ОСТАНОВИТЬСЯ

[Ekaterina]

в моей документации проскакивают тока критерии успешности тестирования. типичиными критериями успешности идут: наличие критических ошибок, наличие некритических ошибок, скрытых от пользователя, наличие визуальных ошибок...

[Darkus]

Я вчера ещё долго думал над этим вопросом и попытался переложить вопрос в другую плоскость для простоты понимания.
Какими критериями мы пользуемся, чтобы купить продукт ( еда, железки и т.п.)?
Например:
Мы смотрим фирму-произовдителя.
Мы смотрим цену.
Мы смотрим качество.
...
То есть критерием в данном случае выступает некоторая наша субъективная оценка о продукте. Цель - выбрать продукт удовлетворяющий этим критериям.
.....
Теперь о наших критериях тестирования.
Я прочитал посты, давайте подумаем, насколько применимо определение "Когда остановиться". Т.е. согласно этому опередлению мы руководствуемся некоторым набором признаков (исходя из греч.) пока не достигнем заданного результата.
Давайте я ещё подкину информации для размышления:
Наверное вы знаете, что существуют классы критериев тестирования, например:
структурные критерии, функциональные критерии, мутационные критерии и т.д...
Все они являются критериями тестирования. Если вам эти термины не удобные для восприятия, то можно грубо говоря остановиться на 2 из них:
- критерии "белого ящика"
- критерий "черного ящика"
С помощью этих критериев тестирования мы можем добиться в той или иной степени того, что мы ждём от конечного продукта.
...
Поэтому я бы сейчас даже сказал, что:
Критерий тестирования - это набор признаков (правил, методик...), которые предполагают знание тех или иных особненностей программы (структура, функциональность, набор входных-выходных данных), целью которых ставится достичь определенного состояния(согласно требованиям) тестируемого продукта.
Критерии тестирования также обладают свойствами: надежность, полнота, достаточность, проверяемость.
Методы тестирования определяют как достичь заданных критериев тестирования.
...
Поправляйте, критикуйте, соглашайтесь :)

[barancev]

Ох! Потерпите немного, я начал писать длинный пост, как закончу -- выложу разом. Однако, Darkus подливает масла в огонь

[Darkus]

Жду с нетерпеньем вашего поста, т.к. очень нужно.

Однако, Darkus подливает масла в огонь

:(
Жаль, мне хотелось прояснить и не усугубить ситуацию :)

[barancev]

в моей документации проскакивают тока критерии успешности тестирования. типичиными критериями успешности идут: наличие критических ошибок, наличие некритических ошибок, скрытых от пользователя, наличие визуальных ошибок...

Находясь в процесе написания длинного текста на тему критериев, хочется, забегая вперед, поворчать по поводу этого высказывания.

Задам два вопроса.

Предположим, Катерина, Вам дали на тестирование систему, в которой нет ни одной ошибки (маловероятно, но всё таки предположим :)). Вы тестировали ее месяц и не нашли ни одной ошибки (ещё бы, их же там нет!). Вопрос первый: следует ли считать, что тестирование закончилось неуспешно (ибо предложенный Вами критерий не выполнен)?

Предположим, что Вам дали на тестирование систему и сказали, что нужно "протестировать ее полностью" (что значит "полностью" пока уточнять не будем). Вы тестировали месяц, нашли 100 ошибок. Вопрос второй: насколько Вы близки к завершению работы?

[Ekaterina]

Успешное тестирование как правило выявляет большинство существующих ошибок, выявление всех - мечта неумелого менеджера, а не тестера. Поэтому такой критерий успешности выглядит вполне достижимым. С другой стороны успешность тест-кейса - безошибочность его выполнения, т.е. доказательство того, что результаты некой последовательности действий соответствуют ожидаемым (требуемым). А при условии, что было найдено 100 ошибок, то от завершения работы мы очень будем далеки), т.к. после их починки начинают появляться баги там где их никогда не было ) как в цепной реакции, да и починенные порой проявляются снова. К сожелению не могу привести каких-либо математических выкладок с расчётами таких вероятностей ибо вообще никогда их не делаю при тестировании...

[Darkus]

Все дело в том, что есть тесты, которые как раскрывают ошибки, так и гарантируют их отсутствие. И если оба критерия выполнены, то тогда можно говорить об успехе теста. :)

[barancev]

Ещё одно простое, хотя и неформальное, опеределение критерия -- это вопрос, на который можно дать ответ "да/нет", то есть достигнут или не достигнут.

Примеры: "покрыто 90% целевого кода", "проверены все функциональные точки", "написано 1000 тест-кейсов", "найдено 100 ошибок".

Никаких вероятностей. Критерий либо выполняется, либо нет. Tertium non datur.

[Ekaterina]

что значит целевой код и откуда я знаю, что мои тест-кейсы покрывают именно 90 его процентов ?

[SALar]

Я бы кратко сформулировал так (не определение критерия, конечно, а разницу между двумя указанными понятиями):

-- метод определяет КАК ТЕСТИРОВАТЬ
-- критерий определяет КОГДА ОСТАНОВИТЬСЯ

А может не изобретать велосипед, а просто обратиться к литературе?
Например: О.С.Анисимов, Основы методологии: Учебное пособие. - М., 1994.
В интернет магазинах правда этой книги не нашел. Можно также заказать тренинг. Более десяти лет назад я проходил один из тренингов, очень положительные впечатления. По крайней мере вопросов по определениям не остается.

[barancev]

что значит целевой код и откуда я знаю, что мои тест-кейсы покрывают именно 90 его процентов ?

Значит, вам ЭТОТ критерий не подходит :)

[SALar]

что значит целевой код и откуда я знаю, что мои тест-кейсы покрывают именно 90 его процентов ?

1) Исходный код
2) Например, с помощью программы, отслеживающей покрытие кода тестами, см. топики по автоматизации.


Хорошо, давайте придумаем совсем простой пример, и простые критерии.

Пусть есть HTML страница, печатающая "Hello Word!". В требованиях указано, что страница должна просматриваться минимум на 70% десктопах.

Берем глобальную статистику по браузерам и отбираем самые популярные, чтобы в сумме получилось 70 или более процентов.

Юзкейс: Вызываем страницу, она отображается.
Критерий качества кода: страница просматривается под всеми выбраннами броузерами.
Метод тестирования: полный перебор (есть конечно еще и другие варианты, вроде метода "5 тестеров", но для данного случая это хороший выбор)

Тест кейсы:
№ 1. Вызываем страницу под первым браузером из списка
№ 2. Вызываем страницу под ...

Критерий завершенности цикла тестирования: Все тестовые сценарии пройдены
Критерий завершенности тестирования: Все тестовые сценарии пройдены удачно.

Если очень хочется, записываем сценарий в менеджер тестирования, задаем варианты окружения, и т.д. и т.п..

[Clauster]

Что-то мне подсказывает, что критерии (в общем понимании, и не только для тестирования) можно разбить на две большие группы:
-необходимые
-достаточные
и уже от этого плясать и детализировать. Что скажете?

[SALar]

Что-то мне подсказывает, что критерии (в общем понимании, и не только для тестирования) можно разбить на две большие группы:
-необходимые
-достаточные
и уже от этого плясать и детализировать. Что скажете?

"...Необходима выработка представления о нормах, которым должна подчиняться деятельность для достижения успеха, нужно соответствующее нормирование и перенормирование деятельности для разрешения ситуации и преодоления трудностей. Норма — это предписание к деятельности, она состоит из представлений о будущей деятельности и предписывающего статуса этих представлений..." см. труды Анисимова и последователей.

А то, о чем выговорите, это критерии частичного или полного достижения успеха, в терминах многих методологий. Они ничему не противоречат, но ничего и не дают, в рамках обсуждения вопроса

Как объяснить человеку разницу между критерием выбора тестов и методом тестирования?Задача дать чёткое определение - "Критерий тесирования - это..."

[timur]

А по моему мнению, надо сначала определиться с определением того о чем мы тут уже спорить начинаем. При выполнении тестирования используются много различных критериев, и надо определиться о каком именно или каких именно, мы ведем речь. В изначальном посте было...

Вводная:
Как объяснить человеку разницу между критерием выбора тестов и методом тестирования?

Задача дать чёткое определение - "Критерий тесирования - это..."

И уже здесь появляются вопросы: мы о чем? О более-менее понятном критерии выбора тестов или о некотором абстрактном критерии тесирования (в последнем случае к определению критерия надо добавить определение тестирования, и тогда станет все сразу понятно ).

Как иначе мы можем прийти к какому-либо совместному выводу если на одной странице можно встретить несколько различных критериев:
1. критерием выбора тестов
2. Критерий тесирования
3. критерии успешности тестирования
4. структурные критерии, функциональные критерии, мутационные критерии ... критерии "белого ящика", критерий "черного ящика"
5. Критерий качества кода
6. Критерий завершенности цикла тестирования
7. Критерий завершенности тестирования
И как в этом можно разобраться?

Если исходить из вводной, то я бы по анологии с barancev'ым сказал, что метод определяет способ выполнения тестирования, а критерий служит только для оценки.

[Clauster]

А то, о чем выговорите, это критерии частичного или полного достижения успеха, в терминах многих методологий. Они ничему не противоречат, но ничего и не дают,  в рамках обсуждения вопроса

Как объяснить человеку разницу между критерием выбора тестов и методом тестирования?Задача дать чёткое определение - "Критерий тесирования - это..."

А в рамках:

Коллеги, предлагаю присоединится к обсуждению в разрезе: полный список критериев, которые определеют тестирование. Может у кого-то есть идеи на предмет того как ещё можно определить критерии тестирования.

?

[Clauster]

Вычитал у Бейзера:
"Критерии соответствия требованиям. Как мы узнаем, что продукт удовлетворяет требованиям? Как выбрать объективные критерии соответствия требованиям так, чтобы они были связаны с каждым требованиям по отдельности и со всеми вместе?
Критерии завершённости. Как узнать, когда данная часть ПО будет готова к переходу на следующую стадию процесса разработки? Что является реальным, объективным признаком завершённости?
Критерий готовности. Как узнать, когда данная часть ПО будет удовлетворять условиям, необходимым для перехода на следующую стадию процесса разработки? Подобное описание вовсе не избыточно. Компонент программы может пройти через множество стадий или использоваться множеством других компонентов, каждый из которых имеет свои критерии готовности. Как правило, критерий завершенности компонента является объединением всех критериев готовности для этого компонента."
От себя скажу, что, на практике, мне приходилось вычислять критерий готовности.

[Darkus]

Хочу обещанный пост от Алексея Баранцева :-) .