Сообщений в теме: 44

[Case]

Стратегия в тестировании
Автор: Вячеслав Панкратов, 20/06/2005

Руководителям групп тестирования и ведущим тестировщикам часто приходится разрабатывать кроме необходимой рабочей документации и артефактов, документы более высокого уровня, описывающие общие подходы к тестированию системы и развитие процесса тестирования в проекте. Об одном из таких документов-артефактов и пойдёт речь ниже.

Многие из нас сталкивались с разработкой стратегии тестирования, особенно часто подобные артефакты интересуют заказчиков крупных проектов, срок разработки которых превышает год. Попробуем внести ясность в понятие Стратегии Тестирования и ответить на ряд вопросов разобрав несколько примеров на практике.

Читать полностью: http://software-test...ng-strategy.htm

[Clauster]

Хочу добавить/поправить. Стратегия - это некоторые методы, следуя которым возможно занятие более выгодной позиции по отношению к объекту противостояния, ДО начала этого самого противостояния.
Вообще ещё в теории игр есть понятии стратегии и оно как нильзя лучше всего, на мой взгляд, подходит для тестирования. Стратегия игрока - возможные действия, позволяющие игроку на каждом этапе игры выбирать из определенного количества альтернативных вариантов такой ход, который представляется ему “лучшим ответом” на действия других игроков. Относительно концепции стратегии следует заметить, что игрок определяет свои действия не только для этапов, которых фактически достигла конкретная игра, но и для всех ситуаций, включая и те, которые могут и не возникнуть в ходе данной игры.
Замените "игрока" - "тестером", "другого игрока" - "проектом", а "игру" - "тестированием".

Вот стратегия: "...работа и правильность результатов вычислений, реализованная внутри приложения и не использующая внешние компоненты не зависит от локализации системы. Более того, если приложение успешно запущено под поддерживаемой операционной системой и основная функциональность по работе с инженерными функциями работает, то имея успешный прогон всех инженерных тестов с анализом контрольных результатов, можно говорить о работоспособности инженерных функций под всеми поддерживаемыми операционными системами и локализациями."
Остальное, видимо, тактика :)

[Case]

Clauster, я сразу внесу ясность, чтобы вы часом не удумали чего ;) Это моя статья, поэтому я и буду отбиваться.

Толковый словарь живого великорусского языка Владимира Даля:

ТАКТИКА ж. греч. военное искусство; уменье располагать военными силами. Тактик, искусный в науке этой. Тактика есть часть стратегии, и к ней относят также рекрутскую школу и вооруженье войска. Тактический, -чный, к тактике относящ.

Пока противоречия нет?

Глоссарий.ру: словари по общественным наукам

Тактика - четко фиксированные в своей последовательности способы поведения, ориентированные на достижение конкретных целей, являющихся звеньями реализации стратегических целей.

Тоже как будто ничему не противоречит.

А вот терминов тактика тестирования я не встречал :)

[barancev]

Слава, очень хорошая статья, спасибо! Но все таки немного покритикую :)

Мне кажется, что статья не очень четко проводит границу между планом тестирования и стратегией тестирования. Встречается утверждение (со ссылкой на RUP), что стратегия тестирования -- это основная часть плана. Но из статьи складывается впечатление, что в плане кроме стратегии ничего и не остается.

Наболее четко (если можно так выразиться) эта путаница проявляется в самом конце статьи: "В любой момент времени, руководитель, полагаюсь на стратегию, знает где он находится и куда двигается дальше". Я считаю, что отслеживание хода работ -- прерогатива плана, а не стратегии.

Стратегия -- это общий план, схема. Она не должна содержать ответа на вопрос "когда". А план тестирования является своего рода воплощением той или иной стратегии в конкретных действиях. Именно в нём -- ответы на вопросы "кто" и "когда".

Следует признать, что все приведенные в статье примеры действительно являются примерами стратегий, а не планов :)

[Case]

Алексей, спасибо за отзыв.

Относительно границы стратегия/план.
Возьмём руповский шаблон:
Стратегия всего один пункт: 3-ий, но пункт состоящий из 12 подпунктов :)

3. Test Strategy
3.1 Testing Types
3.1.1 Data and Database Integrity Testing
3.1.2 Function Testing
3.1.3 Business Cycle Testing
3.1.4 User Interface Testing
3.1.5 Performance Profiling
3.1.6 Load Testing
3.1.7 Stress Testing
3.1.8 Volume Testing
3.1.9 Security and Access Control Testing
3.1.10 Failover and Recovery Testing
3.1.11 Configuration Testing
3.1.12 Installation Testing
3.2 Tools

Реально получается, что тут определяются и типы тестов и инструменты. Тут я вижу определённую связь с вопросом "КОГДА" в разрезе стратегии тестирования - определённые типы тестов имеет смысл проводить только на определённом этапе развития системы (по мере появления функционала). Более того, я для себя достаточно чётко привязываю к примеру в последовательность: тестирование производительности, нагрузочное и стресс тестирование и в заключение объёмное тестирование. То есть КОГДА это не привязка к план-графику, а скорее ЧТО ПОСЛЕ ЧЕГО.

Согласен, что получается путанно в самом конце статьи (я этот кусок пару раз переписывал, видимо не вытянул до конца) про план и стратегию. Может в v.2 перепишу (хотя врядли потяну переписывание).

[rlabs]

Честно говоря, Вячеслав, я вот как таковой стратегии-то и не заметил :-)
Мне всё же кажется что стратегия это именно методики, общий подход, основное направление. А не создание набора тестов (впрочем, мог просто не до конца понять).

С другой стороны, очень понравилось пошаговое описание разработки набора тестов. Можете подсказать, в какой книжке можно найти подобные примеры? Я как сажусь у чистого листа, так с ним и остаюсь, хотя вроде бы всё понятно :-)

И еще была какая-то мысль, уже конкретно о примере калькулятора. Мне почему-то кажется, что протестировать набор инженерных функций на одной конфигурации - недостаточно. Всё-таки от локализации зависит, например, десятичный разделитель; математика в разных версиях ОС может делаться немного по-разному. Типы и форматы данных, опять же. Понятно что пример упрощенный, но всё-таки.

[Case]

Я намеренно не комментирую первую часть вашего комментария - давайте слона по кусочку есть.

Мне всё же кажется что стратегия это именно методики, общий подход, основное направление. А не создание набора тестов (впрочем, мог просто не до конца понять).

Хм :) А если чуть попробовать подробнее и отойти от общих слов про общий подход? Основное направление это что такое?:)

Выразите общий подход словами? Я вот как раз и изобразил подход: разбиение на области, разнесение тестирования на разные окружения и т.п.

С другой стороны, очень понравилось пошаговое описание разработки набора тестов. Можете подсказать, в какой книжке можно найти подобные примеры? Я как сажусь у чистого листа, так с ним и остаюсь, хотя вроде бы всё понятно :-)

Второй раз ХМ :) Я тесты как раз и не разрабатывал в статье - везде исходил от того, что они есть.

Но если уж затронулась разработка тестов, то я не видел хороших книг на эту тему. Даже элементарных вещей про граничные значения и подбор данных для теста компонентов не видел. Кстати, если кто-то поделится, буду рад безмерно.

И еще была какая-то мысль, уже конкретно о примере калькулятора. Мне почему-то кажется, что протестировать набор инженерных функций на одной конфигурации - недостаточно. Всё-таки от локализации зависит, например, десятичный разделитель; математика в разных версиях ОС может делаться немного по-разному. Типы и форматы данных, опять же. Понятно что пример упрощенный, но всё-таки.

У меня калькулятор, который не зависит от локализации в этих моментах :) Тут вы правы, коллега, я намеренно опустил эти моменты, чтобы не углубится в тонкости. Допустим у меня калькулятор от этого не зависит. Точка у него ставится нажатием кнопки ТОЧКА на его же нарисованной клавиатуре. Математика у нас делается внутри калькулятора - нашими методами, к примеру.

[barancev]

Относительно границы стратегия/план.
Возьмём руповский шаблон:
Стратегия всего один пункт: 3-ий, но пункт состоящий из 12 подпунктов :)

Согласен. Но там есть и четвертый пункт :)

Конечно, сложно провести границу -- не только стратегия частично определяет временные характеристкики (или хотя бы порядок работ), но и в плане содержатся ответы на вопросы "как".

Но всё же давайте посмотрим на военное дело, хоть оно и отвергнуто в статье как неадекватная область: стратегии ведения боевых действий изучают в военных академиях (например, где правильнее окопы копать -- на переднем склоне холма или на заднем? :)), а планы составляют во время войны, пользуясь для этого знаниями о стратегиях. И воюют, пользуясь планом, а не стратегией.

2 rlabs: А если не секрет, где Вы в статье заметили хоть один тест?

2 case про книги: Бейзер, "Тестирование черного ящика"; его же "Software Testing Techniques" (не знаю, есть ли руский перевод)

[Case]

2 case про книги: Бейзер, "Тестирование черного ящика"; его же "Software Testing Techniques" (не знаю, есть ли руский перевод)

Давно хотел купить, сейчас положу в корзину - спасибо! :)

[Clauster]

Clauster, я сразу внесу ясность, чтобы вы часом не удумали чего ;) Это моя статья, поэтому я и буду отбиваться.

;)

Толковый словарь живого великорусского языка Владимира Даля:

ТАКТИКА ж. греч. военное искусство; уменье располагать военными силами. Тактик, искусный в науке этой. Тактика есть часть стратегии, и к ней относят также рекрутскую школу и вооруженье войска. Тактический, -чный, к тактике относящ.

Пока противоречия нет?

Глоссарий.ру: словари по общественным наукам

Тактика - четко фиксированные в своей последовательности способы поведения, ориентированные на достижение конкретных целей, являющихся звеньями реализации стратегических целей.

Тоже как будто ничему не противоречит.

А вот терминов тактика тестирования я не встречал :)

Попробую уточнить. Различия между тактикой и стратегией в том, что стратегия, это некие методы действий до взаимодействия, а тактика-это уже поведение во время взаимодействия.
Как мне показалось, по ходу статьи прослеживается не вполне корректное оперирование терминами, из-за чего, возможно, происходит подмена понятий, и другие комментаторы, вполне справеливо указали на "нечёткость проведения границ". Дабы не быть голословным, вот, на мой взгляд, спорные моменты:
"чем пользоваться из инструментальных средств, для достижения целей тестирования?" - IMHO, не имеет никакого отношения к стратегии. От инструментальных средств она не должна зависеть.
" К примеру, аналогично с предыдущим примером, нам нужно выделить основные области, которые могут тестироваться отдельно друг от друга. Для тестирования сложных систем, также полезно выделять не только, так сказать, оперативные шаги по тестированию (то есть что, как и где будет тестироваться), но и проводить анализ тактических шагов по тестированию с учётом развития системы во времени." - не совсем понятен контекст выражения "тактические шаги" и отличие от "оперативных шагов"
"Вёрнёмся к определению понятия Стратегия: «общий план ведения работы, исходя из сложившейся действительности на данном этапе развития» — применимо к тестированию, стратегия есть понимание «что», «где» (на каком окружении) и «когда» будет тестироваться." - Не могу согласиться с "где" (на каком окружении)
Ещё хочу добавить, что стратегии тестирования, в принципе, уже существуют, мы их только выбираем, а разрабатываем мы план или некий документ, методику и т.п. Также затронут термин "эффективность стратегии", но не озвучен.
P.S. Не соглашусь с господином Баранцевым по поводу "стратегии ведения боевых действий изучают в военных академиях (например, где правильнее окопы копать -- на переднем склоне холма или на заднем? :)), а планы составляют во время войны, пользуясь для этого знаниями о стратегиях. И воюют, пользуясь планом, а не стратегией." Стратегию не изучают, изучают тактику. Стратегия - это управление формированиями уровня фронт и армия, всё, что ниже-тактика, в том числе и копание окопов.

[rlabs]

Хм :) А если чуть попробовать подробнее и отойти от общих слов про общий подход? Основное направление это что такое?:)

Выразите общий подход словами? Я вот как раз и изобразил подход: разбиение на области, разнесение тестирования на разные окружения и т.п.

Ну хорошо. В моем понимании, стратегия, это, допустим: тестируемое приложение активно использует память. Именно по этой теме мы получили массу жалоб от пользователей; кроме того, заведомо известно, что наши разработчики допускают много ошибок в этой области. Следовательно, основным направлением будет поиск проблем с памятью. Делать это будем следующими методами (не уточняя инструментов - их можно подобрать потом).
Ошибаюсь?

Второй раз ХМ :) Я тесты как раз и не разрабатывал в статье - везде исходил от того, что они есть.

Хорошо, будем считать что я "прочитал в статье то, что хотел прочитать" :-)
Видимо взгляд зацепился за отбор необходимого количества тестов из всех возможных (это - не стратегия, это матрица скорее)

Но если уж затронулась разработка тестов, то я не видел хороших книг на эту тему. Даже элементарных вещей про граничные значения и подбор данных для теста компонентов не видел. Кстати, если кто-то поделится, буду рад безмерно.

Да я вот сообразил.. Как уже отметили ниже, "Тестирование черного ящика", плюс (если о граничных значениях говорить) классика жанра в исполнении Канера.

У меня калькулятор, который не зависит от локализации в этих моментах :) Тут вы правы, коллега, я намеренно опустил эти моменты, чтобы не углубится в тонкости. Допустим у меня калькулятор от этого не зависит. Точка у него ставится нажатием кнопки ТОЧКА на его же нарисованной клавиатуре. Математика у нас делается внутри калькулятора - нашими методами, к примеру.

Ну разве что с такими допущениями :-) Вообще локализация - сложная тема. И интернационализация (жуткое слово, хорошо что придумали i18n). И выплывает в самых разных местах, как правило.

[rlabs]

2 rlabs: А если не секрет, где Вы в статье заметили хоть один тест?

2 case про книги: Бейзер, "Тестирование черного ящика"; его же "Software Testing Techniques" (не знаю, есть ли руский перевод)

Не секрет. я заметил скорее отбор тестов. Больная тема для меня, ага.

Про книжки - спасибо за напоминание. Первая как раз у меня сейчас "в прочтении" (хотя, похоже, кошка с ней знакомится быстрее чем я). Второй, насколько я понимаю, в русском переводе еще нет.

[Case]

"чем пользоваться из инструментальных средств, для достижения целей тестирования?" - IMHO, не имеет никакого отношения к стратегии. От инструментальных средств она не должна зависеть.

RUP говорит обратное. А от чего отталкиваетесь вы?

Ещё хочу добавить, что стратегии тестирования, в принципе, уже существуют, мы их только выбираем, а разрабатываем мы план или некий документ, методику и т.п.

Перейдём от утверждений к доказательствам? :) Приведите список стратегий тестирования из которых "мы выбираем". Можно список стратегий из которых вы выбираете ;)

Методика на самом деле по определнию во многом схожа со стратегией:

Малый энциклопедический словарь Брокгауза и Ефрона:

Метод, метода, греч., правильный путь, способ, план для достижения определенной цели: 1) в науке способ и порядок исследования предмета для получения наиболее полного и соответствующего истине результата.

По сути ближе к плану, чем к стратегии, но можно и спорить.

[Case]

Ну хорошо. В моем понимании, стратегия, это, допустим: тестируемое приложение активно использует память. Именно по этой теме мы получили массу жалоб от пользователей; кроме того, заведомо известно, что наши разработчики допускают много ошибок в этой области. Следовательно, основным направлением будет поиск проблем с памятью. Делать это будем следующими методами (не уточняя инструментов - их можно подобрать потом).
Ошибаюсь?

Как я понимаю - да :) Коллега, я оговорюсь - статья - это моё понимание, которое я с удовольствием с вами обсуждаю.

То что вы привели - пример реагирования на сложившуюся ситуацию, я бы сказал что это оперативное реагирование. Есть проблема, надо закрыть.

Хорошо, будем считать что я "прочитал в статье то, что хотел прочитать" :-)
Видимо взгляд зацепился за отбор необходимого количества тестов из всех возможных (это - не стратегия, это матрица скорее)

У меня тоже крутилось слово матрица :)
То что в статье находятся ответы (вопросы?) на другие темы это супер.

Пример я отбирал специально для задачи, как и любой пример он достаточно абстрактен.

[Clauster]

"чем пользоваться из инструментальных средств, для достижения целей тестирования?" - IMHO, не имеет никакого отношения к стратегии. От инструментальных средств она не должна зависеть.

RUP говорит обратное. А от чего отталкиваетесь вы?

От определения, что стратегия это методы действий, а не инструменты, при помощи которых эти действия осуществляются.

Перейдём от утверждений к доказательствам? :) Приведите список стратегий тестирования из которых "мы выбираем". Можно список стратегий из которых вы выбираете ;)

Открываем и смотрим книжку Бейзера :) Стратегии поведенческого тестирования (оно же функциональное, оно же тест-е черного ящика): тестирование потока управления, циклов, потоков данных,потоков транзакций, доменов и т.д. Т.е. я хотел сказать, что это всё уже придумано и выдумывать особо ничего не надо, достаточно прочитать "умные книжки", чтобы научиться выбирать правильные стратегии (которые как раз позволят сокращать количество тестов) для тестирования того или иного проекта.

Методика на самом деле по определнию во многом схожа со стратегией:

Малый энциклопедический словарь Брокгауза и Ефрона:

Метод, метода, греч., правильный путь, способ, план для достижения определенной цели: 1) в науке способ и порядок исследования предмета для получения наиболее полного и соответствующего истине результата.

По сути ближе к плану, чем к стратегии, но можно и спорить.

Схожа, конечно, но не то. Лучше не путать понятия. Вот методика, по моему мнению, может (даже должна) содержать перечень инструментальных средств, которые будут использоваться при тестировании.
Возможно, весь спор из-за неудачного/неконкретного названия статьи?

[Case]

От определения, что стратегия это методы действий, а не инструменты, при помощи которых эти действия осуществляются.

То есть стратегия тестирования это методы и ... всё? Почему тогда два понятия? Опять-таки безосновательно. Голословное утверждение :) Коллега, ссылаясь на определённые вещи, пусть даже как кажется достаточно известные, неплохо указывать откуда вы их берёте. А то получается, что вы достаточно легко подминаете термины под нужную в данный момент трактовку.

Открываем и смотрим книжку Бейзера :) Стратегии поведенческого тестирования (оно же функциональное, оно же тест-е черного ящика): тестирование потока управления, циклов, потоков данных,потоков транзакций, доменов и т.д. Т.е. я хотел сказать, что это всё уже придумано и выдумывать особо ничего не надо, достаточно прочитать "умные книжки", чтобы научиться выбирать правильные стратегии (которые как раз позволят сокращать количество тестов) для тестирования того или иного проекта.

Хм, думается мне вы выдернули что-то из контекста, чтобы доказать свою точку зрения. Разберём то что вы пишете:

Стратегии поведенческого тестирования: ...., циклов, .... ?
Тестирование циклов это стратегия? Тестирование потоков данных вовсе звучит как нечто асбтрактное. Тестирование потоков транзакций - тоже стратегия? А не тип/вид тестов? Можно выдержку (даже если достаточно большую) из Бейзера, на которого вы ссылаетесь, чтобы понять о чём идёт речь в оригинале?

Да, кстати, каким образом тестирование потоков транзакций позволяет сокращать количество тестов?

Возможно, весь спор из-за неудачного/неконкретного названия статьи?

Ну где-то это и и ожидал услышать :) Можно немного не в тему вопрос: Вы "Собачье сердце" читали/смотрели?

Кстати, идея - коллега! Приведите своё определение стратегии тестирования и пример её разработки, будет предметный спор. А то как-то неинтересно - я свою точку зрения выношу на обсуждение, спорю с людьми на конкретных примерах, а с вами только на словах, да и то порой без указания источников.

[Case]

Кроме того (всё больше убеждаюсь, что пример выдернут из контекста), каким образом тестирование циклов, потоков управления и тому подобных функций относится к тестированию ПРОЕКТА? Вы явно пытаетесь мапить (применять) понятийную базу функционального тестирования конкретного модуля на уровень планирование проекта и разработки стратегии для того же уровня.

[Clauster]

Я уже устал сюда писать :)
Выдёргиваю кусок из Бейзера:
"Стратегия тестирования-это систематические методы, используемые для отбора и/или создания тестов, которые должны быть включены в тестовый комплект. Это могут быть случайные вводы, тест направленный на проверку моих подозрений, тест, направленный на проверку соответствия требованиям... бла бла бла... Мы выбираем стратегию такую, что существуют правила, по которым мы можем определить, удовлетворяет данный тест стратегии или не удовлетворяет. В принципе, стратегия должна быть программируемой.
Стратегия является эффективной, если тесты, включенные в неё, с большой вероятностью обнаружат ошибки тестируемого объекта. Эффективность стратегии зависит от комбинации природы тестов и природы ошибок ,на поиск которых эти тесты направлены. Как на войне и в бизнесе, здесь существуют эффективные и неэффективные стратегии. Более того, так как объект изменяется с целью исправления ошибок и увеличения его возможностей, типы ошибок, находимые у объекта, меняются со временем, и, следовательно, меняется эффективность стратегии. В то время, как теоретически возможно, что стратегияпо отношению к специфическим объектам совершенствуется во времени, на самом деле эффективность большинства стратегий со временем убывает"

[Clauster]

Кроме того (всё больше убеждаюсь, что пример выдернут из контекста), каким образом тестирование циклов, потоков управления и тому подобных функций относится к тестированию ПРОЕКТА? Вы явно пытаетесь мапить (применять) понятийную базу функционального тестирования конкретного модуля на уровень планирование проекта и разработки стратегии для того же уровня.

http://software-test...box_testing.htm
Смотрите содержание а потом ещё раз прочитайте кусок из Бейзера.

[Clauster]

Фуф, ну и последнее...

От определения, что стратегия это методы действий, а не инструменты, при помощи которых эти действия осуществляются.

То есть стратегия тестирования это методы и ... всё? Почему тогда два понятия? Опять-таки безосновательно. Голословное утверждение :) Коллега, ссылаясь на определённые вещи, пусть даже как кажется достаточно известные, неплохо указывать откуда вы их берёте. А то получается, что вы достаточно легко подминаете термины под нужную в данный момент трактовку.

Смотрим кусок из Бейзера

Да, кстати, каким образом тестирование потоков транзакций позволяет сокращать количество тестов?

Извините, вы внимательно читали?
Я написал: "выбирать правильные стратегии (которые как раз позволят сокращать количество тестов)". И это вообще другое предложение. А по большому счёту, выбор правильной стратегии при тестировании может или даже должен сокращать количество тестов (наверно лучше было сказать трудозатраты).

Возможно, весь спор из-за неудачного/неконкретного названия статьи?

Ну где-то это и и ожидал услышать :) Можно немного не в тему вопрос: Вы "Собачье сердце" читали/смотрели?

Имелось ввиду следующее, раз вы не догадались. Статья называется "Стратегия в тестировании", а обсуждается стратегия тестирования. А это, знаете ли, как говорят представители известной нации, "две большие разницы".

Кстати, идея - коллега! Приведите своё определение стратегии тестирования и пример её разработки, будет предметный спор. А то как-то неинтересно - я свою точку зрения выношу на обсуждение, спорю с людьми на конкретных примерах, а с вами только на словах, да и то порой без указания источников.

Привёл определение Бейзера, с которым согласен. По поводу примеров, у вас с ними всё в порядке, поэтому я вопросов по ним и не имею.