Home

Автор: Катрина Клоки (Katrina Clokie)

Оригинал статьи: http://katrinatester.blogspot.ru/2016/12/the-testing-pendulum-finding-balance-in.html

Перевод: Ольга Алифанова

Насколько детальным должно быть исследовательское тестирование?

Я наткнулась на этот вопрос в темах Cambridge Lean Coffee, которые Джеймс Томас собирает в своем блоге. Этот вопрос я слышу достаточно часто, и регулярно использую одну и ту же аналогию в моем ответе: маятник тестирования.

Когда тестировщик начинает работать в новой организации – или над новым проектом – то маятник нашего тестирования начинает свое движение. Думайте об этом, как будто вы поднимаете маятник в его наивысшую точку и затем отпускаете его. Вначале он раскачивается от поверхностного тестирования, отражая ограниченные знания о новой для нас ситуации. Когда наш опыт улучшается, углубляется и наше тестирование.

Начало раскачивания маятника

"Когда маятнику придан изначальный толчок, он качается вперед и назад по постоянной амплитуде. Настоящие маятники подвержены силе трения и сопротивлению воздуха, поэтому амплитуда их качения снижается (ссылка)".

Схожим образом маятник тестирования качается вперед и назад. Когда наше тестирование становится чересчур интенсивным, мы меняем направление. Если оно неэффективно, мы снова поворачиваем в другую сторону.

Маятник меняет направление на пике качения

Искусство понимать, насколько детальным должно быть тестирование, заключается в распознавании индикаторов, которые сообщают вам, что ваш маятник находится на пике. Вы должны быть способны определить, закопались ли вы слишком глубоко или слишком нахватали по верхам, и соответствующим образом поправить свой подход.

Индикаторы

Индикаторы помогают нам определять позицию нашего маятника на спектре тестирования. Лично я рассматриваю три категории индикаторов: количество багов, отзывы команды и отзывы руководства.

Количество багов

Если вы находите мало багов, но ваши пользователи жалуются на тысячи проблем в рабочей версии, то ваше тестирование, возможно, чересчур поверхностно. С другой стороны, если вы находите много багов, но мало из них исправляется, или ваши пользователи не сообщают о каких-либо проблемах с использованием – вы закопались слишком глубоко.

Подход "Ноль проблем на проде" может быть неприменим в некоторых областях. Веб-приложение может позволить себе ряд проблем с пользовательским интерфейсом, если выгода от исправления этих проблем не имеет никакого экономического смысла, но компания, производящая медицинское оборудование, стремится выпустить идеальный продукт, сколько бы ни заняло тестирование. Подстраивайте этот индикатор под вашу конкретную организацию.

Отзывы команды

Неважно, по водопаду или по Agile вы работаете – скорее всего, вы получаете обратную связь от своих коллег. Будьте открыты любым мнениям и используйте их для того, чтобы исправить свое поведение.

Если ваши коллеги часто расширяют спектр вашего тестирования, спрашивая, достаточно ли времени вы уделили тестированию, или же тестируют самостоятельно, хотя вы считаете, что это бессмысленно – ваше тестирование может быть чересчур поверхностным. С другой стороны, если коллеги часто пытаются вас ограничить, спрашивают, что еще можно сделать в то время, пока вы тестируете, или не тестируют самостоятельно ничего и никогда, вы могли слишком глубоко уйти в тестирование.

Касательно тестирующих коллег – это особенно полезный индикатор в Agile. В экстремальном случае разработчики не пишут юнит-тесты и сваливают все тестирование на вас, или, если бизнес доверяет вам приемочное тестирование – вы тоже чересчур глубоко тестируете. Если вы хотите существовать в мире, где за качество отвечают все, то дайте этому произойти, а не тащите все на себе.

Отзывы менеджмента

Если ваш маятник тестирования находится в той точке, где ваша команда недовольна, то, скорее всего, ваш менеджер обсудит с вами ваш подход к тестированию.

Если вы тестируете чересчур много, то менеджер, скорее всего, прямо скажет это вам. Если вы тестируете слишком мало, вас могут детально расспросить, что именно вы тестируете, о каких багах сообщают пользователи, или объяснить, на что вы расходуете свое время.

Индикаторы – это эвристики, а не правила. Они включают субъективную лексику – к примеру, "многие", "немногие", "часто", "много", а эти слова означают разные вещи в разных ситуациях. Как всегда, применяйте контекст вашей организации к вашему процессу принятия решений.

Индикаторы, которые я описала, можно кратко сформулировать противоречащими друг другу предложениями, представляющими собой крайние точки маятника.

ИНДИКАТОРЫ, ЧТО ВАШЕ ТЕСТИРОВАНИЕ МОЖЕТ БЫТЬ СЛИШКОМ ГЛУБОКИМ ИЛИ ПОВЕРХНОСТНЫМ

Katrina Clokie @katrina_tester

Поиск равновесия

Рано или поздно большинство тестировщиков находят точку равновесия, где маятник висит в состоянии покоя посередине между двумя экстремумами. Комфорт этой точки опасен. Как только мы приобретаем уверенность в собственном подходе, мы начинаем страдать слепотой, когда подход пора менять.

Я верю, что состояние, к которому надо стремиться, находится слегка левее спектра, чуть глубже. Чтобы ваш маятник не был направлен по центру, мы должны регулярно чуть-чуть толкать его влево!

Расширяя границы

Если вы долго тестируете продукт и хотите избежать эффекта замыленных глаз, "пните" ваше тестирование, сделайте его глубже. Примените другие эвристики, исследуйте другие персоны, поменяйте тестовые данные. Любые вариации, которые дадут вам возможность увидеть новые проблемы и обсудить их с командой.

Вы можете использовать результаты этого "толчка", чтобы подправить ваш подход к тестированию в ключе внесенных в него перемен. Может, перемен было слишком много? Какие из них приветствуются и должны остаться с вами навсегда? Продолжайте понемногу экспериментировать, чтобы убедиться, что делаете все как надо.

Заключение

Маятник тестирования – полезная аналогия, описывающая, как найти баланс в тестовом подходе. Когда вы присоединяетесь к новой команде, новому проекту, эта аналогия может быть использована, чтобы проиллюстрировать, как мы вначале начинаем качение с поверхностного тестирования, по пути изучая индикаторы нашего окружения. Те, кто тестирует продукт уже давно, будут использовать аналогию, чтобы не забывать подталкивать, менять свое тестирование.

На вопрос "Насколько детализированным должно быть исследовательское тестирование" нет единственно верного ответа, но я надеюсь, что маятник тестирования поможет вам определить и описать верный именно для вас уровень детализации.

Обсудить статью в форуме