Автор: Саймон Томс (Simon Tomes)
Оригинал статьи
Перевод: Ольга Алифанова

Безусловно, для тестировщика-исследователя очень важно находить проблемы. Однако исследовательское тестирование – это куда больше, чем поиск проблем. Мы знаем об этом, но иногда стоит посмотреть в зеркало, чтобы об этом не забывать. Сделайте шаг назад и вспомните о том, что вы не просто магнит для багов!

Исследовательское тестирование дает нам возможность сильно повлиять на продукт. Мы оцениваем то, что действительно находится перед нами, а не то, что, по словам людей, должно там находиться и, как они надеются, находится. Это крайне важная часть процесса создания продукта, который нужен нашим заказчикам.

Этот сборник советов помогал мне на моем пути профессионала тестирования. Жаль, что у меня его не было, когда я начинал! Теперь я делюсь им с вами в надежде, что он вам поможет.

Далеко за рамками приложения

1. Исследовательское тестирование везде

Не зацикливайтесь на работающих приложениях. Исследуйте макет. Исследуйте мокап. Исследуйте базы данных, системные диаграммы, API, приемочные критерии, идеи, процессы, фича-файлы, предположения, интерфейс, спецификации. Идите и исследуйте все, от чего можете получить полезную информацию!

2. Стремитесь к исследовательскому образу мыслей

Исследовательское тестирование – это образ мысли экспериментатора. Сделайте свое любопытство целенаправленным, усиливайте ваш детективный подход. Ищите истину и ответы на вопросы о рисках и допущениях. Тестирование неразрывно связано с тем же образом мысли экспериментатора, что и сообщество стартаперов.

3. Идентифицируйте текущий контекст

Использование универсального подхода к исследовательскому тестированию не прокатит. Каков ваш нынешний контекст? Думайте не только об общих целях тестирования и продукта – например, подумайте о том, склонна ли ваша команда сотрудничать и экспериментировать. Вникните в прошлые бизнес-решения и нынешние цели своей компании. Все это может повлиять на тип отчетов о сессиях, которые вы создадите.

4. Оспаривайте допущения насчет своей роли

"Просто продолжайте релизить, или мы не достигнем своих целей", - кричит разгневанный менеджер по продажам. Я всего лишь тестировщик, надо ли мне разбираться с этим? Коллеги не всегда упрощают нам жизнь, но как тестировщики, мы можем больше. В своей предыдущей компании я видел, как можно ускориться, замедлившись! Как ни странно это звучит, я знал, что оно сработает – и оно сработало.

Глядите шире ваших ожиданий от роли тестировщика. В моем случае я оторвал время от тестирования на презентацию процесса двухнедельного релизного цикла, и это было абсолютно верным решением. Что вы можете сделать для помощи команде, посмотрев шире своих текущих задач? К примеру, вы можете поработать в паре с дизайнером, исследуя мокапы, сотрудничать с продакт-оунером для создания стори, или помочь разработчику исследовать проблему на его локальной машине.

5. Прочитайте книгу Элизабет Хендриксон "Explore It!"

Книга Элизабет Хендриксон Explore It! абсолютно необходима для начала исследовательского тестирования. В ней есть все, что вам нужно, чтобы стать профессионалом в этом виде тестирования.

6. Подумайте, как исследовательское тестирование встраивается в стратегическую тест-модель.

Исследовательский подход выигрывает от тест-чартеров, сессионного тест-менеджмента и заметок. У Дэна Эшби есть полезная модель того, где место этого в общей картине.

Будьте готовы исследовать

7. Определите цели своей сессии

Сфокусируйте свою исследовательскую сессию. Станьте машиной по генерации чартеров. Если вы возьмете слишком узкую задачу, то ограничите себя в возможностях поиска полезной информации. Возьмете слишком широко – утратите концентрацию и упустите важные проблемы. С опытом вы научитесь ставить цели, которые будут именно тем, что нужно. У Элизабет Хендриксон есть отличный шаблон:

Определение чартера: Исследовать <цель> с <ресурсами> для поиска <информации>.

Пример: Исследовать корзину с использованием API корзины с целью поиска проблем безопасности.

8. Ваши тесты должны быть нацелены на риски

Каковы ваши важные риски? Попробуйте это пятиминутное упражнение. Как их исследовать? Генерация идеи на основе рисков и поиск ответов на вопросы об этих рисках путем исследования – отличный способ поговорить с менеджментом о тестировании.

9. Не будьте заложниками требований

"Ну, то, что я нашел, не связано с приемочным тестированием, поэтому не стоит это фиксировать".

Ваши требования, зачастую созданные в форме юзер стори и названные приемочными критериями, не должны держать вас в заложниках. Я часто попадал в ловушку, просто проверяя требования. Я знал, что упускаю возможность найти что-то важное. Требования должны быть оракулом для тест-идей и разговоров, а не ключевым фактором, влияющим на точки приложения исследовательского тестирования.

10. Автоматизируйте задачи, помогающие вашему исследованию

Разделяйте принципы автоматизации в тестировании. Используйте автоматизацию для улучшения своего исследования, а не для его замены. Зачем создавать данные вручную, если вы или разработчик можете написать для этого скрипт?

11. Эвристики триггерят тест-идеи

Отправьте пустое поле, используйте всего один символ, слишком много символов! Я долгое время не замечал, как много эвристик я использую, тестируя. Набросайте набор эвристик до начала тестирования и сверяйтесь с ним для генерации новых идей. Отличный чит-лист тест-эвристик – просто сокровище. Эвристики помогают вам расфокусироваться, когда вы погрузились слишком глубоко.

12. Ограничивайте исследование по времени

Время заставляет вас концентрироваться. Очень легко просто продолжать исследовать, чтобы найти еще что-нибудь. Ограниченная по времени сессия помогает вам остановиться, сделать шаг назад и получить от дебрифинга максимум пользы. Вскоре вы сможете провести еще одну ограниченную по времени сессию.

Я рекомендую не проводить сессии длиннее 90 минут. Чем больше вы обнаружите, тем выше шанс завалить информацией вашу аудиторию. Уважайте свое время, и вы начнете уважать время ваших слушателей. Сочетайте короткие исследовательские сессии с четкой целью, и вы получите очень мощное комбо.

13. Пробуйте разные блокноты

Всегда имейте под рукой цифровой или физический блокнот. Любой разговор – повод для исследования и фиксации находок. Инструмент для ведения заметок – неотъемлемый атрибут успешного сессионного тестирования.

Фиксируйте информацию с умом

14. Ведите заметки так, как будто рассказываете кому-то историю

Вы в разгаре исследовательской сессии. Что происходит прямо сейчас? О чем вы думаете? Что вы на самом деле делаете? Вам нужно увлечь вашу аудиторию, чтобы она проявила эмпатию к опыту использования продукта. Я многому научился, узнав, как пишут журналисты. Попробуйте вот что: представьте, что вы репортер, пришедший в новый аквапарк. Ваши читатели хотят знать, хорош ли он. Вам нужно их увлечь, проникнуться их чувствами, но также и помочь им понять, подходит ли им это развлечение.

15. Разбивайте свои находки на категории

Придайте своим заметкам смысла и организованности, разбивая их на категории. Я с большим успехом помечаю их как Проблемы, Вопросы, Идеи и Похвалу (метод PQIP). Иконки и цвета – мощные инструменты коммуникации, пользуйтесь ими тоже.

16. Используйте видео для описания бага

Видео избавит вас от необходимости перечислять шаги, чтобы объяснить, что же там произошло. Дайте ему однострочный заголовок. Уберите противоречивость; показывайте, а не рассказывайте. Для захвата видео я пользуюсь инструментом LICEcap.

17. Задавайте вопросы

Вопросы помогают вам задать рамки для исследования. Ищите ответы в ходе сессии. Задавайте вопросы, если не уверены. Вопросы устраняют допущения. Проясняйте с их помощью свое понимание происходящего.

18. Ваши идеи – основа для сотрудничества

Идеи – мощная штука. В ходе исследования у нас появляется масса идей. Документируйте их и предоставьте в качестве элемента дебрифинга. Дайте себе возможность помочь в формировании продукта.

19. Хвалите чаще

Цените то, что перед вами, вместо того, чтобы всегда искать то, что неправильно. Влезьте в шкуру кого-то другого, исследуя – необязательно пользователя, а просто человека, участвовавшего в создании вашего продукта. Скажите им, что вы цените их труд. Эта доброта поможет вам укрепить отношения внутри и вовне вашей команды.

20. Используйте похожие продукты для формирования мнения

Мы постоянно пользуемся продуктами. Что вы находите в них полезным? Что вам не нравится? Используйте схожие продукты, чтобы оценить свою проблему. Они также помогут вам с поиском идей для тестирования, разработки, и улучшений.

21. Ставьте теги на то, что не относится к чартеру

Абсолютно нормально отклониться от цели вашей сессии. Пометьте это как офф-чартер. Отслеживайте время, потраченное на него, чтобы ощутить, как полезно придерживаться чартера. Элементы офф-чартера могут стать основой для вашего следующего чартера. Используйте их также, чтобы начать разговор о рисках.

22. Загляните под капот

Исследуя веб-приложение, загляните под капот при помощи консоли браузера, и просмотрите логи. Вы найдете массу полезной информации.

23. Сделайте перерыв

Иногда вы закапываетесь слишком глубоко, и ваш мозг чересчур много размышляет о том, чего хочет добиться. Остановите таймер! Подышите воздухом, выпейте воды. Понаблюдайте за своими мыслями со стороны, пусть они уйдут и вернутся свежими. Поразительно, сколько может сделать для вас короткий перерыв.

Поделитесь отличной тест-историей

24. Просмотрите свои заметки, прежде чем ими поделиться

Как минимум один раз прочитайте свои заметки, прежде чем показать их кому-то. Ответили ли вы на все свои поставленные вопросы? Нужно ли вам создавать дополнительные чартеры/цели/миссии для вопросов, оставшихся без ответов? Будут ли ваши заметки иметь смысл для целевой аудитории? Сделайте их читабельными, чтобы на них можно было сослаться позднее.

25. Переходите к сути дела, но не занимайтесь самоцензурой

Есть тонкая грань между фиксацией всего на свете и переходом к сути дела. Искусство подготовки к дебрифингу – в приоритезации информации, которой вы хотите поделиться с реципиентом. Подумайте, что важно для него, вашей команды и бизнеса в целом. Подгоните ваше сообщение соответствующим образом. Начните с краткого содержания и позвольте собеседнику легко вникнуть в детали.

26. Частый и ранний дебрифинг

Вы только что завершили тест-сессию, просмотрели и отредактировали заметки, создали полезную выжимку. Что теперь? Не стесняйтесь поделиться этим с вашей целевой аудитории. Начните с вопроса – "<цель сессии> готова к дебрифингу. Когда вам удобно собраться, чтобы пробежаться по моим выводам?"

Вдохновляйте себя, чтобы вдохновлять других

27. Поработайте в паре с другим тестировщиком

Посмотрите, как исследует другой тестировщик. Попробуйте применить его подход. Разработайте подход совместно. Мы столькому можем научиться у коллег!

28. Участвуйте в обсуждении исследовательского тестирования

Есть регулярный чат в канале the #exploratorytesting Ministry of Testing Slack. Полезные темы есть в The Club. Думали ли вы о том, чтобы присоединиться? Неважно, тестируете вы пять минут или пять лет, вы можете участвовать в диалоге.

29. Инвестируйте в растущую библиотеку обучающих материалов

Оплатите про-подписку на Ministry of Testing Dojo – это целая сокровищница полезных материалов.

30. Напишите в блог о своем опыте

Рассказ о том, что вы на самом деле делаете и чему учитесь, помогает вам поразмыслить о вашем подходе. В итоге вы начнете изучать тему, чтобы поддержать свой пост, и обнаружите потрясающие материалы, которые уже существуют – например, Введение в исследовательское тестирование Марселя Гелена.

Putting into words what you actually do – and learn – helps you reflect on your approach. You’ll end up researching around the topic to help support your post. And you’ll discover amazing material that’s already out there, like Marcel Gehlen’s Exploratory Testing Pathway.

Путь обучения

Превратить исследовательское тестирование в полезный опыт – потрясающая возможность. Это не то, что надо принимать как должное или обесценивать. Многое еще предстоит открыть, и есть отличный потенциал для развития своего подхода и образа мыслей. Сделайте шаг, поделитесь с окружающими, развивайте сотрудничество, и давайте продолжим развивать исследовательское тестирование!

Обсудить в форуме