Home

Автор: Марсель Гелен (Marcel Gehlen)
Оригинал статьи
Перевод: Ольга Алифанова

Недавно я проводил воркшоп об исследовательском тестировании. Более того, коллеги хотят использовать сессионное тестирование в другом проекте, но пока что у них маловато опыта такой работы. Одна из тем, о которой обе группы хотели узнать больше – это генерация тест-чартеров. Как найти миссии, которые нужно исследовать в ходе тест-сессии?

Краткий ответ – "концентрируйтесь на предполагаемых рисках в вашем ПО и на неотвеченных вопросах". Однако само по себе это предложение не очень-то кому поможет, поэтому я осбрал список источников, которые могут помочь с поиском интересных тест-областей и чартеров. Они также хороши для вычисления предполагаемых рисков.

Группируя эти источники, я обнаружил полезную мнемонику – CDMET.

Разговор (Conversation), Документация (Documentation), Мониторинг (Monitoring), Раннее Тестирование (Earlier Testing). Я сгруппировал различные идеи в эти четыре кластера, и они помогут вам найти тест-чартеры. Они особенно полезны, если скомбинировать их с другими оракулами – например, FEW HICCUPS Майкла Болтона.

Мой список не исчерпывающий, но все же я считаю, что он поможет найти новые чартеры.

Разговоры

Разговор – любая форма переговоров людей между собой. Он может варьировать от беседы у кулера до регулярных встреч, на которых вы присутствуете, и вплоть до встреч, которые вы организуете сами, чтобы поговорить о тестировании и рисках.

• Поговорите с людьми, вовлеченными в работу над продуктом
  • Бизнес-отделы; маркетинг; разработка продукта
  • Разработчики; архитекторы; инженеры по безопасности
  • Пользователи; заказчики; менеджеры.
  • Внимательно слушайте и ведите заметки в ходе любых посещаемых встреч.
    • Ежедневных; ретроспективных; встреч по грумингу, планированию, дебрифингу
    • Демонстраций продукта; обучения
    • Статусных встреч; журфиксов; воркшопов о рисках.

Документация

Документация – это все, что записано, и да, это включает исходный код. Существует множество официальных спецификаций, которыми можно пользоваться, но не останавливайтесь на них. Есть еще электронная почта, групповые чаты, пользовательская документация…

• Официальные спецификации
  • Документация требований; сценарии использования; бизнес-кейсы
  • Юзер-стори; цикл взаимодействия с клиентом; персоны
  • UX-дизайн; мокапы; описания функций.
  • Техническая документация
    • Диаграммы классов, описание архитектуры.
    • Диаграммы последовательностей, описания интерфейсов
    • Исходный код.
    • Общая документация проекта
      • Wiki или конфлюэнс для всего, что имеет смысл зафиксировать письменно.
      • Логи чатов; почта; планы проекта; списки рисков; протоколы встреч.
      • Тест-документация
        • Тест-кейсы; тест-заметки; тест-протоколы; тест-отчеты.
        • Описания багов; фидбек бета-теста.
        • Скрипты автоматизации, код и отчеты.
        • Пользовательская документация
          • Мануалы; руководства; онлайн-справка; известные баги.
          • Обучающие материалы; описание продукта; релиз-ноты; часто задаваемые вопросы.
          • Флаеры; маркетинговые кампании.

Мониторинг

Мониторинг включает все, что имеет отношение к фактическому использованию продукта – это очень мощная база для создания новых тест-чартеров. Поэтому я использую этот термин в более широком смысле, чем обычно.

• Технический мониторинг
  • Отчеты о падениях; время отклика; серверные логи.
  • ELK (Elasticsearch, Logstash, Kibana); Grafana
  • Отслеживание пользователей
    • Статистика использования функций, в зависимости от времени суток, других контекстов.
    • Интенсивность взаимодействия, оборот рекламы.
    • Самые частые сообщения об ошибках, с которыми сталкивается пользователь.
    • Обратная связь от пользователей
      • Отзывы в App Store, Play Store; отзывы в журналах и блогах.
      • Тикеты службы поддержки; письма команде от пользователей.
      • Социальные сети – Twitter, Facebook, LinkedIn, и т. д.

Раннее тестирование

Раннее тестирование очень полезно для развития дальнейшего тестирования. По сути оно означает, что надо использовать то, что вы узнали вчера, чтобы определить, с чем разбираться сегодня. Эта петля обратной связи может стать еще быстрее, если вы наткнулись на интересную часть ПО, уже выполняя тест-сессию. Отметьте это, и затем создайте новые чартеры.

Если вы все сделали правильно, раннее тестирование сольется с некоторыми другими кластерами, потому что вам нужно задокументировать свое тестирование и рассказать о нем команде.

• Результаты и артефакты
  • Отчеты о выполнении тест-кейсов; тест-заметки; отчеты о статусе продукта.
  • Описания багов; фидбек бета-тестов; дебрифинги.
  • Подозрения и остатки
    • Ситуации, когда вы ощущали непонимание или думали, что это что-то интересное
    • Списки известных багов; невоспроизводимые баги.
    • Незаконченные дела ("тут столько еще можно было бы сделать, если бы было время").

Все, что может вам помочь

Можно видеть, что некоторые элементы кластеров, строго говоря, неразделимы – у встречи может иметься письменный протокол, к примеру. Неважно, помните ли вы о проведенной встрече потому, что вы помните, о чем на ней говорилось, или потому, что вы просмотрели протокол этой встречи, который записали.

Важно, что размышляя о разговорах, прочтенной документации, выполненном тестировании и результатах мониторинга, вы можете определить, что тестировать дальше. Мне это, по крайней мере, помогает.

Обсудить в форуме