Что пишут в блогах

Подписаться

Что пишут в блогах (EN)

Разделы портала

Онлайн-тренинги

CDMET: мнемоника для создания чартеров исследовательского тестирования
16.06.2022 00:00

Автор: Марсель Гелен (Marcel Gehlen)
Оригинал статьи
Перевод: Ольга Алифанова

Недавно я проводил воркшоп об исследовательском тестировании. Более того, коллеги хотят использовать сессионное тестирование в другом проекте, но пока что у них маловато опыта такой работы. Одна из тем, о которой обе группы хотели узнать больше – это генерация тест-чартеров. Как найти миссии, которые нужно исследовать в ходе тест-сессии?

Краткий ответ – "концентрируйтесь на предполагаемых рисках в вашем ПО и на неотвеченных вопросах". Однако само по себе это предложение не очень-то кому поможет, поэтому я осбрал список источников, которые могут помочь с поиском интересных тест-областей и чартеров. Они также хороши для вычисления предполагаемых рисков.

Группируя эти источники, я обнаружил полезную мнемонику – CDMET.

Разговор (Conversation), Документация (Documentation), Мониторинг (Monitoring), Раннее Тестирование (Earlier Testing). Я сгруппировал различные идеи в эти четыре кластера, и они помогут вам найти тест-чартеры. Они особенно полезны, если скомбинировать их с другими оракулами – например, FEW HICCUPS Майкла Болтона.

Мой список не исчерпывающий, но все же я считаю, что он поможет найти новые чартеры.

Разговоры

Разговор – любая форма переговоров людей между собой. Он может варьировать от беседы у кулера до регулярных встреч, на которых вы присутствуете, и вплоть до встреч, которые вы организуете сами, чтобы поговорить о тестировании и рисках.

  • Поговорите с людьми, вовлеченными в работу над продуктом
    • Бизнес-отделы; маркетинг; разработка продукта
    • Разработчики; архитекторы; инженеры по безопасности
    • Пользователи; заказчики; менеджеры.
    • Внимательно слушайте и ведите заметки в ходе любых посещаемых встреч.
      • Ежедневных; ретроспективных; встреч по грумингу, планированию, дебрифингу
      • Демонстраций продукта; обучения
      • Статусных встреч; журфиксов; воркшопов о рисках.

Документация

Документация – это все, что записано, и да, это включает исходный код. Существует множество официальных спецификаций, которыми можно пользоваться, но не останавливайтесь на них. Есть еще электронная почта, групповые чаты, пользовательская документация…

  • Официальные спецификации
    • Документация требований; сценарии использования; бизнес-кейсы
    • Юзер-стори; цикл взаимодействия с клиентом; персоны
    • UX-дизайн; мокапы; описания функций.
    • Техническая документация
      • Диаграммы классов, описание архитектуры.
      • Диаграммы последовательностей, описания интерфейсов
      • Исходный код.
      • Общая документация проекта
        • Wiki или конфлюэнс для всего, что имеет смысл зафиксировать письменно.
        • Логи чатов; почта; планы проекта; списки рисков; протоколы встреч.
        • Тест-документация
          • Тест-кейсы; тест-заметки; тест-протоколы; тест-отчеты.
          • Описания багов; фидбек бета-теста.
          • Скрипты автоматизации, код и отчеты.
          • Пользовательская документация
            • Мануалы; руководства; онлайн-справка; известные баги.
            • Обучающие материалы; описание продукта; релиз-ноты; часто задаваемые вопросы.
            • Флаеры; маркетинговые кампании.

Мониторинг

Мониторинг включает все, что имеет отношение к фактическому использованию продукта – это очень мощная база для создания новых тест-чартеров. Поэтому я использую этот термин в более широком смысле, чем обычно.

  • Технический мониторинг
    • Отчеты о падениях; время отклика; серверные логи.
    • ELK (Elasticsearch, Logstash, Kibana); Grafana
    • Отслеживание пользователей
      • Статистика использования функций, в зависимости от времени суток, других контекстов.
      • Интенсивность взаимодействия, оборот рекламы.
      • Самые частые сообщения об ошибках, с которыми сталкивается пользователь.
      • Обратная связь от пользователей
        • Отзывы в App Store, Play Store; отзывы в журналах и блогах.
        • Тикеты службы поддержки; письма команде от пользователей.
        • Социальные сети – Twitter, Facebook, LinkedIn, и т. д.

Раннее тестирование

Раннее тестирование очень полезно для развития дальнейшего тестирования. По сути оно означает, что надо использовать то, что вы узнали вчера, чтобы определить, с чем разбираться сегодня. Эта петля обратной связи может стать еще быстрее, если вы наткнулись на интересную часть ПО, уже выполняя тест-сессию. Отметьте это, и затем создайте новые чартеры.

Если вы все сделали правильно, раннее тестирование сольется с некоторыми другими кластерами, потому что вам нужно задокументировать свое тестирование и рассказать о нем команде.

  • Результаты и артефакты
    • Отчеты о выполнении тест-кейсов; тест-заметки; отчеты о статусе продукта.
    • Описания багов; фидбек бета-тестов; дебрифинги.
    • Подозрения и остатки
      • Ситуации, когда вы ощущали непонимание или думали, что это что-то интересное
      • Списки известных багов; невоспроизводимые баги.
      • Незаконченные дела ("тут столько еще можно было бы сделать, если бы было время").

Все, что может вам помочь

Можно видеть, что некоторые элементы кластеров, строго говоря, неразделимы – у встречи может иметься письменный протокол, к примеру. Неважно, помните ли вы о проведенной встрече потому, что вы помните, о чем на ней говорилось, или потому, что вы просмотрели протокол этой встречи, который записали.

Важно, что размышляя о разговорах, прочтенной документации, выполненном тестировании и результатах мониторинга, вы можете определить, что тестировать дальше. Мне это, по крайней мере, помогает.

Обсудить в форуме