Тестирование с тараканами в голове |
22.10.2024 00:00 |
Автор: Ekaterina Noga, оригинальная публикация Работая QA часто слышала в голове голос «а точно ли все проверила?» и иногда он бывает полезен, но если не научиться голос использовать и затыкать, то он начинает вредить. Ниже я расскажу об этом тревожном таракане и о том, как он проявляется. Во время работы возникает много ситуаций, которые дают каждому уникальный опыт. В этой статье я хочу поделится своим опытом и теми знаниями, которые из него получила. Надеюсь мои слова окажутся в какой‑то степени полезными. В любом случае буду рада комментариям и надеюсь, что они помогут мне увидеть себя со стороны и стать лучше. Плюсы таракана "а все ли ты проверила" Он не дает относится даже к простым и тривиальным задачам легкомысленно.Один раз было такое, что перейдя от одной задачи к другой и уже завершив тестирование я, на всякий случай, решила проверить всё ли протестировала и заметила одну маленькую деталь — в задаче не было формулы для расчета, который делала новая функция. Перечитав задачу и эпик я поняла, что формулу для нового расчета нигде не указали. Так как я посчитала? Стыдно признать, но считала и проверяла расчет по формуле из другой задачи, которая хоть и связана с текущей, но они были независимы. Я запросила правила расчета, перепроверила задачу и оказалось, что разработчик точно так же как и я применил формулу из другой задачи для расчетов в этой. Таракашка позволяет находить нетривиальные баги и делать продукт надежнееПройдясь по плану тестирования этот таракашка начинает подкидывать идеи из серии «а если у клиента будет увеличенный шрифт или устаревшая операционка?». Благодаря ему я лучше описываю пройденные проверки, а также добавляю видео и скриншотыИ это очень помогает, когда тестирование закончено, фича на проде и вдруг появляется какой‑то баг. После определения и починки я проверяю пропустила ли я этот баг или он возник уже на проде. Иногда бывает так, что открывая скриншоты и записи я вижу этот баг. Тогда я начинаю думать о том почему не обратила внимания и почему на него не было проверки. На этой самокопательной ноте перейдем к негативным сторонам этого голосаОн добавляет мне тревожности и часто на ровном местеТакое иногда происходит после факапов, но бывают ситуации, когда голосок таракана звучит без какого либо повода. Были ситуации, когда таракашка не оставлял меня в покое даже после того как я легла спать и тогда я делала заметки себе о том, что еще стоит проверить. Часто он заставляет тратить время на очень запутанные кейсыИ это прямое продолжение первого пункта: из‑за тревоги в голове рождаются самые странные и кошмарные сценарии, которые в моменте кажутся очень важными, но на деле оказываются чем‑то вроде «на сосне при луне свистнул дрозд…» Он не дает сфокусироваться на других задачахИногда, переведя уже задачу в следующий статус и выбрав, чем заняться следующим мысли о кейсах преследуют и мешают сфокусироваться на новой задаче. В таких случая переключится с тревожного таракана‑проверятора бывает сложно Как использовать этого таракана себе в пользу и как его сдерживать?Первое,что пришло в голову, когда писала негативные моменты и что я повторяю как мантру: Исчерпывающее тестирование невозможно — баги будут всегда. Невозможно предугадать все возможные комбинации и все доступные ситуации, а значит невозможно найти все баги до того как их найдет пользователь. Тем более в постоянно изменяющемся мире. Это стоит просто принять и пережить. В понимании этого мне помогли разборы причин багов на проде или как их иногда называют постмортемы: когда общаешься с каждым участником процесса, чтобы понять как баг возник и что можно сделать чтобы не повторить эту же ошибку. Не редко серьезные дефекты возникали из‑за простой невнимательности: где‑то не проверили кейсы с пустыми значениями и из‑за этого часть товаров в магазине не открывалась, где‑то забыли про локализацию и на экране заголовок был пустым. И мир от этого не рухнул, люди продолжали работать и обращали внимание на те места, где допустили когда‑то ошибку. Второе,чем я успокаивала таракана‑проверятора это техники тест дизайна: таблица решений и схема переходов и состояний. Они помогают визуализировать логику приложения и лучше видеть возможные кейсы, а значит быть более уверенным, что эти кейсы не будут упущены. Если кто‑то забыл, то таблица решений это таблица, где в колонки и столбцы мы вносим условия и правила. После указания опций для всех условий и правил мы заполняем ожидаемый результат. Подробнее можно почитать тут https://habr.com/ru/articles/546 432/ Схема переходов состояний это когда у нас есть объект, у него есть состояния и объект при каких‑то условиях меняет свое состояние. Подходит не всегда. Мне очень помогло, когда работала в разработке сервиса бухгалтерии и объектом в таких схемах был отчет, заявление или электронно‑цифровая подпись. Третьелекарство от таракашки нашло меня само. Им оказалось ревью тест кейсов от коллег при тестировании и общение после факапов. Просто, банально, но работает замечательно. Четверымуспокоительным стала оценка эффективности и рисков. Когда таракашка начинал шептать мне на ухо «проверь еще несколько кейсов» я вспоминала тимлида и задавала 2 вопроса:
Да, иногда имеет смысл провести тестирование на нескольких версиях ОС, с разными настройками языка, темной и светлой темой, увеличенным шрифтом и так далее, но чаще эти проверки излишне. Представьте, что при выполнении таких проверок вы нашли баг: какого бы приоритета он был? Из‑за специфики воспроизведения даже краш может получить минорный приоритет. Сколько времени займут эти проверки? 5–10 минут — не страшно, но и они не всегда есть. За это время можно прочитать описание средней задачи Заключение, наверноеКак и любой инструмент, таракашка может приносить пользу, а может вредить. Часто умение применять и использовать что‑то приходит с опытом и временем. Мне бы хотелось, чтобы эта статья помогла вам сократить время на приручение таракашки, сохранить нервы и больше верить в себя. Надеюсь, эта статья поддержит вас и вместо противостояния и борьбы на истощение вы найдете свой подход к этому грозному зверю и приручите его. |