Home

Автор: Майкл Болтон (Michael Bolton)
Оригинал статьи
Перевод: Ольга Алифанова

Если вас просят фокусироваться на тест-кейсах и тест-инструментарии, помните: тест-кейсы не находят баги. Баг находит тестировщик, а тест-кейс может сыграть роль в нахождении бага (спасибо Прадипу Сундарараджану за четкую формулировку).

Схожим образом автоматизированные проверки тоже багов не находят. Баг находит тестировщик, а проверка может сыграть роль в поиске бага.

Тест-инструмент не находит багов. Это делает тестировщик, а инструмент может сыграть роль в нахождении бага.

Если вы подозреваете, что ваши менеджеры чересчур одержимы тест-кейсами, автоматизированными проверками, или тест-инструментами – иными словами, артефактами – попробуйте вот что.

Составьте список.

Когда вы находите баг, сделайте пометку о баге и о том, как вы его нашли. Рядом с ней поставьте оценку артефакту. Сделайте еще одну пометку, кратко описав, почему вы оценили артефакт именно так.

Ставьте 3, если вы заметили, что артефакт был незаменим при поиске бага – вы бы никогда в жизни не нашли баг без него.

Ставьте 2, если артефакт был значимой помощью в поиске бага; возможно, вы бы его и так нашли, но артефакт был довольно-таки полезен.

Ставьте 1, если артефакт помог, но не особенно.

Ставьте 0, если артефакт вообще роли не сыграл.

Ставьте -1, если вы замечаете, что потратили на артефакт немного времени, или если он вас отвлек.

Ставьте -2, если вы потратили на артефакт много времени, или если он оторвал вас от задачи поиска значимых проблем.

Ставьте -3, если вы заметили, что артефакт активно препятствовал нахождению проблем – когда ваше внимание было полностью отвлечено от продукта, его изучения, и выявления возможных проблем. Вместо этого вы ухаживали за артефактом и подкармливали его.

Заметьте, что для выставления оценок вам не нужно сначала найти баг. Делайте периодические паузы для оценки своего статуса, и делайте заметку. Если вы не нашли баг за последнее время, отметьте это тоже. Как бы то ни было, периодически помечайте, как долго вы занимаетесь исследованием при помощи кейса, набора автоматизированных проверок или инструмента. Оцените ваше взаимодействие с артефактом.

Периодически просматривайте этот список с менеджером и командой. Общая оценка может быть интересной; если она высока, можно предположить, что ваши инструменты, кейсы или прочие артефакты вам помогают. Если она низкая или отрицательная, время сделать вывод, что инструменты, кейсы и прочие артефакты путаются у вас под ногами.

Не зацикливайтесь на общей оценке, вообще не тратьте на нее время. Гораздо важнее детально пройтись по всему списку. Наиболее интересными в нем будут экстремумы. Возможно, вы обратите особое или пристальное внимание на самые высокие и низкие оценки – или, наоборот, пойдете по списку хронологически.

В любом случае, рассматривая конкретную заметку, забудьте про оценку, потому что на самом деле она ничего не значит. Она субъективна. Ее можно назвать "данными", но это, возможно, невалидные данные, и уж точно они ненадежны. Если люди будут пользоваться данными для контроля над решениями, рано или поздно данные будут использованы для контроля над этими людьми. Забудьте про оценку.

Значение тут имеет ваш опыт и то, что вы и ваша команда можете почерпнуть из него. Внимательно разберите свои заметки и полученный опыт, после чего начните настоящий серьезный разговор с менеджером и командой – о баге, об артефакте или инструменте, и о своем тестировании. Если артефакт был полезен, расскажите, как он помог и как может помочь в будущем, и как он может вас обмануть, если вы ему чересчур доверитесь. Если артефакт был бесполезен, подумайте, как именно он мешал тестированию, как его улучшить или изменить, и не стоит ли отложить его на время или вообще отказаться от него.

Учитесь у каждого инсайта. Учитесь у каждого бага.

Обсудить в форуме