Оригинал статьи: http://www.cassandrahl.com/blog/tester-interviews-techniques-and-tasks/

Автор: Кассандра Лонг (Cassandra Leung)

Перевод: Ольга Алифанова

Я тестировщик, а раньше я работала в найме IT-работников. Я часто собеседую людей, а до того, как я начала работать в MaibornWolff, я сходила на собеседование с пятью компаниями, чтобы выбрать наиболее подходящую для себя позицию. Я много ходила по собеседованиям сама, а также собеседовала кандидатов как рекрутер и консультировала компании, как им лучше интервьюировать их соискателей.

Обсуждение на форуме Министерства тестирования сподвигло меня рассказать о техниках, которые я использовала на собеседованиях, и о задачах, которые мне приходилось решать. Я также опишу методики, про использование которых я наслышана, и дам свою оценку их преимуществам и недостаткам. Надеюсь, что моя статья поможет вам собеседовать тестировщиков в вашей компании, и что вы попытаетесь применить описанные в ней техники.

Пожалуйста, имейте в виду, что я не планирую вести разговор о технических задачках на программирование – я никогда с ними не сталкивалась и не могу судить об их эффективности.

Теория

Для задач моей статьи под "теорией" будут пониматься традиционные техники интервью, не требующие от кандидатов демонстрации навыка тестирования.

Опросник

Что это: Обычно это некие общие, неструктурированные вопросы, которые задаются любому кандидату вне зависимости от позиции. Например, такие:

• Почему вам нравится эта должность?
• Как выглядит ваш обычный рабочий день?
• Где вы видите себя через пять лет?

Преимущества: прямая демонстрация того, что хочет узнать работодатель.

Недостатки: к этим вопросам легко подготовиться заранее, и они дают слабое представление о том, насколько кандидат подходит на позицию.

Поведенческие и основанные на компетенциях вопросы

Что это: это вопросы, обычно начинающиеся со слов "Расскажите о моменте, когда вы…" и обращающиеся к реальному личному или профессиональному опыту кандидатов. Их ответы также могут дать вам понять, как бы они справлялись с определенным сценарием, даже если у них нет реального опыта в этой области.

Преимущества: дают представление о том, как кандидат поведет себя в реальной ситуации. По результатам можно оценить кандидата в баллах, чтобы сравнить с конкурентами.

Недостатки: к этим вопросам можно подготовиться заранее, попрактиковаться и даже выдумать ответы, которые интервьюер хочет услышать.

Вопросы о знаниях

Что это: письменные или устные вопросы, очень напоминающие тест или экзамен. Они нацелены на определение уровня познаний кандидата в определенной области. Например:

• Что такое манифест Agile?
• Что такое регрессионное тестирование?
• Назовите уровни тест-пирамиды.

Преимущества: эти вопросы похожи на "опросник", описанный выше – они дают интервьюеру возможность напрямую выяснить уровень знаний кандидата. К тому же письменные тесты легко оценить по балльной системе для ранжирования кандидатов.

Недостатки: многое в тестировании куда сложнее простой дихотомии "правильных" и "неправильных" ответов, а способность запомнить и пересказать фактический материал никак не связана с уровнем навыка тестирования кандидата.

Отраслевые знания и участие в жизни сообщества

Что это: вопросы, предназначенные для выяснения, как кандидат вкладывается в свое развитие как тестировщика. Например:

• Каким образом вы держите себя в курсе последних событий в мире тестирования и разработки ПО?
• Какими тестировщиками вы восхищаетесь?
• На каких мероприятиях по тестированию вы были в ближайшее время?

Преимущества: помощь интервьюеру в определении тех кандидатов, которые участвуют в жизни сообщества тестировщиков вне своих профессиональных ролей и обязанностей.

Недостатки: нехватка включенности в сообщество необязательно означает отсутствие интереса или компетенций. Кандидат может быть ограничен по деньгам и времени, которые он может вкладывать в свое развитие во внерабочее время, поэтому не отметайте таких людей сходу.

Практика

For the purposes of this post, “practical” refers to interview techniques that typically require interviewees to test in some way.

Тестовое задание: на дом/на вашей территории

Что это: задания или упражнения, которые кандидат должен выполнить дома или во время живого интервью. Они могут включать как задачи на тестирование, так и оценку личностных качеств и интеллекта.

Преимущества: кандидатам может быть проще выполнять задания дома – они более расслаблены и лучше себя покажут, однако интервьюер может получить больше информации, попросив кандидата думать вслух, если он выполняет задание во время живого интервью.

Недостатки: у кандидатов может не хватить времени на выполнение задания дома, плюс они могут "списать". Выполнение задания во время интервью увеличивает длительность собеседования, что не каждый кандидат может себе позволить в связи с необходимостью отпрашиваться с текущей работы или другими обязательствами.

Задачи на критическое мышление

Что это: Решение логических задач и стратегические игры необязательно напрямую связаны с тестированием – например, это игра в кости или вопросы и допущения. Эти задания предназначены для демонстрации навыков критического мышления и решения проблем.

Преимущества: игры могут быть не связаны с тестированием напрямую, и поэтому кандидаты чувствуют себя комфортнее, демонстрируя свою креативность и способность абстрактно мыслить. Особенно такие задачи хороши для джуниоров, у которых мало практического опыта.

Недостатки: непривычный формат может оттолкнуть некоторых кандидатов, а результаты таких испытаний сложно оценивать и сравнивать.

Тестирование требований

Что это: Кандидатов просят изучить список требований, уточнить их, задавая вопросы, и определить риски и пробелы в них. Можно также попросить их описать, как они будут тестировать ПО, соответствующее этим требованиям.

Преимущества: Интервьюер получает информацию, как кандидаты будут тестировать на стадии старта проекта (сдвиг тестирования влево), не имея возможности посмотреть на реальную систему. Очень хорошо, если успешный кандидат сможет объяснить, почему он собирается тестировать именно так.

Недостатки: Этот сценарий может не отражать реальное развитие событий в сценарии, требующем подобных навыков. Тестировщиков, возможно, даже не спросят об их мнении, и они должны уметь эффективно доносить свои сомнения, не дожидаясь, пока их попросят высказаться.

Три товарища

Что это: Ролевая игра, основанная на технике " Three Amigos", включающая тестировщика (кандидата) и еще двоих человек, изображающих продакт-оунера и разработчика. Все участники игры обсуждают требования, юзер-стори и делятся идеями и вопросами.

Преимущества: Это упражнение ближе к реалистичным сценариям, нежели "Тестирование требований". "Товарищи" потенциально могут выдвигать контр-аргументы и бросать вызов личным качествам кандидата, позволяя ему продемонстрировать эффективность своих групповых коммуникаций.

Недостатки: Задание сложнее прочих, и кандидаты могут занервничать или показать себя не с лучшей стороны из-за новизны формата.

Десятиминутный тест-план

Что это: Кандидата просят написать тест-план за десять минут. Он может быть как текстовый, так и рисованный, на бумаге или на доске. Временное ограничение вводится для того, чтобы кандидаты включали в план только наиболее важные аспекты, а также продемонстрировали умение работать под внешним давлением.

Преимущества: Интервьюер получает представление о навыке создания тест-плана кандидатом, а также о владении эвристиками и мнемониками тестирования.

Недостатки: В различных организациях требования к информации, входящей в тест-план, различаются, и вполне возможно, что в него включается информация вне зависимости от ее относительной важности. У кандидата может в принципе не быть опыта создания тест-планов, и, следовательно, отсутствуют необходимые знания.

Тестирование примера ПО

Что это: Кандидатов просят протестировать приложение, находящееся в публичном доступе, или специально созданное "псевдоприложение" – то есть не то, что реально тестируется внутри компании на данный момент.

Преимущества: Компания может оценить, как кандидаты тестируют; в псевдо-ПО можно специально заложить баги, чтобы кандидаты нашли и локализовали их.

Недостатки: такое ПО может быть чересчур простым или слишком сильно отличаться от тех приложений, с которыми человеку придется иметь дело в ходе работы. В результате будет сложно оценить реальную производительность кандидата.

Тестирование реального ПО

Что это: Кандидатов просят протестировать ПО, с которым им придется иметь дело, если их примут на работу.

Преимущества: Интервьюеры могут наблюдать, как кандидаты взаимодействуют с ПО, которое они предположительно будут тестировать в рабочей обстановке, и оценить подходы или навыки, которых не хватает нынешней команде; кандидаты также могут найти реальные, еще не найденные командой баги.

Недостатки: реальное ПО может быть чересчур сложным или плохо подходящим для тестирования в процессе интервью; может понадобиться ограничить кандидатов какой-то специфической частью приложения или его процессов.

Парное тестирование

Что это: Кандидаты тестируют в паре с интервьюером или членом команды; вместо того, чтобы тестировать в одиночку и "думать вслух", им приходится постоянно взаимодействовать со своим напарником.

Преимущества: Интервьюеры и напарники могут оценить, как кандидат сотрудничает с другими людьми; многим людям комфортнее вести рабочие разговоры о тестировании, а не "думать вслух" – есть люди, стесняющиеся этого.

Недостатки: Некоторые люди могут сконцентрироваться на том, чтобы тестировать в паре "правильно" вместо того, чтобы сосредоточиться на собственно тестировании; кто-то может передать "руль" партнеру или, напротив, потащить одеяло на себя.

Мои рекомендации и ложка дегтя

Мои комментарии по подходам и техникам основаны на моем личном опыте и восприятии, и мое мнение, безусловно, может отличаться от мнения других людей, имеющих различный с моим опыт. К тому же я упомянула далеко не все техники – их список не исчерпывается вышеперечисленными.

Прежде чем решить, какими подходами воспользоваться, собеседуя тестировщиков, я бы рекомендовала задуматься о вашем бизнес-контексте, о специфике команды и о позиции, на которую вы ищете людей. Какими навыками и опытом должен обладать ваш идеальный сотрудник? Какие техники помогут эффективно выявить эти навыки?

Не все собеседования должны строиться по одному и тому же сценарию – экспериментируйте, пока не найдете подход, который прекрасно работает в вашей ситуации, в вашем контексте. Не забудьте только убедиться, что у всех кандидатов на вашу позицию схожий опыт, чтобы выбор был честным. Пробуйте разные методы на разных кругах отбора кандидатов – не подвергайте напрямую конкурирующих соискателей разным испытаниям.

В общем и целом я бы рекомендовала использовать микс из техник и заданий как "теории", так и "практики": важно понимать не только уровень способностей и потенциала человека, но и его мотивацию, и то, насколько он впишется в коллектив. Люди могут блистать по-разному при выполнении различных заданий, и смешивая техники, вы дадите им возможность показать себя.

Я бы не советовала прибегать только к "теоретическим" подходам – с моей точки зрения, куда лучше дать людям продемонстрировать, что они умеют, а не слушать, как они об этом говорят. Я слышала, что эту разницу определяют как "интервьюирование VS прослушивание".

Не все любят хвастаться своими сильными сторонами, поэтому кто-то может и поскромничать – а кто-то, напротив, преувеличит свои способности. Некоторые специалисты считают, что традиционные техники собеседований приводят к не очень хорошим решениям о найме.

Существуют также мнения, что собеседования вообще не работают, поэтому относитесь ко всему с известной долей скепсиса, собеседуя людей. Практические задачи помогают вам в выборе, но точно определить уровень человека только по результатам собеседования невозможно, вне зависимости от количества кругов ада, через которые вы его прогоните. Конечно, всем хочется найти идеального человека с первой попытки, но для этого и существует испытательный срок – в течение него вы увидите, какой из человека сотрудник на самом деле. Не попробуете его в деле – не узнаете.

Обсудить в форуме