Сообщений в теме: 36

[Worm]

Всем, прювет.
Проблема с которой я столкнулся следующая - написание тестов для тестировщиков при приеме на работу.
Задача такая - нужно отсечь молодых, еще на этапе общения с эйчар департаментом. А потом разговаривать уже более глубоко с людями знающими и понимающими.
Поискал на форуме но ничего похожего не нашел - можт у кого был опыт составления/ прохождения подобных заморочек - жду ответа ;)))

P.S. Свой вариант уже подготовил, но хотелось бы его доработать и усовершенствовать, а то вдруг вопросы сложные или чего нить упустил. После доработки обязуюсь опубликовать свой вариант теста ;)

P.S.S уровень нанимаемого персонала такой:

• At least 2 years experience with functional testing
• Experience with interpreting and reviewing functional designs
• Experience with making test plans, making test cases and writing test scripts
• Knowledge of and experience with XML and related technologies and specs (XSL/XSLT, XSD)
• Knowledge of browser / web technologies
• Knowledge of TMAP or similar methodology

[Doveangel]

На самом деле, Глист (кхе-кхе), подобные разговоры заводились на данном форуме, может быть в немного упрощенной форме. Многие проводят собеседование в нестандартной форме - например дав задание написать тест-кейсы для тестирования грифельного карандаша или задание, с первого взгляда вовсе не связанное с тестированием: например - сказать через 10 минут сколько бензоколонок в городе буду рентабельны, какое их число оптимально (владея определенной инвормацией). Искать лень - не помню точно где это было.

Я не проводила тестирование тестировщика (:D ), но представляю себе это так: должно быть реальное задание на вашей системе, в результате которого испытуемый должен предоставить например набросок тест-плана и тестовые сценарии (сколько успеет - тут даже будет нейкий анали затрат времени на предлагаемую работу). Можно тут же проверить и его смекалку - набросать тест-кейсы для тестирования , например, первого попавшегося на глаза предмета (дверная ручка...). По поводу скиллов в вышеперечисленных программных продуктов тоже надо прозондировать беднягу - задать пару вопросов непосредственно по теории (основы конечно). Ну и хорошенько пробежаться пару вопросиками по резюме - что он там понаписывал. Я немного в шуточном тоне это все описываю, но отношусь к этому вполне серьезно - это просто настроение хорошее))

А вообще расскажу ещё кое что:
Как то проходила я тестирование на должность тестера в достаточно крупной компании (одна из крупнейших в Беларуси) - так там целый тестовый день был!! Меня посадили за комп - загрузили мне их реально тестируемое приложение и сказали - пиши тест кейсы вот по такой форме вот в такую папочку на англ яз. Можешь какие-хошь- хоть тесты для тестирования на удобство. А потом они по результатам уже смотрят кто им подходит. Уже после этого проходило собеседование с менеджером - он прошелся по резюме - спросил пару теоретических вопросов по указанным продуктам и пару вопросов о моих личных качествах.

Вот - если что-нить полезное сказала - было бы хорошо)

[Worm]

Огромный респект, Doveangel.
По поводу дверной ручки прикол надо взять на вооружение, но тут речь идет именно о том что тест должен проходить без моего участия и баллы которые заработает тестируемый сам эйчар сможет подсчитать по бамажке - если мало, то однозначно гудбай если в пределах допустимого - пускаем дальше.

Может есть у бывалых матерых тест манагеров подобный опыт в принятии сотрудников - очень буду рад глянуть одним глазком ;)
или можт есть ссылка а то потратил уже на поиски 4 часа - в результате тока общие рекомендации.

кратко про мой тест:
Я, короче, решил построить опросник именно в виде теста - чтоб было проще оценить и просто посчитать баллы, но дело в том что сижу щаз и думаю, что ответы в опроснике очень прозрачные - и сразу видно где верный, а где нет - в одном случае; или блин немного трудноватые, что и не каждый профи тонкость сможет вычислить - в другом...
Ну и в конце добавил задачку( или вот думаю щаз вторую вставить) на составление тест кейсов.
всего получилось 8-9 заданий может мало, а с другой стороны больше 10 наверно и не надо - все остальное в усном виде раскопаем....

[Undi]

На форуме очень долго спорили о вопросах терминологии, но так и не пришли к единому мнению.
В разных книгах используются различные подходы к тестированию, описанию процесса тестирования и результатов тестирования. Кроме того, могут использоваться различные подходы к процессу разработки (выпуск полноценных версий раз в месяц, сборка версии для тестирования каждый день, обновление отдельных модулей и т.д.) и в зависимости от этого тестирование будет строиться по-разному.
Но вот что меня смешит на собеседованиях, так это такой разговор:
(абстрактно, без привязки к конкретному продукту и процессу)
(менеджер) - Какие пункты Вы будете включать в тест?
(подопытный) - .....
(менеджер) - Правильно/не правильно. (С умным видом).

Менеджеры почему-то считают, что их точка зрения единственно правильная :)
Лично я считаю правильным подход, когда на собеседовании выдается задание и после этого смотрят на результаты.
Тестировщик не станет лучше от идеального знания терминологии, нужен опыт и личные качества, которые приобрести очень сложно:) (внимательность, усидчивость).

Кроме того, нужно учитывать специфику фирмы. Например, если тестируются антивирусные программы, нужны знания системного администратора, специфических команд, возможно, железа и, конечно, вирусов. Если тестируется приложение для бухгалтерии или банка, нужны знания бухучета, экономики и т.д. Потому не думаю, что имеет смысл писать какие-то универсальные тесты для приема на работу тестировщика.
Дайте человеку задание, посмотрите как он его выполнит, попросите прокомментировать.

[Darkus]

IMHO.
Давать человеку тесты с вопросами - это тоже не решение.
Всё таки реальный тет-а-тет разговор + (как выше было описано Doveangel) нужно просто дать живую программу, на неё спецификацию и вперёд писать тест - кейсы.
Может будет описано не в той форме, как задумывалось, но по найденным ошибкам (хорошо, если это специализированная программа, где намерено сделаны ошибки и есть их список) можно уже составлять какое - нибудь мнение.
А то просто свалить всё на программку, а потом получается, что человек знает или слышал где-то что-то.. ответил\угадал правильный вопрос и всё хорошо?
В таком случае типа Brainbeach тестов вам подошли бы.... Только мало это пригодиться реально.

[shiny]

Добрый день, GLIST!
Недавно передо мной тоже стояла аналогичная задача - провести собеседование человека на должность тестера. Единственное отличие - требование к знаниям и опыту нанимаемого человека у нас было чуть пониже. Поэтому и возникла проблема - задавать ему вопросы из области методологии, процедуры тестирования, либо давать ему задание написать тесты для того же степлера ( :) ) и т.д. не было смысла. Поэтому в моем случае хорошим оказался опыт постановки вопросов, на которые должен ответить любой умеющий мыслить (например - вы приходите домой, включаете свет, а он не работает - что вы будете делать). Т.е. это собеседование было больше ориентировано именно на разговор, на умение думать, на умение правильно задавать уточняющие вопросы....

В вашем случае, думаю это будет сделать немного проще. Согласен, что тестовые вопросы (которые предполагают выбор ответа из нескольких предложенных) с неочевидными ответами сложно придумать, но вы подберите вопросы без ответов, чтобы человек сам писал ответ (к примеру - что такое контроль качества; или какая роль баг трекинг системы), а потом кто-либо из опытных сотрудников проверяет и ставит баллы (если конечно вашему HR нужны цифры).

Не претендую на хороший совет. но надеюсь это чем-то вам поможет ;)
Буду рад обменяться наработками.

[Worm]

Господа!!!!
Вы не о том! Я отлично понимаю, что надо встретиться и пообщаться, но!
Задача заключается в том, что принять уже более опытного тестировщика - умеющего писать/править скрипт для автоматизированного тестинга и понимающего, что такое тест кейс, тест план и т.д. - понимающий для чего эти документы и как с ними работать.
Требуется тестер с опытом работы около 2х лет.
Я считаю, что если человек проработал 2 года в тестинге и не знает и не собирается знать простейших вещей (не развивается) - это все равно как мартышка.... Хотя не спорю - есть конторы на которых ресурс загрузили с ног до головы и он пашет на благо конторы, но при этом у него нет времени и возможности изучит узнать, что то новое (хотя по моему это все детский лепет и отмазки) - надо подумать о целесобразности работать в таких условиях ;))

Может разговор будет более предметным если я покажу свой тест для приема "опытного тестера" на работу. Вот он:


Задание подредактировал, а то люди приходят и говорят, что уже видели и знают - не интересно ;(
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
I Тест

1.

2. Что такое варианты использования (use cases)?
....

3. С какой целью пишется тест план (test plan)
 Для описания всех вариантов конфигураций при проведении тестирования
 Для описания входных данных, действий тестера и ожидаемый результат для определения того, что программа работает правильно.
 Для определения состава группы разработчиков и сроков сдачи проекта
 Для описания всех типов тестирования, группы тестирования, условия и сроков тестирования, краткое описание всех вариантов использования.

4. Хороший тест кейс состоит из следующих частей :
a) Название теста (кратко отражающее его суть).
B) Описание варианта использования (use case)
c) Шаги воспроизведения (описание действий производимых тестером при проведении теста) с последующей нумерацией каждого шага.
d) Ожидаемые результаты (что Вы собственно ждете от программы при проведении Ваших действий).
e) Полученные результаты (что получилось на самом деле).
f) Дата создания тест кейса
g) Отметка о прохождении и дата проведения теста.
h) Фамилия программиста отвечающего за данный модуль
Варианты ответа:
 a, b, c, d, e
 Все указанные пункты в обязательном порядке должны присутствовать
 a, c, d, e, g
 b, c, d, e, g, h
 a, c, e, f, g

5. Представьте себе ситуацию:
На кануне отправки финальной версии продукта Вы обнаруживаете не критичный баг, Ваши действия:


6.

7. Rational Robot это:
....

II Практические задания
1.
2.

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

квадратики для отметки ответа не отобразились, но там по моему все понятно.

Вопрос к уважаемым обитателям форума:
1. может ли тестер с 1,5 - 2 х летним стажем пройти такой тест?
2. достаточно ли грамотно составлено мной задание?
3. достаточно ли правдопадобно выглядят неправильные ответы?
4. можно ли судить по результатам данного теста об уровне тестера?

Жду от вас пожелания замечания и дополнения.
С уважением, Ваш Червь ;)

[barancev]

3. С какой целью пишется тест план (test plan)

Да, кстати, с какой целью?
Буквально только что я общался на эту тему в форуме RSDN -- http://www.rsdn.ru/forum/?mid=986415, среди народа имеются разночтения в понимании этого термина :)

[Worm]

barancev: в одном из ответов мое краткое мнение по поводу тест плана ;)))
На самом деле я планирую за каждый ответ из данного опросника давать определенное кол-во баллов
и по сумме уже решать самому эйчар ресурсу, а потом по этому тестингу и можно с человеком общаца и узнавать почему и как он думает о том или ином ответе (например о том же самом тест плане).
У большинства контор в Киеве, о которых мне приходилось слышать (но не у всех), тест план всего лишь этап для перехода на сиэмэм энного уровня, а в реалии мертвый документ.... ;(

[Doveangel]

Вопрос к уважаемым обитателям форума:
1. может ли тестер с 1,5 - 2 х летним стажем пройти такой тест?
2. достаточно ли грамотно составлено мной задание?
3. достаточно ли правдопадобно выглядят неправильные ответы?
4. можно ли судить по результатам данного теста об уровне тестера?

Первое впечатление от описанного тестирования тестировщика: на самом деле тестировщик с 2-х (!)-летним стажем должен знать НАМНО-о-о-ГО больше спрашиваемого... Эти вопросы , как в принципе и тестовые задания предназначены скорее для человека, только что закончившего курсы "Тестирование ПО". Или даже человека, просто полазавшему по данному форуму - уже на первые вопросы можно ответить интуитивно.

Вот например несколько вопросов, из теста на сертификацию:
В течении модульного тестирования чаще всего применяется следующая тестовая стратегия:
1. Белого ящика
2. Черного ящика
3. Прозрачного ящика
4. Свой ответ

Тут уже тестер должен знать не только что такое методы черного и белого ящика, но и тчо такое модульное тестирование.

Или:
Тест кейс для тестирования следующих значений: одного правильного и двух неправильных, известен как:
1. Ошибочный ввод
2. Анализ граничных значений
3. Соотношение классов эквивалентности
4. Тестирование цикла

... и.т.д.


Хотя конечно и основные момент пропускать нельзя... тогда получается будет больше вопросов. Вопросы очень легкие у вас - на них уйдет около 2 минут- поэтому ничего страшного в том, что вопросов будет больше. Если вы ищете специалиста со знанием автоматизированного тестирования, не стоит спрашивать знает ли он Ратионал Робот... Спросите более конкретно:
Принцип написание скрипта для автоматизированного тестирования или как осуществляется нагрузочное тестирование.

Есть смысл сделать ваше первое тестовое задание на Роботе. Пусть напишут скрипт, параметризуют его и вообще сделают с ним то, что считают нужным - сразу видно будет спец или нет. А вот второе задание тестовое - как раз хорошо подходит для написания вручную.

[Doveangel]

Я считаю что своим "Экзаменом" вы просто отсеите тех, кто вообще никак не связан с тестированием

[Worm]

Doveangel, еще раз сенкс.
;))) Из вашего сообщения понял, что тест составлен как раз то что надо ;)) - для опытного тестера выглядит как мелочь и очень простая задача, а вот как для новичка?
Если его сможет пройти человек который посетил данный форум тоже отлично - кандидат интересуется и развивается ;)
Ваши тестовые вопросы тоже приму на заметку - намек такой, что надо бы добавить и парочку сложных вопросов, чтоб оценить на каком уровне тестер, я вас правильно понял?

[Doveangel]

Да -правильно..

Мой хорогий знакомый - оч продвинутый сис админ всегда говорит, что можно задать человеку всего 3 вопроса - и сразу понять чего он стоит.
Вообще можно по нарастанию.. до какого вопроса дойдет испытуемый - на каком отвалится?.

[Worm]

Doveangel, можно ли мне получить доступ к вопросам по сертификации, или хотябы узнать, что это за сертификация чтоб копать в нужном направлении? ;)

[Doveangel]

Ох... Как бы вам сказать - можно конечно.. но у меня только в печати... а эл варианта нет.. и не помню адреса в инете. Но точно помню что эта ссылка на бесплатный экзамен пробегала где-то на форуме. Это не то чтобы совсем сертификация - это что-то типа Брейн Бенча - но для проверки собственных знаний - хорошая штука.

[van]

Всем добрый день!
Внесу тоже свою лепту в дискуссию.

На мой взгляд, прежде чем определяться с конкретными практиками (вопросы, задание и т.п.) тестирования тестировщика, необходимо определиться с принципами, т.е. с тем, что же Вы все таки хотите проверить, какие именно качества.

Примером таких качеств могут быть:
1. Адаптируемость
2. Способность к быстрому обучению
3. Навыки концептуализации
4. Самоорганизация
5. Творческий подход
...
Специальные технические знания
Опыт тестирования
и т.п.

таких качеств можно много написать

Только после формулирования качеств (а также должностных обязанностей) можно приступать к формулированию вопросов и заданий. А они в свою очередь должны зависеть от проверяемых качеств. Это могут быть вопросы, рассказ о предыдущей работе, о выполняемых там обязанностей. В качестве практического задания можно дать на тестирование какую - нибудь программу (естественно с составлением соответствующей документации и описанием ошибок). Опять же тестируемые качества, вопросы и задания должны отличаться для разных категорий тестировщиков (ручное, автоматизированое тестирование, ведущий тестировщик, младший тестировщик).

Что касает специальных знаний и навыков, то необходимо проверить:
1. Анализ тестопригодности системных требований.
2. Понимание жизненного цикла тестирования.
3. Определение требований к тестам и стратегий тестирования
4. Использование инструментов авт. тестирования
5. Оценка, проверка, поиск инструментов авт. тестирования
6. Планирование тестирования
7. Планирование, отслеживание и управление работами по настройке тестовой среды
8. Определение видов тестирования
9. Разработка тестовых сценариев
10. Подготовка тестовых данных
11. Работа с дефектами
12. Взаимодействие с разработчиками
13. Проведение тестирования

и т.п.

[Worm]

van: спасибо за лепту ;))
Doveangel : не нашел я чагойто.... ;(
Люди добрыя можт кто видел, подскажите где искать сертификацию то..

[Текрайтер из Питера]

Прошу прощения, что вклиниваюсь в разговор спецов-тестировщиков...

2 Червь: Я почитал ваше тестовое задание... Думаю, что оптимально поступить так: после утверждения контента тестового задания отдать его на проверку (вычитку) вашим техническим писателям. Очень много нестыковок - глаз тормозится при прочтении. Не только соискателю надо произвести на вас хорошее впечатление, но и вам - на желаемого соискателя.

[Worm]

Текрайтер из Питера: я для этого его сюда и выложил - чтобы обсудить и улучшить это задание
на чем конкретно тормозится ваш глаз???
По поводу технического писателя - поступлю подругому: отдам на растерзание нашему отделу тестирования :)) пусть во первых тест пройдут а во вторых замечания напишут

[Текрайтер из Питера]

2 Червь:

1. П. 1: "Это документ который" повторяется 4 раза. Запятую не мешало бы поставить перед "который".

2. П. 5: "Накануне" - пишется слитно :)

3. Текст практического задания лучше отдать текрайтерам - пусть логично и правильно напишут. По стилю напоминает "монолог эникейщика" (без обид) :)

Можно еще углубиться, но на это у меня просто нет времени. Лучший способ (практикуемый текрайтерами при написании своих творений) - написать, отложить на день (два, три...). Затем перечитать снова. Уверяю, будет найдено очень много ляпов.