Контекстное тестирование ПО: практические рекомендации
#1
Отправлено 02 ноября 2009 - 18:32
Какое-то время назад, я и не подозревал о том, что существует такое понятие как Context-Driven Testing, буду называть его Контекстным Тестированием (или КТ для краткости). Хотя я и сказал, что не подозревал об этом, но как оказалось, на протяжении всей моей карьеры инженера по тестированию, я руководствовался принципами, провозглашенными такими известными специалистами в тестировании ПО как Cem Kaner, James Bach и Bret Pettichord, которые являются авторами и проповедниками КТ.
Я могу назвать себя успешным специалистом в тестировании, и теперь я знаю, что КТ и есть тот базис, который позволил мне добиться успеха. Но я жалею, что не знал об этом раньше, когда был еще молодым специалистом. Пришлось всего достигать самостоятельным путем, а знание принципов КТ позволило бы пойти путь быстрее и проще. Но, как известно, одно дело знать о чем-то, другое дело уметь применять это знание на практике. Таким образом и зародилась идея познакомить людей с КТ и объяснить, как легко данный подход может быть использован в повседневной работе.
Подробнее...
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#3
Отправлено 03 ноября 2009 - 07:28
Danil.
#4
Отправлено 03 ноября 2009 - 07:48
И еще вопрос ко всем коллегам: Почему было выделенно 5 этих школ?
На практике я всегда использую сочетания от всех 5 школ. Мое мнение, что именно сочетание будет наиболее полезным.
#5
Отправлено 03 ноября 2009 - 08:43
Вы либо не в теме, либо пытаетесь начать холивар :)Статья действительно интересная. У меня единственное НО, базовые принципы КТ можно отнести ко всем школам. Т.е. я хочу сказать, что они не являются отличительной особенностью именно Школы контекстного тестирования.
И еще вопрос ко всем коллегам: Почему было выделенно 5 этих школ?
На практике я всегда использую сочетания от всех 5 школ. Мое мнение, что именно сочетание будет наиболее полезным.
#6
Отправлено 03 ноября 2009 - 09:00
Потому, что на одной руке у человека только пять пальцев...И еще вопрос ко всем коллегам: Почему было выделенно 5 этих школ?
То есть, сугубо физическое органичение
Software Testing Glossary - простыми словами о непростых словах.
#7
Отправлено 03 ноября 2009 - 10:18
Ну если вы в теме просветитеВы либо не в теме, либо пытаетесь начать холивар :)Статья действительно интересная. У меня единственное НО, базовые принципы КТ можно отнести ко всем школам. Т.е. я хочу сказать, что они не являются отличительной особенностью именно Школы контекстного тестирования.
И еще вопрос ко всем коллегам: Почему было выделенно 5 этих школ?
На практике я всегда использую сочетания от всех 5 школ. Мое мнение, что именно сочетание будет наиболее полезным.
Переиначу вопрос: Зачем выделять отдельно 5 школ если на практике выгоднее применять сочетания всех пяти?
Это тоже самое, что разделить, скажем банкноту на 5 частей, но использовать всегда целую. Не вижу смысла...
#8
Отправлено 03 ноября 2009 - 10:40
Зачем разделять математику на алгебру, геометрию, матан и пр., зачем разделять направления на право, лево, вверх и вниз, зачем разделять животных на царства, семейства и т.д. и т.п. Это классификации — они удобны и полезны.Переиначу вопрос: Зачем выделять отдельно 5 школ если на практике выгоднее применять сочетания всех пяти?
Это тоже самое, что разделить, скажем банкноту на 5 частей, но использовать всегда целую. Не вижу смысла...
Я понятно объясняю?
Чубака — это вуки с планеты Киши, но живет Чубака на планете Эндо, а теперь вдумайтесь:
в этом же нет смысла. С какой стати Чубаке, вуки высотой два с половиной метра,
жить среди эвоков, которые чуть выше полуметра. В этом нет абсолютно никакого смысла.
#9
Отправлено 03 ноября 2009 - 10:46
Зачем выделять отдельно 5 школ если на практике выгоднее применять сочетания всех пяти?
Зачем разделять - это разделение чем-то схоже на классификацию по политическим приверженностям. Оно логическое, формальное, но не абсолютное.
Например, мы говорим о том, как надо оформить и интерпретировать результаты функционального тестирования.
Я лезу на трибуну и громко заявляю о том, что правильно - это написать как можно проще, мол, исследуемые функции - такие-то, выявленные проблемы - такие-то. И, кстати, пройдено столько-то кейсов, найдено столько-то багов. И больше, дескать, ничего не нужно.
А тут Clauster встает в третью позицию (балет рулит) и спрашивает, а почему в этом отчете не указана метрика покрытия кейсами требований и строк кода?! И куда я дел информацию о:
# Major Defects Per Test Case Review
# Minor Defects Per Test Case Review
# Total Defects Per Test Case Review
# Ratio of Major to Minor Defects Per Test Case Review
# Total Defects Per Test Case Review Hour
# Major Defects Per Test Case Review Hour
# Ratio of Major to Minor Defects Per Test Case Review Hour
# Number of Open Defects Per Test Review
# Number of Closed Defects Per Test Case Review,
а? Решил скрыть?
"Ведь "правильно" - это когда все метрики установлены и соблюдены", говорит профессор Clauster, слезая с трибуны вместе с общенственной бутылкой с минеральной водой.
"Неужели Clauster ненавидит тов. astenix и хочет угробить докладчика метриками, и вообще - не разбирается в тестировании и должен быть изгнан из конгресса?" - думают иностранные корреспонденты.
Но поскольку я знаю, что существует несколько "школ" тестирования, и что приверженцы каждой из них "предпочитают" по-разному трактовать и использовать результаты тестирования (мы же о них сейчас толкуем), то становится понятным следующее:
- я руковожусь иными принципами, нежели Clauster. Вот и вся разница.
- похоже, что я приверженец школы Context-driven testing.
- похоже, что Clauster - приверженец школы Quality testing.
- а значит, разница между нашим восприятием того, как надо подавать результаты тестирования заключается только в том, что мы исповедуем различные принципы.
Вывод: никто не дурак, ни на кого не надо орать, и никого не надо бить мордой об стол в поисках истины. Оба правы по-своему, и дальше мы будем говорить с учетом того, как визави понимает и подразумевает обсуждаемые вопросы в контексте "своей" школы.
А если бы я НЕ знал о том, что мир чуть более разнообразен, нежели взмах крыльев бабочки на заре августовского утра (хокку рулит наравне с балетом), то я бы стал волноваться, грызть трибуну, упорствовать и объяснять, что Я ПРАВ, а Clauster в корне НЕ ПРАВ, и что в итоге должна остаться только одна, каноническая школа тестирования...
И конгресс развалился бы.
Фигня вот в чем: знает ли мой визави Clauster о том, что существуют иные принципы, нежели те, которых он придерживается. Если не знает - общения не получится. А если знает, то скандала бы не случилось.
Поэтому один умный дядя когда-то записал основные принципы, типичные для представителей различных школ (получилось пять), и предложил их в будущем учитывать в спорах. И правильно сделал.
Как применять эти дела на практике: как угодно. Никто не запрещает использовать самые эффективные и нужные в определенных обстоятельствах приемы и подходы.
Software Testing Glossary - простыми словами о непростых словах.
#10
Отправлено 03 ноября 2009 - 11:03
Вы согласитесь, что есть разделимое, а есть неразделимое? Так вот принципы описаные в статье и якобы относящиеся только к школе КТ, я считаю базовыми для всего тестирования, и незаисящими от конкретной школы.Зачем разделять математику на алгебру, геометрию, матан и пр., зачем разделять направления на право, лево, вверх и вниз, зачем разделять животных на царства, семейства и т.д. и т.п. Это классификации — они удобны и полезны.Переиначу вопрос: Зачем выделять отдельно 5 школ если на практике выгоднее применять сочетания всех пяти?
Это тоже самое, что разделить, скажем банкноту на 5 частей, но использовать всегда целую. Не вижу смысла...
Я понятно объясняю?
Так или не так?
#11
Отправлено 03 ноября 2009 - 11:05
Повторюсь: принципы у школ тоже разные?Зачем выделять отдельно 5 школ если на практике выгоднее применять сочетания всех пяти?
Зачем разделять - это разделение чем-то схоже на классификацию по политическим приверженностям. Оно логическое, формальное, но не абсолютное.
Например, мы говорим о том, как надо оформить и интерпретировать результаты функционального тестирования.
Я лезу на трибуну и громко заявляю о том, что правильно - это написать как можно проще, мол, исследуемые функции - такие-то, выявленные проблемы - такие-то. И, кстати, пройдено столько-то кейсов, найдено столько-то багов. И больше, дескать, ничего не нужно.
А тут Clauster встает в третью позицию (балет рулит) и спрашивает, а почему в этом отчете не указана метрика покрытия кейсами требований и строк кода?! И куда я дел информацию о:
# Major Defects Per Test Case Review
# Minor Defects Per Test Case Review
# Total Defects Per Test Case Review
# Ratio of Major to Minor Defects Per Test Case Review
# Total Defects Per Test Case Review Hour
# Major Defects Per Test Case Review Hour
# Ratio of Major to Minor Defects Per Test Case Review Hour
# Number of Open Defects Per Test Review
# Number of Closed Defects Per Test Case Review,
а? Решил скрыть?
"Ведь "правильно" - это когда все метрики установлены и соблюдены", говорит профессор Clauster, слезая с трибуны вместе с общенственной бутылкой с минеральной водой.
"Неужели Clauster ненавидит тов. astenix и хочет угробить докладчика метриками, и вообще - не разбирается в тестировании и должен быть изгнан из конгресса?" - думают иностранные корреспонденты.
Но поскольку я знаю, что существует несколько "школ" тестирования, и что приверженцы каждой из них "предпочитают" по-разному трактовать и использовать результаты тестирования (мы же о них сейчас толкуем), то становится понятным следующее:
- я руковожусь иными принципами, нежели Clauster. Вот и вся разница.
- похоже, что я приверженец школы Context-driven testing.
- похоже, что Clauster - приверженец школы Quality testing.
- а значит, разница между нашим восприятием того, как надо подавать результаты тестирования заключается только в том, что мы исповедуем различные принципы.
Вывод: никто не дурак, ни на кого не надо орать, и никого не надо бить мордой об стол в поисках истины. Оба правы по-своему, и дальше мы будем говорить с учетом того, как визави понимает и подразумевает обсуждаемые вопросы в контексте "своей" школы.
А если бы я НЕ знал о том, что мир чуть более разнообразен, нежели взмах крыльев бабочки на заре августовского утра (хокку рулит наравне с балетом), то я бы стал волноваться, грызть трибуну, упорствовать и объяснять, что Я ПРАВ, а Clauster в корне НЕ ПРАВ, и что в итоге должна остаться только одна, каноническая школа тестирования...
И конгресс развалился бы.
Фигня вот в чем: знает ли мой визави Clauster о том, что существуют иные принципы, нежели те, которых он придерживается. Если не знает - общения не получится. А если знает, то скандала бы не случилось.
Поэтому один умный дядя когда-то записал основные принципы, типичные для представителей различных школ (получилось пять), и предложил их в будущем учитывать в спорах. И правильно сделал.
Как применять эти дела на практике: как угодно. Никто не запрещает использовать самые эффективные и нужные в определенных обстоятельствах приемы и подходы.
Я считаю, что описанные принципы можно отнести ко всем школам.
#12
Отправлено 03 ноября 2009 - 11:15
Есть: атом — с греческого «неделимый», кварки пока не поделили, точка в геометрии, может еще что :).Вы согласитесь, что есть разделимое, а есть неразделимое? Так вот принципы описаные в статье и якобы относящиеся только к школе КТ, я считаю базовыми для всего тестирования, и незаисящими от конкретной школы.
Так или не так?
Вы считаете эту классификацию неудобной или бесполезной? Потому что большего от классификации ожидать не стоит.
Где-то я видел еще более обширную классификацию, где больше школ, но повторно не нашел.
Относительно того, зависят ли принципы от школы или нет — мое мнение, что эти принципы универсальны, и могут применяться не только в тестировании, а например в кулинарии.
Чубака — это вуки с планеты Киши, но живет Чубака на планете Эндо, а теперь вдумайтесь:
в этом же нет смысла. С какой стати Чубаке, вуки высотой два с половиной метра,
жить среди эвоков, которые чуть выше полуметра. В этом нет абсолютно никакого смысла.
#13
Отправлено 03 ноября 2009 - 12:13
Дело в том, что сам автор Бретт Петтикорд разделяет школы по "конкурирующим идеям/принципам"(к сожалению всю статью не осилил а выделил только главное).Кстати в статье разговор идет "о четырех школах" а не о пяти (может я прочитал старую версию?!)Есть: атом — с греческого «неделимый», кварки пока не поделили, точка в геометрии, может еще что :).Вы согласитесь, что есть разделимое, а есть неразделимое? Так вот принципы описаные в статье и якобы относящиеся только к школе КТ, я считаю базовыми для всего тестирования, и незаисящими от конкретной школы.
Так или не так?
Вы считаете эту классификацию неудобной или бесполезной? Потому что большего от классификации ожидать не стоит.
Где-то я видел еще более обширную классификацию, где больше школ, но повторно не нашел.
Относительно того, зависят ли принципы от школы или нет — мое мнение, что эти принципы универсальны, и могут применяться не только в тестировании, а например в кулинарии.
Так вот если вы, как впрочем и я, считаете что принципы универсальны, тогда у данного деления пропадает смысл.
#14
Отправлено 03 ноября 2009 - 12:21
Принципы разные. Попробуйте применить второй принцип для Quality School. Не путайте школы тестирования, подходы к тестированию, виды тестирования и техники тестирования.Повторюсь: принципы у школ тоже разные?
Я считаю, что описанные принципы можно отнести ко всем школам.
#15
Отправлено 03 ноября 2009 - 13:07
С чего вы взяли?Не путайте школы тестирования, подходы к тестированию, виды тестирования и техники тестирования.Повторюсь: принципы у школ тоже разные?
Я считаю, что описанные принципы можно отнести ко всем школам.
Я все четко понимаю. Здесь я привожу свое личное мнение. Суть- разбиение школ по принципам не имеет смысла.
Отлично применяется в моем понимании. Суть такова - что метрики, критерии, правила могут меняться в конкретных условиях .Принципы разные. Попробуйте применить второй принцип для Quality School.
Приведите свое понимание? Пока, что вы ограничиваетесь фразами о моем непонимании. Чтож я готов выслушать ваше.
#16
Отправлено 03 ноября 2009 - 14:05
Спасибо Алексею Баранцеву за публикацию статьи и перевод ее из формата, который требовали организаторы SECR-a в удобочитаемый HTML.Автор: Алексей Лянгузов
Какое-то время назад, я и не подозревал о том, что существует такое понятие как Context-Driven Testing, буду называть его Контекстным Тестированием (или КТ для краткости). Хотя я и сказал, что не подозревал об этом, но как оказалось, на протяжении всей моей карьеры инженера по тестированию, я руководствовался принципами, провозглашенными такими известными специалистами в тестировании ПО как Cem Kaner, James Bach и Bret Pettichord, которые являются авторами и проповедниками КТ.
Я могу назвать себя успешным специалистом в тестировании, и теперь я знаю, что КТ и есть тот базис, который позволил мне добиться успеха. Но я жалею, что не знал об этом раньше, когда был еще молодым специалистом. Пришлось всего достигать самостоятельным путем, а знание принципов КТ позволило бы пойти путь быстрее и проще. Но, как известно, одно дело знать о чем-то, другое дело уметь применять это знание на практике. Таким образом и зародилась идея познакомить людей с КТ и объяснить, как легко данный подход может быть использован в повседневной работе.
Подробнее...
Так же есть еще презентация и речь, которые готовились как дополнение к статье. Я постараюсь соеденить речь со слайдами и опубликовать их вдогонку.
Alexey
#17
Отправлено 03 ноября 2009 - 14:42
Деление на школы, в выступлении, я сравнивал с темпераментами (сангвиник, холерик итд) или психотипами (экстраверт/интроверт, рационал/иррационал итд). Можно задаться вопросом, а почему темпераментов выделено только 4?Статья действительно интересная. У меня единственное НО, базовые принципы КТ можно отнести ко всем школам. Т.е. я хочу сказать, что они не являются отличительной особенностью именно Школы контекстного тестирования.
И еще вопрос ко всем коллегам: Почему было выделенно 5 этих школ?
На практике я всегда использую сочетания от всех 5 школ. Мое мнение, что именно сочетание будет наиболее полезным.
И так же как очень редко встречаются ярко выраженные люди того или иного темперамента, так и редко вы встретите человека относящегося полностью к какой-то школе тестирования. Но тем не менее, у большинства людей наверняка есть склонность к той или иной школе. Вы не задумывались, почему одни тестировщики чуствуют себя некомфортно при часто меняющихся или отсутствующих формализованых требованиях к продукту, тогда как другие без энтузиазма смотрят на работу по проверке соотвествия продукта каким-то требованиям, а третьим так вообще все-равно? Почему одни с удовольствием кидаются писать регрессионные тесты, а для других это каторжный труд?
А еще, эти 7 принципов не самое важное, на самом-то деле. Их умные люди придумали и сформулировали, теперь пишут книги, проводят семинары, доклады делают. Зарабатывают деньги.
Важнее понимание того, что контекстный подход это желание тестировщика приносить своими действиями как можно больше пользы для продукта и для людей разрабатывающих продукт. Сэм Кейнер сформулировал это так "doing the best we can with what we get". Поэтому, например, от человека, который руководствуется контестным подходом вы не услышите слов типа "где требования? нет? ну тогда и тестирования тоже не будет" или "этот билд не прошел smoke тест и я его не признаю пригодным для тестирования". Хотя не буду отрицать того, что в каких-то ситуациях именно так и надо сказать.
Alexey
#18
Отправлено 03 ноября 2009 - 15:59
P.S. Обсуждение школ тестирования выглядят оффтопом. ИМХО!
#19
Отправлено 03 ноября 2009 - 16:01
Неплохо сформулировано. Сами авторы идеи про школы сравнивают их со школами в философии, но, в общем, в данном случае смысл именно в том, что начинающие тестировщики получают социализацию в рамках какой-то школы (даже если это самоучка - его школа определяется доступными ему книгами). В дальнейшем это определяет культуру специалиста, и часто, действительно, "воспитанник" одной школы а) не может адаптироваться к другой школе ("нет ТЗ - не будет и тестирования!") или б) пытается адаптировать окружение под свою школу ("у вас все неправильно, сейчас я наведу порядок"), даже если его школа не будет в данном случае эффективной.Но тем не менее, у большинства людей наверняка есть склонность к той или иной школе. Вы не задумывались, почему одни тестировщики чуствуют себя некомфортно при часто меняющихся или отсутствующих формализованых требованиях к продукту, тогда как другие без энтузиазма смотрят на работу по проверке соотвествия продукта каким-то требованиям, а третьим так вообще все-равно? Почему одни с удовольствием кидаются писать регрессионные тесты, а для других это каторжный труд?
В 4х школах чаще присутствуют такие вещи, как "лучшие практики" (с чем КТ не соглашается). Кроме того, у меня складывается мнение, что эти школы больше ориентированы на проверки (верификация/валидация/и тд), чем на тестирование в его "контекстном" понимании; возможно, отсюда и высказывание одного из участников обсуждения "школ" - "Либо вы тестируете в контексте, либо то, что вы делаете - не тестирование" (цитата по памяти).
#20
Отправлено 03 ноября 2009 - 16:12
А их может не быть вообще?Отлично применяется в моем понимании. Суть такова - что метрики, критерии, правила могут меняться в конкретных условиях .
Тут уже была похожая тема, я там писал.Приведите свое понимание? Пока, что вы ограничиваетесь фразами о моем непонимании. Чтож я готов выслушать ваше.
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных