Перейти к содержимому

Фотография

Контекстное тестирование ПО: практические рекомендации


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 25

#1 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 02 ноября 2009 - 18:32

Автор: Алексей Лянгузов

Какое-то время назад, я и не подозревал о том, что существует такое понятие как Context-Driven Testing, буду называть его Контекстным Тестированием (или КТ для краткости). Хотя я и сказал, что не подозревал об этом, но как оказалось, на протяжении всей моей карьеры инженера по тестированию, я руководствовался принципами, провозглашенными такими известными специалистами в тестировании ПО как Cem Kaner, James Bach и Bret Pettichord, которые являются авторами и проповедниками КТ.

Я могу назвать себя успешным специалистом в тестировании, и теперь я знаю, что КТ и есть тот базис, который позволил мне добиться успеха. Но я жалею, что не знал об этом раньше, когда был еще молодым специалистом. Пришлось всего достигать самостоятельным путем, а знание принципов КТ позволило бы пойти путь быстрее и проще. Но, как известно, одно дело знать о чем-то, другое дело уметь применять это знание на практике. Таким образом и зародилась идея познакомить людей с КТ и объяснить, как легко данный подход может быть использован в повседневной работе.

Подробнее...
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#2 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 02 ноября 2009 - 22:36

Автор молодец, хорошее введение в CDTS :victory:
  • 0

#3 rps5

rps5

    Новый участник

  • Members
  • Pip
  • 48 сообщений
  • Город:Москва

Отправлено 03 ноября 2009 - 07:28

Очень хорошая статья.
  • 0
Best Regards,
Danil.

#4 Pryanik

Pryanik

    Постоянный участник

  • Members
  • PipPipPip
  • 214 сообщений
  • Город:МОСКВА

Отправлено 03 ноября 2009 - 07:48

Статья действительно интересная. У меня единственное НО, базовые принципы КТ можно отнести ко всем школам. Т.е. я хочу сказать, что они не являются отличительной особенностью именно Школы контекстного тестирования.
И еще вопрос ко всем коллегам: Почему было выделенно 5 этих школ?
На практике я всегда использую сочетания от всех 5 школ. Мое мнение, что именно сочетание будет наиболее полезным.
  • 0

#5 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 03 ноября 2009 - 08:43

Статья действительно интересная. У меня единственное НО, базовые принципы КТ можно отнести ко всем школам. Т.е. я хочу сказать, что они не являются отличительной особенностью именно Школы контекстного тестирования.
И еще вопрос ко всем коллегам: Почему было выделенно 5 этих школ?
На практике я всегда использую сочетания от всех 5 школ. Мое мнение, что именно сочетание будет наиболее полезным.

Вы либо не в теме, либо пытаетесь начать холивар :)
  • 0

#6 astenix

astenix

    Специалист

  • Members
  • PipPipPipPipPip
  • 906 сообщений
  • ФИО:Лёша Лупан
  • Город:Кишинев


Отправлено 03 ноября 2009 - 09:00

И еще вопрос ко всем коллегам: Почему было выделенно 5 этих школ?

Потому, что на одной руке у человека только пять пальцев...

То есть, сугубо физическое органичение :victory:
  • 0

Software Testing Glossary - простыми словами о непростых словах.


#7 Pryanik

Pryanik

    Постоянный участник

  • Members
  • PipPipPip
  • 214 сообщений
  • Город:МОСКВА

Отправлено 03 ноября 2009 - 10:18

Статья действительно интересная. У меня единственное НО, базовые принципы КТ можно отнести ко всем школам. Т.е. я хочу сказать, что они не являются отличительной особенностью именно Школы контекстного тестирования.
И еще вопрос ко всем коллегам: Почему было выделенно 5 этих школ?
На практике я всегда использую сочетания от всех 5 школ. Мое мнение, что именно сочетание будет наиболее полезным.

Вы либо не в теме, либо пытаетесь начать холивар :)

Ну если вы в теме просветите :victory:
Переиначу вопрос: Зачем выделять отдельно 5 школ если на практике выгоднее применять сочетания всех пяти?
Это тоже самое, что разделить, скажем банкноту на 5 частей, но использовать всегда целую. Не вижу смысла...
  • 0

#8 Alfa

Alfa

    Специалист

  • Members
  • PipPipPipPipPip
  • 553 сообщений
  • Город:Moscow

Отправлено 03 ноября 2009 - 10:40

Переиначу вопрос: Зачем выделять отдельно 5 школ если на практике выгоднее применять сочетания всех пяти?
Это тоже самое, что разделить, скажем банкноту на 5 частей, но использовать всегда целую. Не вижу смысла...

Зачем разделять математику на алгебру, геометрию, матан и пр., зачем разделять направления на право, лево, вверх и вниз, зачем разделять животных на царства, семейства и т.д. и т.п. Это классификации — они удобны и полезны.
Я понятно объясняю?
  • 0

Чубака — это вуки с планеты Киши, но живет Чубака на планете Эндо, а теперь вдумайтесь:
в этом же нет смысла. С какой стати Чубаке, вуки высотой два с половиной метра,
жить среди эвоков, которые чуть выше полуметра. В этом нет абсолютно никакого смысла.


#9 astenix

astenix

    Специалист

  • Members
  • PipPipPipPipPip
  • 906 сообщений
  • ФИО:Лёша Лупан
  • Город:Кишинев


Отправлено 03 ноября 2009 - 10:46

Зачем выделять отдельно 5 школ если на практике выгоднее применять сочетания всех пяти?


Зачем разделять - это разделение чем-то схоже на классификацию по политическим приверженностям. Оно логическое, формальное, но не абсолютное.

Например, мы говорим о том, как надо оформить и интерпретировать результаты функционального тестирования.

Я лезу на трибуну и громко заявляю о том, что правильно - это написать как можно проще, мол, исследуемые функции - такие-то, выявленные проблемы - такие-то. И, кстати, пройдено столько-то кейсов, найдено столько-то багов. И больше, дескать, ничего не нужно.

А тут Clauster встает в третью позицию (балет рулит) и спрашивает, а почему в этом отчете не указана метрика покрытия кейсами требований и строк кода?! И куда я дел информацию о:
# Major Defects Per Test Case Review
# Minor Defects Per Test Case Review
# Total Defects Per Test Case Review
# Ratio of Major to Minor Defects Per Test Case Review
# Total Defects Per Test Case Review Hour
# Major Defects Per Test Case Review Hour
# Ratio of Major to Minor Defects Per Test Case Review Hour
# Number of Open Defects Per Test Review
# Number of Closed Defects Per Test Case Review,
а? Решил скрыть?

"Ведь "правильно" - это когда все метрики установлены и соблюдены", говорит профессор Clauster, слезая с трибуны вместе с общенственной бутылкой с минеральной водой.

"Неужели Clauster ненавидит тов. astenix и хочет угробить докладчика метриками, и вообще - не разбирается в тестировании и должен быть изгнан из конгресса?" - думают иностранные корреспонденты.

Но поскольку я знаю, что существует несколько "школ" тестирования, и что приверженцы каждой из них "предпочитают" по-разному трактовать и использовать результаты тестирования (мы же о них сейчас толкуем), то становится понятным следующее:
- я руковожусь иными принципами, нежели Clauster. Вот и вся разница.
- похоже, что я приверженец школы Context-driven testing.
- похоже, что Clauster - приверженец школы Quality testing.
- а значит, разница между нашим восприятием того, как надо подавать результаты тестирования заключается только в том, что мы исповедуем различные принципы.

Вывод: никто не дурак, ни на кого не надо орать, и никого не надо бить мордой об стол в поисках истины. Оба правы по-своему, и дальше мы будем говорить с учетом того, как визави понимает и подразумевает обсуждаемые вопросы в контексте "своей" школы.

А если бы я НЕ знал о том, что мир чуть более разнообразен, нежели взмах крыльев бабочки на заре августовского утра (хокку рулит наравне с балетом), то я бы стал волноваться, грызть трибуну, упорствовать и объяснять, что Я ПРАВ, а Clauster в корне НЕ ПРАВ, и что в итоге должна остаться только одна, каноническая школа тестирования...

И конгресс развалился бы.

Фигня вот в чем: знает ли мой визави Clauster о том, что существуют иные принципы, нежели те, которых он придерживается. Если не знает - общения не получится. А если знает, то скандала бы не случилось.

Поэтому один умный дядя когда-то записал основные принципы, типичные для представителей различных школ (получилось пять), и предложил их в будущем учитывать в спорах. И правильно сделал.

Как применять эти дела на практике: как угодно. Никто не запрещает использовать самые эффективные и нужные в определенных обстоятельствах приемы и подходы.
  • 0

Software Testing Glossary - простыми словами о непростых словах.


#10 Pryanik

Pryanik

    Постоянный участник

  • Members
  • PipPipPip
  • 214 сообщений
  • Город:МОСКВА

Отправлено 03 ноября 2009 - 11:03

Переиначу вопрос: Зачем выделять отдельно 5 школ если на практике выгоднее применять сочетания всех пяти?
Это тоже самое, что разделить, скажем банкноту на 5 частей, но использовать всегда целую. Не вижу смысла...

Зачем разделять математику на алгебру, геометрию, матан и пр., зачем разделять направления на право, лево, вверх и вниз, зачем разделять животных на царства, семейства и т.д. и т.п. Это классификации — они удобны и полезны.
Я понятно объясняю?

Вы согласитесь, что есть разделимое, а есть неразделимое? Так вот принципы описаные в статье и якобы относящиеся только к школе КТ, я считаю базовыми для всего тестирования, и незаисящими от конкретной школы.
Так или не так?
  • 0

#11 Pryanik

Pryanik

    Постоянный участник

  • Members
  • PipPipPip
  • 214 сообщений
  • Город:МОСКВА

Отправлено 03 ноября 2009 - 11:05

Зачем выделять отдельно 5 школ если на практике выгоднее применять сочетания всех пяти?


Зачем разделять - это разделение чем-то схоже на классификацию по политическим приверженностям. Оно логическое, формальное, но не абсолютное.

Например, мы говорим о том, как надо оформить и интерпретировать результаты функционального тестирования.

Я лезу на трибуну и громко заявляю о том, что правильно - это написать как можно проще, мол, исследуемые функции - такие-то, выявленные проблемы - такие-то. И, кстати, пройдено столько-то кейсов, найдено столько-то багов. И больше, дескать, ничего не нужно.

А тут Clauster встает в третью позицию (балет рулит) и спрашивает, а почему в этом отчете не указана метрика покрытия кейсами требований и строк кода?! И куда я дел информацию о:
# Major Defects Per Test Case Review
# Minor Defects Per Test Case Review
# Total Defects Per Test Case Review
# Ratio of Major to Minor Defects Per Test Case Review
# Total Defects Per Test Case Review Hour
# Major Defects Per Test Case Review Hour
# Ratio of Major to Minor Defects Per Test Case Review Hour
# Number of Open Defects Per Test Review
# Number of Closed Defects Per Test Case Review,
а? Решил скрыть?

"Ведь "правильно" - это когда все метрики установлены и соблюдены", говорит профессор Clauster, слезая с трибуны вместе с общенственной бутылкой с минеральной водой.

"Неужели Clauster ненавидит тов. astenix и хочет угробить докладчика метриками, и вообще - не разбирается в тестировании и должен быть изгнан из конгресса?" - думают иностранные корреспонденты.

Но поскольку я знаю, что существует несколько "школ" тестирования, и что приверженцы каждой из них "предпочитают" по-разному трактовать и использовать результаты тестирования (мы же о них сейчас толкуем), то становится понятным следующее:
- я руковожусь иными принципами, нежели Clauster. Вот и вся разница.
- похоже, что я приверженец школы Context-driven testing.
- похоже, что Clauster - приверженец школы Quality testing.
- а значит, разница между нашим восприятием того, как надо подавать результаты тестирования заключается только в том, что мы исповедуем различные принципы.

Вывод: никто не дурак, ни на кого не надо орать, и никого не надо бить мордой об стол в поисках истины. Оба правы по-своему, и дальше мы будем говорить с учетом того, как визави понимает и подразумевает обсуждаемые вопросы в контексте "своей" школы.

А если бы я НЕ знал о том, что мир чуть более разнообразен, нежели взмах крыльев бабочки на заре августовского утра (хокку рулит наравне с балетом), то я бы стал волноваться, грызть трибуну, упорствовать и объяснять, что Я ПРАВ, а Clauster в корне НЕ ПРАВ, и что в итоге должна остаться только одна, каноническая школа тестирования...

И конгресс развалился бы.

Фигня вот в чем: знает ли мой визави Clauster о том, что существуют иные принципы, нежели те, которых он придерживается. Если не знает - общения не получится. А если знает, то скандала бы не случилось.

Поэтому один умный дядя когда-то записал основные принципы, типичные для представителей различных школ (получилось пять), и предложил их в будущем учитывать в спорах. И правильно сделал.

Как применять эти дела на практике: как угодно. Никто не запрещает использовать самые эффективные и нужные в определенных обстоятельствах приемы и подходы.

Повторюсь: принципы у школ тоже разные?
Я считаю, что описанные принципы можно отнести ко всем школам.
  • 0

#12 Alfa

Alfa

    Специалист

  • Members
  • PipPipPipPipPip
  • 553 сообщений
  • Город:Moscow

Отправлено 03 ноября 2009 - 11:15

Вы согласитесь, что есть разделимое, а есть неразделимое? Так вот принципы описаные в статье и якобы относящиеся только к школе КТ, я считаю базовыми для всего тестирования, и незаисящими от конкретной школы.
Так или не так?

Есть: атом — с греческого «неделимый», кварки пока не поделили, точка в геометрии, может еще что :).
Вы считаете эту классификацию неудобной или бесполезной? Потому что большего от классификации ожидать не стоит.
Где-то я видел еще более обширную классификацию, где больше школ, но повторно не нашел.

Относительно того, зависят ли принципы от школы или нет — мое мнение, что эти принципы универсальны, и могут применяться не только в тестировании, а например в кулинарии.
  • 0

Чубака — это вуки с планеты Киши, но живет Чубака на планете Эндо, а теперь вдумайтесь:
в этом же нет смысла. С какой стати Чубаке, вуки высотой два с половиной метра,
жить среди эвоков, которые чуть выше полуметра. В этом нет абсолютно никакого смысла.


#13 Pryanik

Pryanik

    Постоянный участник

  • Members
  • PipPipPip
  • 214 сообщений
  • Город:МОСКВА

Отправлено 03 ноября 2009 - 12:13

Вы согласитесь, что есть разделимое, а есть неразделимое? Так вот принципы описаные в статье и якобы относящиеся только к школе КТ, я считаю базовыми для всего тестирования, и незаисящими от конкретной школы.
Так или не так?

Есть: атом — с греческого «неделимый», кварки пока не поделили, точка в геометрии, может еще что :).
Вы считаете эту классификацию неудобной или бесполезной? Потому что большего от классификации ожидать не стоит.
Где-то я видел еще более обширную классификацию, где больше школ, но повторно не нашел.

Относительно того, зависят ли принципы от школы или нет — мое мнение, что эти принципы универсальны, и могут применяться не только в тестировании, а например в кулинарии.

Дело в том, что сам автор Бретт Петтикорд разделяет школы по "конкурирующим идеям/принципам"(к сожалению всю статью не осилил а выделил только главное).Кстати в статье разговор идет "о четырех школах" а не о пяти (может я прочитал старую версию?!)
Так вот если вы, как впрочем и я, считаете что принципы универсальны, тогда у данного деления пропадает смысл.
  • 0

#14 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 03 ноября 2009 - 12:21

Повторюсь: принципы у школ тоже разные?
Я считаю, что описанные принципы можно отнести ко всем школам.

Принципы разные. Попробуйте применить второй принцип для Quality School. Не путайте школы тестирования, подходы к тестированию, виды тестирования и техники тестирования.
  • 0

#15 Pryanik

Pryanik

    Постоянный участник

  • Members
  • PipPipPip
  • 214 сообщений
  • Город:МОСКВА

Отправлено 03 ноября 2009 - 13:07

Повторюсь: принципы у школ тоже разные?
Я считаю, что описанные принципы можно отнести ко всем школам.

Не путайте школы тестирования, подходы к тестированию, виды тестирования и техники тестирования.

С чего вы взяли?
Я все четко понимаю. Здесь я привожу свое личное мнение. Суть- разбиение школ по принципам не имеет смысла.

Принципы разные. Попробуйте применить второй принцип для Quality School.

Отлично применяется в моем понимании. Суть такова - что метрики, критерии, правила могут меняться в конкретных условиях .

Приведите свое понимание? Пока, что вы ограничиваетесь фразами о моем непонимании. Чтож я готов выслушать ваше.
  • 0

#16 LeshaL

LeshaL

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 094 сообщений
  • ФИО:Алексей Лянгузов
  • Город:Saint-Petersburg


Отправлено 03 ноября 2009 - 14:05

Автор: Алексей Лянгузов

Какое-то время назад, я и не подозревал о том, что существует такое понятие как Context-Driven Testing, буду называть его Контекстным Тестированием (или КТ для краткости). Хотя я и сказал, что не подозревал об этом, но как оказалось, на протяжении всей моей карьеры инженера по тестированию, я руководствовался принципами, провозглашенными такими известными специалистами в тестировании ПО как Cem Kaner, James Bach и Bret Pettichord, которые являются авторами и проповедниками КТ.

Я могу назвать себя успешным специалистом в тестировании, и теперь я знаю, что КТ и есть тот базис, который позволил мне добиться успеха. Но я жалею, что не знал об этом раньше, когда был еще молодым специалистом. Пришлось всего достигать самостоятельным путем, а знание принципов КТ позволило бы пойти путь быстрее и проще. Но, как известно, одно дело знать о чем-то, другое дело уметь применять это знание на практике. Таким образом и зародилась идея познакомить людей с КТ и объяснить, как легко данный подход может быть использован в повседневной работе.

Подробнее...

Спасибо Алексею Баранцеву за публикацию статьи и перевод ее из формата, который требовали организаторы SECR-a в удобочитаемый HTML.
Так же есть еще презентация и речь, которые готовились как дополнение к статье. Я постараюсь соеденить речь со слайдами и опубликовать их вдогонку.
  • 0
Regards,
Alexey

#17 LeshaL

LeshaL

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 094 сообщений
  • ФИО:Алексей Лянгузов
  • Город:Saint-Petersburg


Отправлено 03 ноября 2009 - 14:42

Статья действительно интересная. У меня единственное НО, базовые принципы КТ можно отнести ко всем школам. Т.е. я хочу сказать, что они не являются отличительной особенностью именно Школы контекстного тестирования.
И еще вопрос ко всем коллегам: Почему было выделенно 5 этих школ?
На практике я всегда использую сочетания от всех 5 школ. Мое мнение, что именно сочетание будет наиболее полезным.

Деление на школы, в выступлении, я сравнивал с темпераментами (сангвиник, холерик итд) или психотипами (экстраверт/интроверт, рационал/иррационал итд). Можно задаться вопросом, а почему темпераментов выделено только 4?
И так же как очень редко встречаются ярко выраженные люди того или иного темперамента, так и редко вы встретите человека относящегося полностью к какой-то школе тестирования. Но тем не менее, у большинства людей наверняка есть склонность к той или иной школе. Вы не задумывались, почему одни тестировщики чуствуют себя некомфортно при часто меняющихся или отсутствующих формализованых требованиях к продукту, тогда как другие без энтузиазма смотрят на работу по проверке соотвествия продукта каким-то требованиям, а третьим так вообще все-равно? Почему одни с удовольствием кидаются писать регрессионные тесты, а для других это каторжный труд?

А еще, эти 7 принципов не самое важное, на самом-то деле. Их умные люди придумали и сформулировали, теперь пишут книги, проводят семинары, доклады делают. Зарабатывают деньги.
Важнее понимание того, что контекстный подход это желание тестировщика приносить своими действиями как можно больше пользы для продукта и для людей разрабатывающих продукт. Сэм Кейнер сформулировал это так "doing the best we can with what we get". Поэтому, например, от человека, который руководствуется контестным подходом вы не услышите слов типа "где требования? нет? ну тогда и тестирования тоже не будет" или "этот билд не прошел smoke тест и я его не признаю пригодным для тестирования". Хотя не буду отрицать того, что в каких-то ситуациях именно так и надо сказать.
  • 0
Regards,
Alexey

#18 Sapiens

Sapiens

    Новый участник

  • Members
  • Pip
  • 56 сообщений
  • ФИО:Jukeshov Samat
  • Город:Бишкек

Отправлено 03 ноября 2009 - 15:59

Одна из лучших статей на эстеру за последнее время однозначно. Ну вот не скажешь, что было что то новое, но ведь написано отлично и чувствуется рука практика, а не теоретика. Спасибо автору.
P.S. Обсуждение школ тестирования выглядят оффтопом. ИМХО!
  • 0

#19 rlabs

rlabs

    Специалист

  • Members
  • PipPipPipPipPip
  • 660 сообщений
  • Город:Россия, Санкт-Петербург

Отправлено 03 ноября 2009 - 16:01

Но тем не менее, у большинства людей наверняка есть склонность к той или иной школе. Вы не задумывались, почему одни тестировщики чуствуют себя некомфортно при часто меняющихся или отсутствующих формализованых требованиях к продукту, тогда как другие без энтузиазма смотрят на работу по проверке соотвествия продукта каким-то требованиям, а третьим так вообще все-равно? Почему одни с удовольствием кидаются писать регрессионные тесты, а для других это каторжный труд?

Неплохо сформулировано. Сами авторы идеи про школы сравнивают их со школами в философии, но, в общем, в данном случае смысл именно в том, что начинающие тестировщики получают социализацию в рамках какой-то школы (даже если это самоучка - его школа определяется доступными ему книгами). В дальнейшем это определяет культуру специалиста, и часто, действительно, "воспитанник" одной школы а) не может адаптироваться к другой школе ("нет ТЗ - не будет и тестирования!") или б) пытается адаптировать окружение под свою школу ("у вас все неправильно, сейчас я наведу порядок"), даже если его школа не будет в данном случае эффективной.

В 4х школах чаще присутствуют такие вещи, как "лучшие практики" (с чем КТ не соглашается). Кроме того, у меня складывается мнение, что эти школы больше ориентированы на проверки (верификация/валидация/и тд), чем на тестирование в его "контекстном" понимании; возможно, отсюда и высказывание одного из участников обсуждения "школ" - "Либо вы тестируете в контексте, либо то, что вы делаете - не тестирование" (цитата по памяти).
  • 0

#20 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 03 ноября 2009 - 16:12

Отлично применяется в моем понимании. Суть такова - что метрики, критерии, правила могут меняться в конкретных условиях .

А их может не быть вообще?

Приведите свое понимание? Пока, что вы ограничиваетесь фразами о моем непонимании. Чтож я готов выслушать ваше.

Тут уже была похожая тема, я там писал.
  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных