Перейти к содержимому

Фотография

Методологии Тестирования


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 45

#21 Green

Green

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 233 сообщений
  • ФИО:Гринкевич Сергей
  • Город:Москва

Отправлено 07 сентября 2007 - 06:01

Nadya,

мне импонирует Ваша горячность. В молодости я и сам был таким.
:smile:

Прочитав всю дискуссию от начала и до конца, могу сделать вывод, что она развернулась вокруг названия документа. Причем, не о сути самого документа, а именно о его названии. Что правильнее использовать? Стратегия тестирования или план тестирования? (С какого конца разбивать яйцо? С острого или тупого?)

Да, есть такой недостаток, как отсутствия единой, стандартной терминологии в тестировании. Одни используют терминологию RUP, другие еще какого-нибудь уважаемого источника, а третьи вообще все сами придумывают. Поэтому, нужно смотреть не на название, а на суть документа и отраженной в нем информации. К примеру, в каком, по Вашему, документе должен быть отражен план график тестирования по RUP, если в их терминах план тестирования - это набор тест-кейсов?

К тому же, приведенный Вами отрывок с определением стратегии, совсем не исключает указания дат, так как фазы тестирования или разработки могут пониматься двояко. С одной стороны, это могут быть фазы процесса, с другой - фазы проекта (что подразумевает указание конкретных дат перехода от одной фазы к другой).
  • 0
Гринкевич Сергей

#22 JimR

JimR

    Опытный участник

  • Members
  • PipPipPipPip
  • 253 сообщений
  • ФИО:Ручко Дмитрий Иванович
  • Город:Москва

Отправлено 07 сентября 2007 - 06:20

Поддерживаю Сергея, что спор собственно ни о чем. Обычно стратегия тестирования и план тестирования - это разноуровневые документы. Предполагается, что стратегия составляется для проекта, портфеля проектов или для всей компании. В то время, как план тестирования составляется на конкретный вид работ.
Однако в любос случае и то и другое план работ разного уровня детализации, который может, но не обязан содержать график выполнения перечисленных работ.

Более того, не всегда в организациях применяются одновременно документы стратегия и план тестирования. Бывают, что используется только один из них.

Если говорить о теории, то я бы стратегию отнёс к частному случаю плана тестирования.

P.S.
По поводу Канера, Баха и Петтикорда: я не поленился и открыл. У них есть урок под номером 278, который называется следующим образом: "Use test plan to express choices about strategy, logistics, ad work products".

P.P.S. Гриша, искусство стратегии, как часть военного искусства - это хорошо. Но не нужно его путать со планом стратегических действий. В нашем случае стратегией называется именно последний.
  • 1
Дмитрий Ручко
InfoTeCS

#23 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 07 сентября 2007 - 07:11

Надя, вы правда выбираете стандарт согласно которому надо провести тестирование в рамках тест-плана или просто так написалось? :) Я не стал дальше приколупываться, особенно в разделе про риски - но часто-густо пишете что-то не совсем целостное.

Источник "знаний" понятен, спасибо, Надежда.
Ожидал от ISEB большего, а теперь посмотрю на него несколько другими глазами - сапожник без сапог.

Теперь давайте разберёмся какой смысл его применять так как предлагаете вы.

ISEB Practitioner Course , page 66
Привожу целым обзацем.

The test strategy document is high level and defines the test phases to be performed and the
testing within those phases for a programme (one of more projects)/.
....
“A test strategy tells you what to plan and how to plan it, the plan tells you what to do
and when to do it” (James Lyndsay)


Здесь давайте остановимся, я понял что на конкретном примере мы с вами не разберёмся, так как вы так действительно думаете. Сразу скажу: извините, думал вы просто сказали не подумав, потому и сказал "попались!", а на самом деле всё глубже (хуже).

========= Поехали =============

Получается, что Стратегия Тестирования не Проектный, а Процессный артефакт?

Стратегия Тестирования это план как делать план? Я не готов принять это определение, потому что оно надуманное и бесполезное.

Давайте рассуждать.
Обьясните мне зачем этот артефакт в таком виде, кому-то кроме тест-менеджера, который просто не умеет делать тест-план?
Получается что Стратегии тестировании отведена участь Методички по разработке планов тестирования? В таком слеучае она должна быть чем-то уровня организации и никаким место не относиться к конкретному проекту, а является скорее общим документом-рекомендацией. Это мои догадки, потому что по сути никакого обьяснения лучше не придумалось.

На сайте автора, на которого вы ссылаетесь так и написано:

Unlike a plan, which is obsolete from the point of creation, a strategy reflects the values of an organisation - and remains current and useful.



Стратегия Тестирования (в таком изложении!) вещь надуманная и имеет смысл только в случае конвеерного производства однотипных проектов, когда можно в целом при более менее стандартных проектных условиях делать штамповки: кто из присутсвующих может сказать что видел такие проекты? В то время как методологисты от разработки говорят "каждому проекту своя методология!" в данном определении нечто глобальное и общее на уровень выше - на уровень организации. Автор оперирует старым запасом знаний, который последние лет 5 не имеют ничего общего с реалиями разработки ПО.

Теперь, что до автора, на которого вы и ISEB (по которому вы, видимо, учились) ссылаетесь.
James Lyndsay, единственный консультант компании Workroom Productions из Лондона. Странно видеть ссылку на консультанта крохотной компании в учебном документе ISEB, которая себя позиционирует как серьёзная сертификационная организация. Я тоже был консультантом компании своего имени несколько лет, а потом учредителем и совладельцем консалтинговой компании в области тестирования ПО, сейчас правда немного отошел от этого бизнеса - но это никоим образом не даёт мне право утверждать Глупости.

Посмотрим на вопрос несколько выше.
  • Автор оперирует старым запасом знаний, который последние лет 5-10 не имеют ничего общего с реалиями разработки ПО (см. выше).
  • Есть Глупость (устаревший взгляд на вещи, который не соотв. реалиям, называйте как угодно, я назову Глупостью), которая каким-то образом попала в ISEB - бывает, везде живые люди.
  • Потом Глупость попала в рамки Организации и так получилось что на входе в Организацию её никто не отсёк как Глупость.
  • Методом копипаста (вы верно расписали как такие Штуки приживаются в рамках Организаций - копипастом, с нуля никто не переписывает ибо Лень) Глупость набрала Вес (во всех же проектах используем!) и прижилась.
  • Глупости учат новых сотрудников, Глупость внедряют в других офисах и насаживают подрядчикам и аутсорсерам.
Ничего не напоминает? "Случай с потерянным IF" в чистом виде! (Артём спасибо - статья как нельзя более кстати).

Рекомендовал бы очень разобраться с проектными Артефактами и целесообразностью применения их в вашей компании.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#24 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 07 сентября 2007 - 07:14

По поводу Канера, Баха и Петтикорда: я не поленился и открыл. У них есть урок под номером 278, который называется следующим образом: "Use test plan to express choices about strategy, logistics, ad work products".

Спасибо большое за цитату! Только собрался копаться в книгах, думал у меня что-то со временем затёрлось и сместилось в понимании.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#25 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 07 сентября 2007 - 07:19

Прочитав всю дискуссию от начала и до конца, могу сделать вывод, что она развернулась вокруг названия документа. Причем, не о сути самого документа, а именно о его названии. Что правильнее использовать? Стратегия тестирования или план тестирования? (С какого конца разбивать яйцо? С острого или тупого?)

Сергей, кабы вопрос был только в названиях я бы даже не затевался спорить (старею, наверное). Я специально задал уточняющие вопросы и вижу Глупость, которую сказал один консультант, повторила уважаемая (?) организация, которой обучили умных людей и которая теперь тиражируется как Истина. С таким ИМХО надо бороться - это только вносит Энтропию и Хаос и в без того расшатанную область знаний.

PS
А где в RUP написано что тест план это набор тест кейсов? :smile:
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#26 Nadya Kochetova

Nadya Kochetova

    Новый участник

  • Members
  • Pip
  • 66 сообщений
  • ФИО:Kochetova Nadya
  • Город:London, UK

Отправлено 07 сентября 2007 - 08:16

Мой подход к тестированию строится на стратегии не как на документе , который (по-вашему ) "пишет как планировать план" (на мой взгляд вы не уловили смысла, вложенного в мой предыдущий ответ, что собственно моя вина). Для меня определение стратегии тестирования конкретного проекта, модуля- это ключевой процесс. Дальше идет детализация.

Если вы считаете, что стратегия никому не нужна? никто не заставляет ее начать писать. Если вы опытный тестер и способны написать хороший план, выбрать нужные методики тестирования - пожалуйста. Для меня же как более молодой и наверное недостаточно неопытной стратегия нужна перед составлением плана.

Вам не нравится, как ISEB определяет стратегию? Никто не спорит. У ISEB много сторонников и противников. Я когда приводила пример только лишь хотела показать. что RUPом не надо ограничиваться в определениях.

Стратегия и план -документы разного уровня. Здесь принято определять полиси -> стратегию->план->фазный план. От общего к частному.

Будете смеяться, но каждому проекту у нас своя методология. и для каждой фазы может быть отдельная методология тестирования. мы сейчас выпускаем первый SP к 4 релизу. для всех SP у нас своя методология тестирования+учет специфики каждого Service pack.
  • 0

#27 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 07 сентября 2007 - 10:13

Надежда, да не буду я смеятся, что вы в самом деле...

Я понял что вас так учили, потому извинился за свои слова "попались!"!

Продолжать или нет дискуссию, решать конечно вам, но давайте выйдем из коробки того чему вас и меня учили и просто подумаем над теми штуками, которые я проговорил. Вопрос простой: какого уровня документ Стратегия Тестирования - проектного или процессного?

ISEB заработал первый штрафной бал по моей личной шкалы - и будет с него, мы ведь не фанаты школ или движений, мы спокойно пытаемся понять зачем нужен или не нужен тот или иной кусок нашей работы.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#28 Nadya Kochetova

Nadya Kochetova

    Новый участник

  • Members
  • Pip
  • 66 сообщений
  • ФИО:Kochetova Nadya
  • Город:London, UK

Отправлено 07 сентября 2007 - 11:41

Надежда, да не буду я смеятся, что вы в самом деле...

Я понял что вас так учили, потому извинился за свои слова "попались!"!

Продолжать или нет дискуссию, решать конечно вам, но давайте выйдем из коробки того чему вас и меня учили и просто подумаем над теми штуками, которые я проговорил. Вопрос простой: какого уровня документ Стратегия Тестирования - проектного или процессного?

ISEB заработал первый штарфной бал по моей личной шкалы - и будет с него, мы ведь не фанаты школ или движений, мы спокойно пытаемся понять зачем нужен или не нужен тот или иной кусок нашей работы.


меня никто этому не учил:) в ISEB я заглянула, когда поняла, что здесь без него просто на работу не берут.

у нас есть стратегия тестирования для процесса тестирования в целом. но мы это называем полиси. и у нас есть стратегия проектная - для конкретных проектов.

если говорить вашим языком, Case, то в нашей компании у нас есть стратегия процессная и проектная.
  • 0

#29 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 07 сентября 2007 - 11:44

у нас есть стратегия тестирования для процесса тестирования в целом. но мы это называем полиси.


А всё потому, что американский и английский - это разные языки. :)
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#30 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 07 сентября 2007 - 12:30

Кстати, о словарях. Мой "контекст" по компьютерному словарю даёт такой перевод слова "strategy":
Стратегия. Общее определение подцелей, достижение которых необходимо для достижения цели.

А общий словарь для слова strategy даёт два перевода:
1. Стратегия
2. Оперативное искусство


В русской военной терминологии стратегия и оперативное искусство - это два разных (хотя и рядом стоящих) уровня.

Косвенно это подтверждает мою догадку о том, что в английском языке слово "strategy" используется в гораздо более широком смысле, чем "стратегия" в русском. И бездумный перевод "strategy" как "стратегия" несколько противоречит интуитивно понятному значению этого слова.
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#31 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 07 сентября 2007 - 12:45

у нас есть стратегия тестирования для процесса тестирования в целом. но мы это называем полиси. и у нас есть стратегия проектная - для конкретных проектов.

если говорить вашим языком, Case, то в нашей компании у нас есть стратегия процессная и проектная.


Во-о-о-т :) теперь становится прозрачнее, по сути то что я говорю, когда критикую ISEB. Есть методичка-полиси, не суть как называется, которая определяет как принято делать в организации. Теперь расскажите чем "проектная стратегия" не есть план, который определяет набор и последовательность шагов в рамках проекта?
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#32 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 07 сентября 2007 - 12:47

greesha, ещё раз повторюсь. Вопрос не в терминологии уже - мы немного разобрались что к чему. Даже успели посмотреть источники и это клёво - вопрос глубже: терминология запутанная, говорить общими словами не получается - путаемся ещё больше. Надо говорить проще и доносить до людей, которые спрашивают совета суть вещей не сводя всё к терминологическим играм.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#33 Nadya Kochetova

Nadya Kochetova

    Новый участник

  • Members
  • Pip
  • 66 сообщений
  • ФИО:Kochetova Nadya
  • Город:London, UK

Отправлено 07 сентября 2007 - 13:14

Во-о-о-т :) теперь становится прозрачнее, по сути то что я говорю, когда критикую ISEB. Есть методичка-полиси, не суть как называется, которая определяет как принято делать в организации. Теперь расскажите чем "проектная стратегия" не есть план, который определяет набор и последовательность шагов в рамках проекта?


Скажем не методичка. Это документ, который может состоять из одного предожения "Выпускаемый продукт должен быть оттестирован" или "регрессионный тестинг должен выполяняться каждую ночь. 100% тестов входящих в состав регресионного пакета должны быть автоматизированы". звучит бредово на этом примере, но это пример полиси. т.е. выражении глобальной мысли относительно тестирования в компании вообще.

что в себя включает план и чем он отличается о стратегии - расписывала выше. с момента публикации того сообщения мои взгляды не изменились :)
  • 0

#34 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 07 сентября 2007 - 16:42

greesha, ещё раз повторюсь. Вопрос не в терминологии уже - мы немного разобрались что к чему. Даже успели посмотреть источники и это клёво - вопрос глубже: терминология запутанная, говорить общими словами не получается - путаемся ещё больше. Надо говорить проще и доносить до людей, которые спрашивают совета суть вещей не сводя всё к терминологическим играм.


С крайним утверждением полностью согласен. :)

Только в таком случае что тут, собственно, обсуждается? Какой, такскть, вопрос стоит на повестке дня? ;)
Автор исходного поста появился в апреле, оставил сообщение (единственное) и исчез. И его можно понять: ни один из комментариев не содержит каких-либо практических советов. Все рассказывают, как устроен паровоз, но никто не объясняет, как он ездит без лошадей. :))
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#35 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 07 сентября 2007 - 16:44

Я не тормоз. :))

Всё время путаю дату регистрации с датой поста.
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#36 a66at

a66at

    Постоянный участник

  • Members
  • PipPipPip
  • 184 сообщений
  • ФИО:Victor Ichalov

Отправлено 15 сентября 2007 - 17:00

...

На самом деле, являясь простым обывателем, не нуждающимся в устоявшейся терминологии в области тестирования, я считаю, что Nadya Kochetova защищала верную терминологию.

План это последовательность действий (возможно с параллельными ветками выполнения, возможно с проставленными датами). Диаграмма Ганта выражает план. Примером плана является «Дорожная карта» продвижения к постоянному урегулированию палестино-израильского конфликта в соответствии с принципом сосуществования двух государств на основе оценки выполнения сторонами своих обязательств. Переводчики этого документа (а вряд ли кто-то знает русский язык лучше переводчиков Объединённых Наций) ссылаются на него как на план.

Термин же "стратегия", вот уже лет пятьдесят как, часто употребляется в смысле, который в него вкладывает теория игр (см. Стратегия).
В применении к тест-менеджменту, стратегия - это дефиниция того, что надо делать (планировать) при наступлении тех или иных обстоятельств, вероятность которых заранее неизвестна. Стратегия отражает неопределённые аспекты планирования, которые на ту же диаграмму Ганта не ложатся. В этом смысле, приоритезация рисков - это способ определения стратегии. На русский язык термин переведён точно - стратегия не эквивалентна плану. Для проверки можно попытаться, например, мысленно назвать Стратегию развития металлургической промышленности Российской Федерации на период до 2015 года планом. :) Заодно можно обратить внимание на обилие количественных показателей и элементы неопределённости (впрочем, довольно слабо прописанные) в этом документе. Это именно то, что отличает её от плана.

Что же касается James Lyndsay, то он, видимо, просто забыл поставить в свою фразу оговорку under various circumstances, потому что она для него очевидна. Понятие стратегии - это просто часть его (и, возможно, его читателей) математической культуры.
  • 0

#37 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 16 сентября 2007 - 12:15

Вопрос. А почему мы должны для теории тестирования ПО которой примерно лет 60 применять терминологию теории компьютерных игр, которой в сумме лет 15?
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#38 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 17 сентября 2007 - 08:27

А что, есть уже и теория компьютерных игр? Как далеко зашёл прогресс... :)
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#39 Green

Green

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 233 сообщений
  • ФИО:Гринкевич Сергей
  • Город:Москва

Отправлено 17 сентября 2007 - 09:34

Ребята,

любите вы переливать из пустого в порожнее.

...

На самом деле, являясь простым обывателем, не нуждающимся в устоявшейся терминологии в области тестирования, я считаю, что Nadya Kochetova защищала верную терминологию.

План это последовательность действий (возможно с параллельными ветками выполнения, возможно с проставленными датами). Диаграмма Ганта выражает план. Примером плана является «Дорожная карта» продвижения к постоянному урегулированию палестино-израильского конфликта в соответствии с принципом сосуществования двух государств на основе оценки выполнения сторонами своих обязательств. Переводчики этого документа (а вряд ли кто-то знает русский язык лучше переводчиков Объединённых Наций) ссылаются на него как на план.

Термин же "стратегия", вот уже лет пятьдесят как, часто употребляется в смысле, который в него вкладывает теория игр (см. Стратегия).
В применении к тест-менеджменту, стратегия - это дефиниция того, что надо делать (планировать) при наступлении тех или иных обстоятельств, вероятность которых заранее неизвестна. Стратегия отражает неопределённые аспекты планирования, которые на ту же диаграмму Ганта не ложатся. В этом смысле, приоритезация рисков - это способ определения стратегии. На русский язык термин переведён точно - стратегия не эквивалентна плану. Для проверки можно попытаться, например, мысленно назвать Стратегию развития металлургической промышленности Российской Федерации на период до 2015 года планом. :) Заодно можно обратить внимание на обилие количественных показателей и элементы неопределённости (впрочем, довольно слабо прописанные) в этом документе. Это именно то, что отличает её от плана.

Что же касается James Lyndsay, то он, видимо, просто забыл поставить в свою фразу оговорку under various circumstances, потому что она для него очевидна. Понятие стратегии - это просто часть его (и, возможно, его читателей) математической культуры.


Если стратегию тестирования рассматривать как общий подход в тестировании проектов вообще (даже в рамках одной компании), то такой документ сложно назвать планом. И в этом правы сторонники, не признающие документ с названием "Стратегия тестирования" в качестве прямого руководства к действию. Он скорее описывает подходы и рекомендации того, как должен строиться реальный план тестирования.

Однако, широко распространена практика (я с ней встречался чаще), когда документ "Стратегия тестирования" входит в стандартный набор проектной документации. В этом случае известны основные вехи проекта, и определенные подходы или практики тестирования привязываются к ним (с указанием сроков, ответственных лиц и п.т.). Полагаю, что в этом случае мы можем говорить о высокоуровневом календарном плане работ.

"-Кто скажет, что это девочка - пусть первый бросит в меня камень!"
Остап Бендер
:acute:
  • 0
Гринкевич Сергей

#40 P_R

P_R

    Новый участник

  • Members
  • Pip
  • 16 сообщений
  • Город:Киев

Отправлено 24 сентября 2007 - 10:36

...дискуссия может быть с легкостью преобразована в статью "Что такое стратегия тестирования?" или раздел будущей книги =)))))). Материала для размышлений предостаточно...
  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных