Перейти к содержимому

Тестирование юзабилити (usability)
онлайн, начало 25 ноября
Автоматизация функционального тестирования
онлайн, начало 27 ноября
Автоматизатор мобильных приложений
онлайн, начало 25 ноября
Тестирование безопасности
онлайн, начало 25 ноября
Фотография

Методологии Тестирования


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 45

#21 Green

Green

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 233 сообщений
  • ФИО:Гринкевич Сергей
  • Город:Москва

Отправлено 07 сентября 2007 - 06:01

Nadya,

мне импонирует Ваша горячность. В молодости я и сам был таким.
:smile:

Прочитав всю дискуссию от начала и до конца, могу сделать вывод, что она развернулась вокруг названия документа. Причем, не о сути самого документа, а именно о его названии. Что правильнее использовать? Стратегия тестирования или план тестирования? (С какого конца разбивать яйцо? С острого или тупого?)

Да, есть такой недостаток, как отсутствия единой, стандартной терминологии в тестировании. Одни используют терминологию RUP, другие еще какого-нибудь уважаемого источника, а третьи вообще все сами придумывают. Поэтому, нужно смотреть не на название, а на суть документа и отраженной в нем информации. К примеру, в каком, по Вашему, документе должен быть отражен план график тестирования по RUP, если в их терминах план тестирования - это набор тест-кейсов?

К тому же, приведенный Вами отрывок с определением стратегии, совсем не исключает указания дат, так как фазы тестирования или разработки могут пониматься двояко. С одной стороны, это могут быть фазы процесса, с другой - фазы проекта (что подразумевает указание конкретных дат перехода от одной фазы к другой).
  • 0
Гринкевич Сергей

#22 JimR

JimR

    Опытный участник

  • Members
  • PipPipPipPip
  • 253 сообщений
  • ФИО:Ручко Дмитрий Иванович
  • Город:Москва

Отправлено 07 сентября 2007 - 06:20

Поддерживаю Сергея, что спор собственно ни о чем. Обычно стратегия тестирования и план тестирования - это разноуровневые документы. Предполагается, что стратегия составляется для проекта, портфеля проектов или для всей компании. В то время, как план тестирования составляется на конкретный вид работ.
Однако в любос случае и то и другое план работ разного уровня детализации, который может, но не обязан содержать график выполнения перечисленных работ.

Более того, не всегда в организациях применяются одновременно документы стратегия и план тестирования. Бывают, что используется только один из них.

Если говорить о теории, то я бы стратегию отнёс к частному случаю плана тестирования.

P.S.
По поводу Канера, Баха и Петтикорда: я не поленился и открыл. У них есть урок под номером 278, который называется следующим образом: "Use test plan to express choices about strategy, logistics, ad work products".

P.P.S. Гриша, искусство стратегии, как часть военного искусства - это хорошо. Но не нужно его путать со планом стратегических действий. В нашем случае стратегией называется именно последний.
  • 1
Дмитрий Ручко
InfoTeCS

#23 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 07 сентября 2007 - 07:11

Надя, вы правда выбираете стандарт согласно которому надо провести тестирование в рамках тест-плана или просто так написалось? :) Я не стал дальше приколупываться, особенно в разделе про риски - но часто-густо пишете что-то не совсем целостное.

Источник "знаний" понятен, спасибо, Надежда.
Ожидал от ISEB большего, а теперь посмотрю на него несколько другими глазами - сапожник без сапог.

Теперь давайте разберёмся какой смысл его применять так как предлагаете вы.

ISEB Practitioner Course , page 66
Привожу целым обзацем.

The test strategy document is high level and defines the test phases to be performed and the
testing within those phases for a programme (one of more projects)/.
....
“A test strategy tells you what to plan and how to plan it, the plan tells you what to do
and when to do it” (James Lyndsay)


Здесь давайте остановимся, я понял что на конкретном примере мы с вами не разберёмся, так как вы так действительно думаете. Сразу скажу: извините, думал вы просто сказали не подумав, потому и сказал "попались!", а на самом деле всё глубже (хуже).

========= Поехали =============

Получается, что Стратегия Тестирования не Проектный, а Процессный артефакт?

Стратегия Тестирования это план как делать план? Я не готов принять это определение, потому что оно надуманное и бесполезное.

Давайте рассуждать.
Обьясните мне зачем этот артефакт в таком виде, кому-то кроме тест-менеджера, который просто не умеет делать тест-план?
Получается что Стратегии тестировании отведена участь Методички по разработке планов тестирования? В таком слеучае она должна быть чем-то уровня организации и никаким место не относиться к конкретному проекту, а является скорее общим документом-рекомендацией. Это мои догадки, потому что по сути никакого обьяснения лучше не придумалось.

На сайте автора, на которого вы ссылаетесь так и написано:

Unlike a plan, which is obsolete from the point of creation, a strategy reflects the values of an organisation - and remains current and useful.



Стратегия Тестирования (в таком изложении!) вещь надуманная и имеет смысл только в случае конвеерного производства однотипных проектов, когда можно в целом при более менее стандартных проектных условиях делать штамповки: кто из присутсвующих может сказать что видел такие проекты? В то время как методологисты от разработки говорят "каждому проекту своя методология!" в данном определении нечто глобальное и общее на уровень выше - на уровень организации. Автор оперирует старым запасом знаний, который последние лет 5 не имеют ничего общего с реалиями разработки ПО.

Теперь, что до автора, на которого вы и ISEB (по которому вы, видимо, учились) ссылаетесь.
James Lyndsay, единственный консультант компании Workroom Productions из Лондона. Странно видеть ссылку на консультанта крохотной компании в учебном документе ISEB, которая себя позиционирует как серьёзная сертификационная организация. Я тоже был консультантом компании своего имени несколько лет, а потом учредителем и совладельцем консалтинговой компании в области тестирования ПО, сейчас правда немного отошел от этого бизнеса - но это никоим образом не даёт мне право утверждать Глупости.

Посмотрим на вопрос несколько выше.
  • Автор оперирует старым запасом знаний, который последние лет 5-10 не имеют ничего общего с реалиями разработки ПО (см. выше).
  • Есть Глупость (устаревший взгляд на вещи, который не соотв. реалиям, называйте как угодно, я назову Глупостью), которая каким-то образом попала в ISEB - бывает, везде живые люди.
  • Потом Глупость попала в рамки Организации и так получилось что на входе в Организацию её никто не отсёк как Глупость.
  • Методом копипаста (вы верно расписали как такие Штуки приживаются в рамках Организаций - копипастом, с нуля никто не переписывает ибо Лень) Глупость набрала Вес (во всех же проектах используем!) и прижилась.
  • Глупости учат новых сотрудников, Глупость внедряют в других офисах и насаживают подрядчикам и аутсорсерам.
Ничего не напоминает? "Случай с потерянным IF" в чистом виде! (Артём спасибо - статья как нельзя более кстати).

Рекомендовал бы очень разобраться с проектными Артефактами и целесообразностью применения их в вашей компании.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#24 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 07 сентября 2007 - 07:14

По поводу Канера, Баха и Петтикорда: я не поленился и открыл. У них есть урок под номером 278, который называется следующим образом: "Use test plan to express choices about strategy, logistics, ad work products".

Спасибо большое за цитату! Только собрался копаться в книгах, думал у меня что-то со временем затёрлось и сместилось в понимании.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#25 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 07 сентября 2007 - 07:19

Прочитав всю дискуссию от начала и до конца, могу сделать вывод, что она развернулась вокруг названия документа. Причем, не о сути самого документа, а именно о его названии. Что правильнее использовать? Стратегия тестирования или план тестирования? (С какого конца разбивать яйцо? С острого или тупого?)

Сергей, кабы вопрос был только в названиях я бы даже не затевался спорить (старею, наверное). Я специально задал уточняющие вопросы и вижу Глупость, которую сказал один консультант, повторила уважаемая (?) организация, которой обучили умных людей и которая теперь тиражируется как Истина. С таким ИМХО надо бороться - это только вносит Энтропию и Хаос и в без того расшатанную область знаний.

PS
А где в RUP написано что тест план это набор тест кейсов? :smile:
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#26 Nadya Kochetova

Nadya Kochetova

    Новый участник

  • Members
  • Pip
  • 66 сообщений
  • ФИО:Kochetova Nadya
  • Город:London, UK

Отправлено 07 сентября 2007 - 08:16

Мой подход к тестированию строится на стратегии не как на документе , который (по-вашему ) "пишет как планировать план" (на мой взгляд вы не уловили смысла, вложенного в мой предыдущий ответ, что собственно моя вина). Для меня определение стратегии тестирования конкретного проекта, модуля- это ключевой процесс. Дальше идет детализация.

Если вы считаете, что стратегия никому не нужна? никто не заставляет ее начать писать. Если вы опытный тестер и способны написать хороший план, выбрать нужные методики тестирования - пожалуйста. Для меня же как более молодой и наверное недостаточно неопытной стратегия нужна перед составлением плана.

Вам не нравится, как ISEB определяет стратегию? Никто не спорит. У ISEB много сторонников и противников. Я когда приводила пример только лишь хотела показать. что RUPом не надо ограничиваться в определениях.

Стратегия и план -документы разного уровня. Здесь принято определять полиси -> стратегию->план->фазный план. От общего к частному.

Будете смеяться, но каждому проекту у нас своя методология. и для каждой фазы может быть отдельная методология тестирования. мы сейчас выпускаем первый SP к 4 релизу. для всех SP у нас своя методология тестирования+учет специфики каждого Service pack.
  • 0

#27 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 07 сентября 2007 - 10:13

Надежда, да не буду я смеятся, что вы в самом деле...

Я понял что вас так учили, потому извинился за свои слова "попались!"!

Продолжать или нет дискуссию, решать конечно вам, но давайте выйдем из коробки того чему вас и меня учили и просто подумаем над теми штуками, которые я проговорил. Вопрос простой: какого уровня документ Стратегия Тестирования - проектного или процессного?

ISEB заработал первый штрафной бал по моей личной шкалы - и будет с него, мы ведь не фанаты школ или движений, мы спокойно пытаемся понять зачем нужен или не нужен тот или иной кусок нашей работы.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#28 Nadya Kochetova

Nadya Kochetova

    Новый участник

  • Members
  • Pip
  • 66 сообщений
  • ФИО:Kochetova Nadya
  • Город:London, UK

Отправлено 07 сентября 2007 - 11:41

Надежда, да не буду я смеятся, что вы в самом деле...

Я понял что вас так учили, потому извинился за свои слова "попались!"!

Продолжать или нет дискуссию, решать конечно вам, но давайте выйдем из коробки того чему вас и меня учили и просто подумаем над теми штуками, которые я проговорил. Вопрос простой: какого уровня документ Стратегия Тестирования - проектного или процессного?

ISEB заработал первый штарфной бал по моей личной шкалы - и будет с него, мы ведь не фанаты школ или движений, мы спокойно пытаемся понять зачем нужен или не нужен тот или иной кусок нашей работы.


меня никто этому не учил:) в ISEB я заглянула, когда поняла, что здесь без него просто на работу не берут.

у нас есть стратегия тестирования для процесса тестирования в целом. но мы это называем полиси. и у нас есть стратегия проектная - для конкретных проектов.

если говорить вашим языком, Case, то в нашей компании у нас есть стратегия процессная и проектная.
  • 0

#29 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 07 сентября 2007 - 11:44

у нас есть стратегия тестирования для процесса тестирования в целом. но мы это называем полиси.


А всё потому, что американский и английский - это разные языки. :)
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#30 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 07 сентября 2007 - 12:30

Кстати, о словарях. Мой "контекст" по компьютерному словарю даёт такой перевод слова "strategy":
Стратегия. Общее определение подцелей, достижение которых необходимо для достижения цели.

А общий словарь для слова strategy даёт два перевода:
1. Стратегия
2. Оперативное искусство


В русской военной терминологии стратегия и оперативное искусство - это два разных (хотя и рядом стоящих) уровня.

Косвенно это подтверждает мою догадку о том, что в английском языке слово "strategy" используется в гораздо более широком смысле, чем "стратегия" в русском. И бездумный перевод "strategy" как "стратегия" несколько противоречит интуитивно понятному значению этого слова.
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#31 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 07 сентября 2007 - 12:45

у нас есть стратегия тестирования для процесса тестирования в целом. но мы это называем полиси. и у нас есть стратегия проектная - для конкретных проектов.

если говорить вашим языком, Case, то в нашей компании у нас есть стратегия процессная и проектная.


Во-о-о-т :) теперь становится прозрачнее, по сути то что я говорю, когда критикую ISEB. Есть методичка-полиси, не суть как называется, которая определяет как принято делать в организации. Теперь расскажите чем "проектная стратегия" не есть план, который определяет набор и последовательность шагов в рамках проекта?
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#32 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 07 сентября 2007 - 12:47

greesha, ещё раз повторюсь. Вопрос не в терминологии уже - мы немного разобрались что к чему. Даже успели посмотреть источники и это клёво - вопрос глубже: терминология запутанная, говорить общими словами не получается - путаемся ещё больше. Надо говорить проще и доносить до людей, которые спрашивают совета суть вещей не сводя всё к терминологическим играм.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#33 Nadya Kochetova

Nadya Kochetova

    Новый участник

  • Members
  • Pip
  • 66 сообщений
  • ФИО:Kochetova Nadya
  • Город:London, UK

Отправлено 07 сентября 2007 - 13:14

Во-о-о-т :) теперь становится прозрачнее, по сути то что я говорю, когда критикую ISEB. Есть методичка-полиси, не суть как называется, которая определяет как принято делать в организации. Теперь расскажите чем "проектная стратегия" не есть план, который определяет набор и последовательность шагов в рамках проекта?


Скажем не методичка. Это документ, который может состоять из одного предожения "Выпускаемый продукт должен быть оттестирован" или "регрессионный тестинг должен выполяняться каждую ночь. 100% тестов входящих в состав регресионного пакета должны быть автоматизированы". звучит бредово на этом примере, но это пример полиси. т.е. выражении глобальной мысли относительно тестирования в компании вообще.

что в себя включает план и чем он отличается о стратегии - расписывала выше. с момента публикации того сообщения мои взгляды не изменились :)
  • 0

#34 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 07 сентября 2007 - 16:42

greesha, ещё раз повторюсь. Вопрос не в терминологии уже - мы немного разобрались что к чему. Даже успели посмотреть источники и это клёво - вопрос глубже: терминология запутанная, говорить общими словами не получается - путаемся ещё больше. Надо говорить проще и доносить до людей, которые спрашивают совета суть вещей не сводя всё к терминологическим играм.


С крайним утверждением полностью согласен. :)

Только в таком случае что тут, собственно, обсуждается? Какой, такскть, вопрос стоит на повестке дня? ;)
Автор исходного поста появился в апреле, оставил сообщение (единственное) и исчез. И его можно понять: ни один из комментариев не содержит каких-либо практических советов. Все рассказывают, как устроен паровоз, но никто не объясняет, как он ездит без лошадей. :))
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#35 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 07 сентября 2007 - 16:44

Я не тормоз. :))

Всё время путаю дату регистрации с датой поста.
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#36 a66at

a66at

    Постоянный участник

  • Members
  • PipPipPip
  • 184 сообщений
  • ФИО:Victor Ichalov

Отправлено 15 сентября 2007 - 17:00

...

На самом деле, являясь простым обывателем, не нуждающимся в устоявшейся терминологии в области тестирования, я считаю, что Nadya Kochetova защищала верную терминологию.

План это последовательность действий (возможно с параллельными ветками выполнения, возможно с проставленными датами). Диаграмма Ганта выражает план. Примером плана является «Дорожная карта» продвижения к постоянному урегулированию палестино-израильского конфликта в соответствии с принципом сосуществования двух государств на основе оценки выполнения сторонами своих обязательств. Переводчики этого документа (а вряд ли кто-то знает русский язык лучше переводчиков Объединённых Наций) ссылаются на него как на план.

Термин же "стратегия", вот уже лет пятьдесят как, часто употребляется в смысле, который в него вкладывает теория игр (см. Стратегия).
В применении к тест-менеджменту, стратегия - это дефиниция того, что надо делать (планировать) при наступлении тех или иных обстоятельств, вероятность которых заранее неизвестна. Стратегия отражает неопределённые аспекты планирования, которые на ту же диаграмму Ганта не ложатся. В этом смысле, приоритезация рисков - это способ определения стратегии. На русский язык термин переведён точно - стратегия не эквивалентна плану. Для проверки можно попытаться, например, мысленно назвать Стратегию развития металлургической промышленности Российской Федерации на период до 2015 года планом. :) Заодно можно обратить внимание на обилие количественных показателей и элементы неопределённости (впрочем, довольно слабо прописанные) в этом документе. Это именно то, что отличает её от плана.

Что же касается James Lyndsay, то он, видимо, просто забыл поставить в свою фразу оговорку under various circumstances, потому что она для него очевидна. Понятие стратегии - это просто часть его (и, возможно, его читателей) математической культуры.
  • 0

#37 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 16 сентября 2007 - 12:15

Вопрос. А почему мы должны для теории тестирования ПО которой примерно лет 60 применять терминологию теории компьютерных игр, которой в сумме лет 15?
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#38 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 17 сентября 2007 - 08:27

А что, есть уже и теория компьютерных игр? Как далеко зашёл прогресс... :)
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#39 Green

Green

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 233 сообщений
  • ФИО:Гринкевич Сергей
  • Город:Москва

Отправлено 17 сентября 2007 - 09:34

Ребята,

любите вы переливать из пустого в порожнее.

...

На самом деле, являясь простым обывателем, не нуждающимся в устоявшейся терминологии в области тестирования, я считаю, что Nadya Kochetova защищала верную терминологию.

План это последовательность действий (возможно с параллельными ветками выполнения, возможно с проставленными датами). Диаграмма Ганта выражает план. Примером плана является «Дорожная карта» продвижения к постоянному урегулированию палестино-израильского конфликта в соответствии с принципом сосуществования двух государств на основе оценки выполнения сторонами своих обязательств. Переводчики этого документа (а вряд ли кто-то знает русский язык лучше переводчиков Объединённых Наций) ссылаются на него как на план.

Термин же "стратегия", вот уже лет пятьдесят как, часто употребляется в смысле, который в него вкладывает теория игр (см. Стратегия).
В применении к тест-менеджменту, стратегия - это дефиниция того, что надо делать (планировать) при наступлении тех или иных обстоятельств, вероятность которых заранее неизвестна. Стратегия отражает неопределённые аспекты планирования, которые на ту же диаграмму Ганта не ложатся. В этом смысле, приоритезация рисков - это способ определения стратегии. На русский язык термин переведён точно - стратегия не эквивалентна плану. Для проверки можно попытаться, например, мысленно назвать Стратегию развития металлургической промышленности Российской Федерации на период до 2015 года планом. :) Заодно можно обратить внимание на обилие количественных показателей и элементы неопределённости (впрочем, довольно слабо прописанные) в этом документе. Это именно то, что отличает её от плана.

Что же касается James Lyndsay, то он, видимо, просто забыл поставить в свою фразу оговорку under various circumstances, потому что она для него очевидна. Понятие стратегии - это просто часть его (и, возможно, его читателей) математической культуры.


Если стратегию тестирования рассматривать как общий подход в тестировании проектов вообще (даже в рамках одной компании), то такой документ сложно назвать планом. И в этом правы сторонники, не признающие документ с названием "Стратегия тестирования" в качестве прямого руководства к действию. Он скорее описывает подходы и рекомендации того, как должен строиться реальный план тестирования.

Однако, широко распространена практика (я с ней встречался чаще), когда документ "Стратегия тестирования" входит в стандартный набор проектной документации. В этом случае известны основные вехи проекта, и определенные подходы или практики тестирования привязываются к ним (с указанием сроков, ответственных лиц и п.т.). Полагаю, что в этом случае мы можем говорить о высокоуровневом календарном плане работ.

"-Кто скажет, что это девочка - пусть первый бросит в меня камень!"
Остап Бендер
:acute:
  • 0
Гринкевич Сергей

#40 P_R

P_R

    Новый участник

  • Members
  • Pip
  • 16 сообщений
  • Город:Киев

Отправлено 24 сентября 2007 - 10:36

...дискуссия может быть с легкостью преобразована в статью "Что такое стратегия тестирования?" или раздел будущей книги =)))))). Материала для размышлений предостаточно...
  • 0


Школа Тест-Аналитика
онлайн
Организация автоматизированного тестирования
онлайн
Школа тест-менеджеров v. 2.0
онлайн
Тестирование юзабилити (usability)
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале