Перейти к содержимому

Фотография

Методологии Тестирования


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 45

#1 Gerasimov

Gerasimov

    Новый участник

  • Members
  • Pip
  • 8 сообщений
  • ФИО:Чапаева Ольга Борисовна

Отправлено 24 июля 2007 - 10:32

Подскажите, как можно описать методологии тестирования в целом или для такого проекта:
Система управления командой. Интерфейс - web приложение.
Технологии: Hibernate, GWT, MS Outlook и др.

Если есть интересные ссылки, отправлюсь с удовольствием.

На форуме читал темы:
"Выбор и обоснование методологии тестовых испытаний",
"Единая Команда, Программисты и тестировщики в 1 группе"
но представление о том что такое "методология тестирования" окончательно не сформировалось.
Это именно:

Если мы говорим о процессе тестирования как "вообще". То это описывается термином "Методология тестирования". В терминах RUP (с детства люблю комиксы ) он подразумевает под собой несколько элементов.

1. ПАРАМЕТРЫ НАДЕЖНОСТИ - элемент характеризует, что следует оценить в процессе тестирования.
а. Надежность
б. Функциональные возможности
в. Производительность

/Green/

или речь идет о черных/белых ящиках? Помогите разобраться, заранее спасибо.
  • 0

#2 Galina

Galina

    Постоянный участник

  • Members
  • PipPipPip
  • 151 сообщений
  • Город:Москва

Отправлено 24 июля 2007 - 15:26

Методоло́гия — это учение о методах и средствах деятельности (Wikipedia).

Я правильно понимаю, что Вам надо написать методологию для конкретного проекта?

Из определения "методолигии" следует, что надо описать:
1. Как вы будете тестировать (черный/белый, ручками/автоматизировать и т.п.)
2. Чем будет пользоваться при тестировании (инструментарий)
3. Какие артефакты тестирования, для чего и когда будут создаваться.

Пунты являются моим ИМХО, т.к. методологии писать не приходилось, только стратегии. Хотелось бы услышать искушенных коллег :)
  • 0

#3 Green

Green

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 233 сообщений
  • ФИО:Гринкевич Сергей
  • Город:Москва

Отправлено 25 июля 2007 - 13:06

Galina,

все в точности, как ты описала.
:blush:

Стоит только внести небольшую поправку. Методология - это действительно глобальная штука. Она не измеряется масштабами проекта. Как правило, ее применяют для решения задач в рамках проекта.

Следовательно, для тестирования проекта разрабатывается стратегия (в некоторой терминологии - план тестирования). которая строится на одной или нескольких методологиях.

Например, для тестирования юнитов используется методология белого ящика (в просторечии - юнит тестирование). Для тестирования бизнес функциональности (т.е. кейсов использования, покрывающих решение какой-нибудь бизнес задачи) применяем методология черного ящика.

Вообще-то чем больше я пользуюсь термином "методология" для описания задач тестирования, тем больше я чувствую, что это слово не уместно в данном контексте. Под методологией следует понимать что-то устоявшееся, базисное. На мой взгляд, в тестировании таких понятий пока очень мало и используют их каждый по своему усмотрению.
  • 0
Гринкевич Сергей

#4 Daisy

Daisy

    Новый участник

  • Members
  • Pip
  • 2 сообщений

Отправлено 03 сентября 2007 - 13:50

А может кто-нибудь может поделится о методах эстимации тестирования проекта в целом и отдельного таска?Плиз :victory:
  • 0

#5 Nadya Kochetova

Nadya Kochetova

    Новый участник

  • Members
  • Pip
  • 66 сообщений
  • ФИО:Kochetova Nadya
  • Город:London, UK

Отправлено 05 сентября 2007 - 12:49

Galina,

все в точности, как ты описала.


Green, это вы про то, что вам тоже не приходилось писать методологии?? :)

Стоит только внести небольшую поправку. Методология - это действительно глобальная штука. Она не измеряется масштабами проекта. Как правило, ее применяют для решения задач в рамках проекта.

Следовательно, для тестирования проекта разрабатывается стратегия (в некоторой терминологии - план тестирования). которая строится на одной или нескольких методологиях.


Стратегия-это не план. Стратегия -это способ связи рисков и тестирования. И это надо понимать. У вас есть проектные риски. Вы дружно решаете, что надо снизить. Чтобы снизить отдельно взятый риск (можно с риском ничего и не делать, если он не критичен), надо выбрать правильный метод разработки и тестирования. Сюда я включаю также проектирование на разных уровнях и прочее.
Документ "Стратегия" (назовем его так) описывает риски и как вы собираетесь их снизить, какой метод тестирования вы выбираете. Вот когда мы доходим до слова "метод" - мы понимаем "методология". Стратегия НЕ СТРОИТСЯ на методологиях. Документ "Стратегия" говорит вам какую методологию надо использовать, чтобы снизить конкретные риски.

Стратегия говорит вам что планировать. План говорит вам - что и когда делать. Тут очень важно понять разницу.
  • 0

#6 Nadya Kochetova

Nadya Kochetova

    Новый участник

  • Members
  • Pip
  • 66 сообщений
  • ФИО:Kochetova Nadya
  • Город:London, UK

Отправлено 05 сентября 2007 - 12:55

Автор, когда вы видите слово методология попробуйте заменить его на слово "набор методов". Метод - это описание того, как вы собираетесь что-то делать.
Если вам надо описать методологию тестирования - опишите методы тестирования, которые вы будете использовать, на основании рисков в вашем проекте.

По лестнице вниз метод можно сузить до слова техника. Может, вам так будет более понятно. Не забывается, что кроме так любимых на форуме "белых" ящиков и "черных" есть еще тестирование, базирующееся на опыте, базирующееся на требованиях, на рисках, в конце концов просто на догадках, где ПО может "свалиться".

Удачи вам!
  • 0

#7 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 05 сентября 2007 - 14:12

Стратегия-это не план. Стратегия -это способ связи рисков и тестирования.

Узко смотрите, широко обобщаете :)
  • В терминах RUP-а, стратегия тестирования и есть план тестирования. На основе чего её строить вопрос, который решается по месту. Если у вас risk-based test strategy то вы базируясь на рисках будете выбирать приоритеты задач, а подходы и инструменты врядли сильно качнутся из стороны в сторону.
  • Стратегия - наиболее общий план действия (словарь по общественным наукам)

  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#8 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 05 сентября 2007 - 14:24

Автор, когда вы видите слово методология попробуйте заменить его на слово "набор методов". Метод - это описание того, как вы собираетесь что-то делать.

Вот тут соглашусь. Произошло простое вытеснение понятий более тяжеловесным. Насколько я успел понять, автора интересовал подход к тестированию, горовы более умно - стратегия: какие типы тестов будем применять, что за чем будем тестировать и т.д.

Исходя из постановки задачи автором, вопрос имеет простой ответ: тестируем руками, чёрным ящиком, тесты пишем либо по спецификациям либо по существующему функционалу. Проектируем тесты сверху-вниз, разбивая приложение на тестовые области по логике операций приложения (новая команда, добавить удалить участника команды, удалить команду, что будем если удаляем непустую команду и т.д.). Для каждой области выделяем короткий список тестов, который будет выполняться в пакете дымового тестирования на выкатке новой версии.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#9 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 05 сентября 2007 - 14:32

Автору топика рекомендуется начать отсюда: SWEBOK: Процесс тестирования
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#10 Nadya Kochetova

Nadya Kochetova

    Новый участник

  • Members
  • Pip
  • 66 сообщений
  • ФИО:Kochetova Nadya
  • Город:London, UK

Отправлено 05 сентября 2007 - 14:48

есть кое что отметить:

RUP-распространенная и многими любимая методология разработки. но она не единственная в мире. и я считаю, что нельзя брать определения из RUP и считать их единственно правильной трактовкой некоторых вещей. тем более в тестировании. RUP не раскрывает многих понятий относительно тестирования, как это делается в других источниках.

Когда я говорю о тестировании я не беру определения из RUP или Prrince2. Я использую и очень рекомендую тестерам смотреть определения вне RUPа.

"Если у вас risk-based test strategy то вы базируясь на рисках будете выбирать приоритеты задач, а подходы и инструменты врядли сильно качнутся из стороны в сторону."

не только то тестирование, которое базируется на рисках, подразумевает расстановку приоритетов.
Приоритеты выбираются, когда есть ограничения. Приоритет может быть распеделен и в black box techniques. не надо сужать: раз риск -значит сразу приоритеты ставить. Да, реальность такова, что нам всегда надо много времени, а его нет. поэтому мы вынуждены выставлять приоритеты. но это не значит, что only risk based approach deals with priorities.

Подходы и инструменты очень резко меняются, если у меня есть ограничения или условия разработки меняются.. к сожалению, многие тест-менеджеры не применяют знания на практике. Они не применяют возможности к условиям. Видят, что мало времени, и все равно не меняют ни приоритетов, не ищут других способов тестирования. Это большая ошибка. Если что-то в условиях меняется, то и средства и подходы должны пересмотреться и часто - поменяться..
это и есть менеджмент.
  • 0

#11 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 сентября 2007 - 07:16

Надя, ну попались, так и скажите :) Зачем огород городить?

Сейчас вы сказали следующее:
"Мне всё равно что написано в РУП, я им не пользуюсь и другим не советую". Но не сказали ничего другого по сути моего замечания.

Чем вы пользуетесь и откуда вы взяли, что стратегия не есть план тестирования? Я для полноты картинки хоть на банальный словарь сослался, вместо того чтобы изложить два абзаца мыслей про то какие ошибки совершают другие неопытные менеджеры и общих слов ни о чём.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#12 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 сентября 2007 - 07:20

не только то тестирование, которое базируется на рисках, подразумевает расстановку приоритетов.
Приоритеты выбираются, когда есть ограничения. Приоритет может быть распеделен и в black box techniques. не надо сужать: раз риск -значит сразу приоритеты ставить. Да, реальность такова, что нам всегда надо много времени, а его нет. поэтому мы вынуждены выставлять приоритеты. но это не значит, что only risk based approach deals with priorities.

Подходы и инструменты очень резко меняются, если у меня есть ограничения или условия разработки меняются.. к сожалению, многие тест-менеджеры не применяют знания на практике. Они не применяют возможности к условиям. Видят, что мало времени, и все равно не меняют ни приоритетов, не ищут других способов тестирования. Это большая ошибка. Если что-то в условиях меняется, то и средства и подходы должны пересмотреться и часто - поменяться..
это и есть менеджмент.

"Если что-то меняется, то надо на это реагировать" - отлично, а как это относительно темы топика?
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#13 Nadya Kochetova

Nadya Kochetova

    Новый участник

  • Members
  • Pip
  • 66 сообщений
  • ФИО:Kochetova Nadya
  • Город:London, UK

Отправлено 06 сентября 2007 - 08:38

Надя, ну попались, так и скажите :) Зачем огород городить?

Сейчас вы сказали следующее:
"Мне всё равно что написано в РУП, я им не пользуюсь и другим не советую". Но не сказали ничего другого по сути моего замечания.

Чем вы пользуетесь и откуда вы взяли, что стратегия не есть план тестирования? Я для полноты картинки хоть на банальный словарь сослался, вместо того чтобы изложить два абзаца мыслей про то какие ошибки совершают другие неопытные менеджеры и общих слов ни о чём.


Ну ничего себе...

Во-первых, я высказала свои мысли по поводу того, что тест-стратегия это не тест план. И я готова вам привести пример из того же ISEB Practitioner Syllabus, чтобы показать, что для людей составляющих такие документы стратегия - это не план.
Читайте Канера, Баха и Петихорда, чтобы узнать, что эти люди говорят о стратегии и планах.

Во-вторых, я работаю и с РУП и с Принс2. я не сказала, что другим не советую пользоваться РУПом. я посоветовала людям искать определения дальше и глубже, выходя за рамки РУПа.

В-третьих, это форум. где люди общаются и делятся идеями и соображениями. мне казалось, что именно это и есть основа форума. но если вы считаете, что высказав свое мнение человек "попался" ... что тут скажешь.. может быть вы сами "попались"?

Я еще раз готова повторить, тест-стратегия- это не тест-план. Это способ связи рисков с тест-деятельностью.
  • 0

#14 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 сентября 2007 - 11:21

Надежда, я не буду устраивать разбирательства с цитатами кто и что сказал, тема открыта - желающие сами пробегутся и посмотрят что к чему.

Цитаты из указанных вами источников приведите, если не затруднит и поясните на их примере, почему вы считаете что стратегия, которая в русском языке является упрощённым планом (def!) это всё-таки НЕ план.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#15 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 сентября 2007 - 11:24

Ну ничего себе...

Надежда, а как вы думали? Можно прийти в форум где люди в чём-то разбираются и без аргументов задвинуть любую мысль, потому что вам так кажется? :)

Отбивайтесь, отстаивайте - только пожалуйста не принимайте на свой счёт, мы всё-таки не вопросы вкуса и кому какая причёска нравится обсуждаем, а спокойно спорим о том в чём работаем и развиваемся.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#16 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 сентября 2007 - 11:28

Пока не забыл, уточню ещё пару вещей из вашей практики:
1. Стратегию вы оформляете в виде отдельного артефакта/документа? Если да - то зачем или почему?
2. С кем согласовывается стратегия тестирования и почему?
3. Могли бы вы на примере виндового ноутпада показать где заканчивается стратегия и где начинается план тестирования?

Заранее спасибо, думаю проясним.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#17 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 06 сентября 2007 - 14:35

В терминах RUP-а, стратегия тестирования и есть план тестирования.


Особенности перевода с английского? Мне, например, более привычно понятие "плана тестирования" как документа, по которому тестировщик может проводить конкретные тесты. План определяет последовательность действий. А стратегия тестирования, скорее, определяется на уровне всего проекта и включает наиболее общие цели и методы тестирования.

Стратегия - наиболее общий план действия (словарь по общественным наукам)


Ага, словарь по общественным наукам в данном контексте - самая авторитетная ссылка. :) А Яндекс мне подсказывает, что есть ещё такие понятия как "коммуникативная стратегия русской речи", "функциональная стратегия", "стратегия реального времени" и т. п. Речь всё ещё идёт о планах?

В военной сфере, откуда это понятие и пустило корни, под стратегией понимается наука и искусство ведения войны. В том числе и искусство планирования.
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#18 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 06 сентября 2007 - 19:33

Чтобы не заниматься словоблудием и если русский язык вам не подсказывает определения :) то к вам теже вопросы, чтобы продолжать разговор в конструктивном русле.

1. Стратегию вы оформляете в виде отдельного артефакта/документа? Если да - то зачем или почему?
2. С кем согласовывается стратегия тестирования и почему?
3. Могли бы вы на примере виндового ноутпада показать где заканчивается стратегия и где начинается план тестирования?
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#19 Nadya Kochetova

Nadya Kochetova

    Новый участник

  • Members
  • Pip
  • 66 сообщений
  • ФИО:Kochetova Nadya
  • Город:London, UK

Отправлено 06 сентября 2007 - 19:54

ISEB Practitioner Course , page 66
Привожу целым обзацем.

The test strategy document is high level and defines the test phases to be performed and the
testing within those phases for a programme (one of more projects)/. Based on a policy
towards testing, a strategy towards testing can be developed. A strategy can be for the whole
organisation, generic for each project, or can be developed separately for each project that
the organisation undertakes. A test strategy describes in detail the approach that will be taken
towards the testing including a description of the different testing phases and how the testing
will mitigate the risks involved. It can also be seen to be a description of what testing work will
be planned and how the testing work will be plan.

The project test plan document defines the test phases to be performed and the testing within
those phases for a particular project. If the test strategy is what to plan and how to plan it;
then the test plan is what to do and when to do it. It is the description of how and what to do to
implement the test strategy and will either confirm compliance, or explain non-compliance
with the test strategy. The test plan will have information on the time scales, costs and major
milestones that relate to the overall project plan.

“A test strategy tells you what to plan and how to plan it, the plan tells you what to do
and when to do it” (James Lyndsay)

Теперь смотрим пример:
Нам надо разработать редактор notepad. Тест стратегия будет определять :
1. Фазы (этапы) тестирования
2. Риски (продукт не поддерживает кодировки, не прочитывает XML файлы, не работает под Вистой, не выходит в срок и далее по списку)
3. Как снизить каждый риск: провести тестирование с максимальной выборкой кодировок, провести тестирование на различных платформах и т.д.
4. Далее документ «тест-стратегия» определяет что планировать – какой из выбранных видов тестирование должен быть спланирован в плане (простите за повторение) и как оно должно быть спланировано . Но стратегия не содержит этот план. Она только указывает, что будет и как будет спланировано. Стратегия направляет читателей к плану!
5. здесь же определяется будет ли тестирование автоматизировано. Если да, то какое. в каком соотношении к ручному (80% автоматизировнных тестов для регрессивного тестирования, 20%- ручные тесты)

Смотрим теперь план: мы уже знаем , какие виды тестирования мы должны спланировать. Осталось только расписать это. Пишем конкретно для каждого вида тестирования:

1. Фаза: Нагрузочное тестирование
2. Входные условия: функциональное тестирование должно быть успешно завершено; Тест среда готова к использованию; тестеры владеют методикой нагрузочного тестирования и пр
3. Выходные условия: ни одного серьезного сбоя в системе не зафиксировано в течение 10 часов с нагрузкой в 1000 пользователей в минуту, уровень производительности постоянно находился на уровне определенном требованиями заказчика и т.д.
4. Участники и их роли: участник А : роль: тест –архитектор; участник Б: роль-архитектор БД; Участник С: тестер
5. Период тестирования: 1-4.09.2007
6. Используемая методика создания тестов и тестирования
7. Стандарт, в соответствии с которым необходимо провести тестирование и т.д
8. автоматизация

Все приведенное выше является упрощенным примером.

Кроме того, стратегия здесь приведена для одного примера. Она же может быть и для всех проектов в компании и для отдельно взятого проекта.
  • 0

#20 Nadya Kochetova

Nadya Kochetova

    Новый участник

  • Members
  • Pip
  • 66 сообщений
  • ФИО:Kochetova Nadya
  • Город:London, UK

Отправлено 06 сентября 2007 - 20:09

Чтобы не заниматься словоблудием и если русский язык вам не подсказывает определения :) то к вам теже вопросы, чтобы продолжать разговор в конструктивном русле.

1. Стратегию вы оформляете в виде отдельного артефакта/документа? Если да - то зачем или почему?
2. С кем согласовывается стратегия тестирования и почему?
3. Могли бы вы на примере виндового ноутпада показать где заканчивается стратегия и где начинается план тестирования?


Теперь по этим вопросам.

1. Да, стратегию в нашей компании мы оформляем, как отдельный документ. Мы его распространяем среди команд разработки и тестирования. До тех пор, пока каждый человек не поймет стратегии разработки и тестирования каждого проекта мы вперед не движемся. Аналогично все происходит с планом. Каждый тестер должен понимать, что от него требуется. Зачем? Стратегия и план не воплотятся, пока не будут поняты каждым членом команды. тестирование не будет произведено правильно, пока каждый не поймет, какие риски мы пытаемся снизить.

2. С кем согласовывается стратегия. Только руководителями департамента разработки. хотя каждый месяц мы рассказываем на внутренней конференции о стратегиях тестирования сейлам и консультантам.

3. уже ответила выше.

не все тестирование из Лондона уходит в Индию, Китай, Южную Африку, Россию и страны восточной европы. как и везде здесь есть люди, которые в тестировани уже не 3 года. Но как ни странно, даже опытные люди не пишут документов с нуля. многие вообще мало себе представляют, что они делают. Берется старый тест-план с другого проекта или какой-то пример из интернета и пишется документ. и так из проекта в проек. из года в год.
документы некоторые читать невозможно. для абсолютно всех багов в тест-планах иногда только дата меняется.

Очень трудно сесть и написать тест стратегию и тест план с нуля. Но чем раньше и чаще люди будут это делать, тем намного легче будет восприниматься задача тестирования, тем интересней тестирование будет.

Автору топика -спасибо за хороший вопрос.

Case - спасибо за дискуссию.
  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных