Перейти к содержимому

Фотография

Свободное тестирование


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 96

#21 Natalya Rukol

Natalya Rukol

    Профессионал

  • Admin
  • PipPipPipPipPipPip
  • 2 001 сообщений
  • Город:Moscow


Отправлено 12 августа 2009 - 19:30

http://kaner.com/pdfs/QAIExploring.pdf
http://kaner.com/pdfs/ETatQAI.pdf
http://kaner.com/pdf...illsQAI2007.pdf
http://kaner.com/pdf...oratoryTest.pdf

Легко, доступно, практично :)

p.s. Не путайте Ad Hoc и Exploratory ;)
  • 0

#22 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 872 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 13 августа 2009 - 04:44

p.s. Не путайте Ad Hoc и Exploratory ;)

А что случится с теми, кто перепутает? ;)
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#23 LeshaL

LeshaL

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 094 сообщений
  • ФИО:Алексей Лянгузов
  • Город:Saint-Petersburg


Отправлено 13 августа 2009 - 07:47

p.s. Не путайте Ad Hoc и Exploratory ;)

А что случится с теми, кто перепутает? ;)

Примерно тоже самое хотел спросить - в чем принципиальная разница?
  • 0
Regards,
Alexey

#24 Natalya Rukol

Natalya Rukol

    Профессионал

  • Admin
  • PipPipPipPipPipPip
  • 2 001 сообщений
  • Город:Moscow


Отправлено 13 августа 2009 - 09:38

p.s. Не путайте Ad Hoc и Exploratory ;)

А что случится с теми, кто перепутает? ;)

Армагеддон :acute:


Примерно тоже самое хотел спросить - в чем принципиальная разница?

Ad Hoc - это хаотическое тестирование. Берём тестеров, берём продукт, ищем баги. Тоже вид exploratory, конечно, но не единственный.
Exploratory - это тестирование без тест-кейзов, исследовательское, совмещённое с изучением продукта. Используется при отсутствии документации и/или времени на составление тест-дизайна. Может быть измеримым, менеджебельным и контролируемым, в отличие от ад хока - просто в нём нет кейзов. Сешн-бейзд, парное тестирование - варианты эксплоративного.
Я на тест-лабсах готовлюсь рассказать, как сделать exploratory менеджебельным во всех смыслах.

Почему нельзя их путать:
Потому что эксплоративное тестирование может быть полезным, и даже наиболее оптимальным в конкретной ситуации. А ad hoc ИМХО не может быть оправданным, используется только при lack of management :)

Откуда термины:
Канер, Бах, Копланд, Паттон, Википедия и т.д.
  • 0

#25 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 13 августа 2009 - 10:45

Ad Hoc - это хаотическое тестирование. Берём тестеров, берём продукт, ищем баги. Тоже вид exploratory, конечно, но не единственный.
Exploratory - это тестирование без тест-кейзов, исследовательское, совмещённое с изучением продукта. Используется при отсутствии документации и/или времени на составление тест-дизайна. Может быть измеримым, менеджебельным и контролируемым, в отличие от ад хока - просто в нём нет кейзов. Сешн-бейзд, парное тестирование - варианты эксплоративного.
Я на тест-лабсах готовлюсь рассказать, как сделать exploratory менеджебельным во всех смыслах.

Почему нельзя их путать:
Потому что эксплоративное тестирование может быть полезным, и даже наиболее оптимальным в конкретной ситуации. А ad hoc ИМХО не может быть оправданным, используется только при lack of management :)

Откуда термины:
Канер, Бах, Копланд, Паттон, Википедия и т.д.

Как то у вас все слишком по полочкам разложено причем местами не по тем (без тест-кейсов, используется при отсутствии документации и/или времени на составление тест-дизайна). Да и про ad hoc не очень понятно (хаотичесоке, неконтролируемое, вид exploratory, тестеры ищут баги в продукте). Мне кажется, вам следует повнимательнее изучить первоисточники, либо уточнить что имеете ввиду.
"Наиболее оптимальный" - невозможное словосочетание.
  • 0

#26 Natalya Rukol

Natalya Rukol

    Профессионал

  • Admin
  • PipPipPipPipPipPip
  • 2 001 сообщений
  • Город:Moscow


Отправлено 13 августа 2009 - 23:57

Как то у вас все слишком по полочкам разложено причем местами не по тем (без тест-кейсов, используется при отсутствии документации и/или времени на составление тест-дизайна). Да и про ad hoc не очень понятно (хаотичесоке, неконтролируемое, вид exploratory, тестеры ищут баги в продукте). Мне кажется, вам следует повнимательнее изучить первоисточники, либо уточнить что имеете ввиду.

Можно этот же комментарий, но конструктивно? :) Если Вам правда что-то непонятно или Вы с чем-то не согласны - то так и напишите.
А то шума много, но смысл не ясен :)

"Наиболее оптимальный" - невозможное словосочетание.

Нет ничего невозможного ;) Это осознанный плеоназм.
  • 0

#27 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 872 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 14 августа 2009 - 06:20

Как то у вас все слишком по полочкам разложено причем местами не по тем (без тест-кейсов, используется при отсутствии документации и/или времени на составление тест-дизайна). Да и про ad hoc не очень понятно (хаотичесоке, неконтролируемое, вид exploratory, тестеры ищут баги в продукте). Мне кажется, вам следует повнимательнее изучить первоисточники, либо уточнить что имеете ввиду.

Можно этот же комментарий, но конструктивно? :)

Конструктивно читать тут: http://www.developse...ding-about.html
или свежий перевод тут: http://bugsclock.blo...-testing-2.html

Наташа, мне кажется, Валерий хочет сказать, что ты пытаешься представить картину мира в максимально упрощённом виде ("да чё там, всё же ясно!"), но при этом описание сделано настолько небрежно, что создаётся ощущение, что куча терминов свалена в кучу и завязана в клубок. И потом из этого ещё делаются какие-то выводы о том, что такое хорошо и что такое плохо.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#28 Natalya Rukol

Natalya Rukol

    Профессионал

  • Admin
  • PipPipPipPipPipPip
  • 2 001 сообщений
  • Город:Moscow


Отправлено 14 августа 2009 - 09:08

Наташа, мне кажется, Валерий хочет сказать, что ты пытаешься представить картину мира максимально упрощённом виде ("да чё там, всё же ясно!"), но при этом описание сделано настолько небрежно, что создаётся ощущение, что куча терминов свалена в кучу и завязана в клубок. И потом из этого ещё делаются какие-то выводы о том, что такое хорошо, а что такое плохо.

А, да :) Так оно и есть :)
  • 0

#29 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 16 августа 2009 - 20:27

Как то у вас все слишком по полочкам разложено причем местами не по тем (без тест-кейсов, используется при отсутствии документации и/или времени на составление тест-дизайна). Да и про ad hoc не очень понятно (хаотичесоке, неконтролируемое, вид exploratory, тестеры ищут баги в продукте). Мне кажется, вам следует повнимательнее изучить первоисточники, либо уточнить что имеете ввиду.

Можно этот же комментарий, но конструктивно? :) Если Вам правда что-то непонятно или Вы с чем-то не согласны - то так и напишите.
А то шума много, но смысл не ясен :)

Ок. Возьмем к примеру ваше высказывание ad hoc testing - это хаотическое тестирование и заглянем хотя бы в Википедию на которую вы ссылаетесь. У меня сложилось ощущение, что вы ещё не до конца прониклись темой своего доклада (ИМХО).
  • 0

#30 Natalya Rukol

Natalya Rukol

    Профессионал

  • Admin
  • PipPipPipPipPipPip
  • 2 001 сообщений
  • Город:Moscow


Отправлено 17 августа 2009 - 01:39

Ок. Возьмем к примеру ваше высказывание ad hoc testing - это хаотическое тестирование и заглянем хотя бы в Википедию на которую вы ссылаетесь.

А в чём несоответствие?

Ad hoc testing is a part of exploratory testing, being the least formal of test methods. In this view, ad hoc testing has been criticized because it isn't structured...


Эксплоративное (исследовательское, exploratory) тестирование - это подход (approach), подразумевающий отсутствие тестовых спецификаций (в противовес скриптовому, script-based). "Что тестировать" определяется в процессе тестирования, без предварительной детальной аналитики.
В рамках этого подхода может быть неограниченное количество методик, например:
1) Хаотическое (Ad hoc) тестирование. Выполнение тестов определяется текущим настроением тестировщика :)
"...ad hoc testing which (by my definition, although others may disagree) often denotes sloppy, careless, unfocused, random and unskilled testing."
Lee Copeland
2) Сессионное тестирование. Возможность контролировать тестирование в отсутствии тест-кейзов путём чётко сформулированных сессий, проведённой-таки изначально аналитики, отчётности и коучинга по процессу тестирования со стороны тест-менеджера.
3) Парное тестирование. Тест-кейзы изначально не создаются, зато результаты тестирования вторым тестировщиком записываются.
Помимо этих трёх, возможно неограниченное количество других методов исследовательского тестирования, имеющих общую черту - отсутствие изначально созданных тест-кейзов.

Может ли исследовательское тестирование быть полезным? Бесспорно, при нехватке документации, времени, ресурсов, для нивелирования эффекта пестицида и собственно говоря изучения продукта перед созданием сценариев. Лично я использую его параллельно со скриптовым, в формате, удалённо напоминающем сессии Баха, но на базе первичной тестовой аналитики. НО не любой способ эксплоративного тестирования может приносить пользу, к примеру в применимость Ad Hoc я не верю (в парное тоже, но это не имеет отношения к дискуссии :)).



К сожалению, Вы с двух попыток так и не сформулировали, с чем именно Вы не согласны. Посмотрев Ваш блог, смею предположить, что дело в термине (ad hoc!=хаотический). В блоге Вы ссылаетесь на дословный перевод, что далеко не всегда оправдано, т.к. в рамках конкретных областей термины обрастают собственными значениями.

Ниже - цитата Джеймса Баха, по которой можно найти дискуссию аналогичную нашей:

when most people talk about "ad hoc" testing, they are not talking about excellence, they are talking about sloppiness. So, to say ET is merely ad hoc testing is misleading. The way *I* do ET is probably not the way most testers do ad hoc testing.


Поэтому я бы не ограничивалась дословным переводом - ИМХО, в сообществе тестировщиков термин Ad Hoc занял строго определённое место, отличающееся от значения ET. Возможно, я не права, называя его "хаотическим" без ссылок на авторитетные источники, коих у меня просто нет (так как авторитетных русскоязычных источников я вообще не знаю) :) Это мой перевод в соответствие с контекстом, если предложите лучший - я не против, вопрос всего лишь в договорённости об общем словаре.

У меня сложилось ощущение, что вы ещё не до конца прониклись темой своего доклада (ИМХО).

Невежливо и неконструктивно.
  • 0

#31 rlabs

rlabs

    Специалист

  • Members
  • PipPipPipPipPip
  • 660 сообщений
  • Город:Россия, Санкт-Петербург

Отправлено 17 августа 2009 - 06:57

В рамках этого подхода может быть неограниченное количество методик, например:
1) Хаотическое (Ad hoc) тестирование. Выполнение тестов определяется текущим настроением тестировщика :)
"...ad hoc testing which (by my definition, although others may disagree) often denotes sloppy, careless, unfocused, random and unskilled testing."
Lee Copeland
2) Сессионное тестирование. Возможность контролировать тестирование в отсутствии тест-кейзов путём чётко сформулированных сессий, проведённой-таки изначально аналитики, отчётности и коучинга по процессу тестирования со стороны тест-менеджера.
3) Парное тестирование. Тест-кейзы изначально не создаются, зато результаты тестирования вторым тестировщиком записываются.

Думаю, у вас-таки сложилась достаточно оригинальная интерпретация ET. Добавлю-ка я и своей интерпретации немного.

Ad hoc - вовсе не хаос. Это еще менее формальный тип ET, _специально_ планируемый и выполняемый более опытными тестировщиками, чем "обычный" ET, и проводящийся с целью _быстро_ найти наиболее серьезные проблемы. Когда у тестировщика, на основании его опыта, нет ни времени, ни необходимости разрабатывать тесты, чтобы идентифицировать "слабые места" приложения. Разумеется, этот подход неприменим для постоянной работы, но не надо путать его с "багхантингом" или "коридорным тестированием".

В сессионном тестировании роль "аналитики", если не ошибаюсь, выполняют первые сессии, в ходе которых строится план и ставятся задачи. Отчетность по сессиям используется в первую очередь для повышения эффективности самих сессий.

Очень странно, что из парного тестирования вы вынесли только идею о том, что "второй записывает". Смысл парного тестирования такой же, как и в программировании: "пилот" и "штурман" одновременно проходят по маршруту, при этом роль штурмана вовсе не сводится к ведению записей.

Помимо этих трёх, возможно неограниченное количество других методов исследовательского тестирования, имеющих общую черту - отсутствие изначально созданных тест-кейзов.


Опять же, несколько непонятно, как это "одновременное изучение, разработка и выполнение тестов" превратилось в "отсутствие изначально созданных тест-кейзов". Создатели и идеологи ET, насколько я помню, никогда не делали это основой ET-подхода. Основа - это применение специалистом в первую очередь его головы, более четкое осознание своей деятельности, своих целей и задач.

Прошу прощения, конечно, за возможную некорректную интерпретацию ваших слов, но у меня складывается впечатление, что для вас суть ET в вопросе "почему ET?" (нет документации, не знаем продукт, аналитик заболел), а задаваться нужно вопросом "зачем ET?" (хотим понимать свой продукт, принимать решения, а не проставлять галочки, быстро находить наиболее критичные проблемы).
  • 0

#32 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 17 августа 2009 - 07:49

У меня сложилось ощущение, что вы ещё не до конца прониклись темой своего доклада (ИМХО).

Невежливо и неконструктивно.

Извините, не берите в голову.
У меня никакого желания, да и возможностей разворачивать холивар. Вы почти угадали, только немного наоборот хаотический!=ad hoc. В моем понимании, хаотический это грубо говоря бесцельный и я никак не могу согласиться что тестирование может быть бесцельным, каким бы бардаком этот процесс не был и в какой бы красивой обертке его не преподносили. Статья в блоге, на которую дал ссылку Алексей это мысли Майкла Болтона, но не мои. Причем он сам там не раз намекает на ИМХО. Есть ещё такой тонкий момент, как соотношение ET и СТ (сценарное или скриптованное или как его там). Мне кажется, нельзя вот так строго разделить эти два подхода, можно лишь сказать что этот подход более E, а другой более С, т.е. мир он не черно-белый, а разноцветный. И ещё по поводу ad hoc. То, что там пишут о нем все эти западные гуру и полугуру (небрежное, по настроению и пр.), по моему мнению, всё это небольшая бравада, т.е. их "скиллы" позволяют им вот так запросто "брать и тестировать продукт", а обычные тестеры все это "хавают" и радуются что они могут не писать кейсы, тыкать какие попало кнопки и называть это все ad hoc. Другими словами ad hoc это методика, которая требует достаточно высокой квалификации. Вот такой у меня контекст.

PS пронинклись!=изучили :)
PPS Вроде бы Бах или Канер ещё говорили что тестирование - это не компьютерная наука. Это мне кажется очень важным моментом.
  • 0

#33 LeshaL

LeshaL

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 094 сообщений
  • ФИО:Алексей Лянгузов
  • Город:Saint-Petersburg


Отправлено 17 августа 2009 - 09:31

А почему считается что ad hoc это обязательно что-то, что делается "от балды"? И почему наличие тест кейсов - эта антоним свободы?
Такая ситуация - есть хорошо протестированный билд (релиз кандидат), в котором найдена пара серьезных багов. Баги починены и сделан новый билд. Но, допустим, верификации недостаточно, а надо еще как-то протестировать и сделать это быстро. У вас есть 50 или 550 тесткейсов (тестов или как вы их называете). Вы выбираете из этого набора те, которые необходимо провести заново, в количестве 5, 10 или 250... но те которые по вашему мнению нужны в данном случае. Чем это не свободное тестирование? Почему нельзя такое тестирование назвать ad hoc?
  • 0
Regards,
Alexey

#34 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 17 августа 2009 - 11:04

А почему считается что ad hoc это обязательно что-то, что делается "от балды"? И почему наличие тест кейсов - эта антоним свободы?
Такая ситуация - есть хорошо протестированный билд (релиз кандидат), в котором найдена пара серьезных багов. Баги починены и сделан новый билд. Но, допустим, верификации недостаточно, а надо еще как-то протестировать и сделать это быстро. У вас есть 50 или 550 тесткейсов (тестов или как вы их называете). Вы выбираете из этого набора те, которые необходимо провести заново, в количестве 5, 10 или 250... но те которые по вашему мнению нужны в данном случае. Чем это не свободное тестирование? Почему нельзя такое тестирование назвать ad hoc?

Потому что тест кейсы уже есть.
  • 0

#35 Alfa

Alfa

    Специалист

  • Members
  • PipPipPipPipPip
  • 553 сообщений
  • Город:Moscow

Отправлено 17 августа 2009 - 11:18

А почему считается что ad hoc это обязательно что-то, что делается "от балды"? И почему наличие тест кейсов - эта антоним свободы?
Такая ситуация - есть хорошо протестированный билд (релиз кандидат), в котором найдена пара серьезных багов. Баги починены и сделан новый билд. Но, допустим, верификации недостаточно, а надо еще как-то протестировать и сделать это быстро. У вас есть 50 или 550 тесткейсов (тестов или как вы их называете). Вы выбираете из этого набора те, которые необходимо провести заново, в количестве 5, 10 или 250... но те которые по вашему мнению нужны в данном случае. Чем это не свободное тестирование? Почему нельзя такое тестирование назвать ad hoc?

Такой интерпретацией Вы сводите термин ad hoc к абсурду, потому что каждый случай в некотором роде данный.
  • 0

Чубака — это вуки с планеты Киши, но живет Чубака на планете Эндо, а теперь вдумайтесь:
в этом же нет смысла. С какой стати Чубаке, вуки высотой два с половиной метра,
жить среди эвоков, которые чуть выше полуметра. В этом нет абсолютно никакого смысла.


#36 Natalya Rukol

Natalya Rukol

    Профессионал

  • Admin
  • PipPipPipPipPipPip
  • 2 001 сообщений
  • Город:Moscow


Отправлено 17 августа 2009 - 13:17

В сессионном тестировании роль "аналитики", если не ошибаюсь, выполняют первые сессии, в ходе которых строится план и ставятся задачи. Отчетность по сессиям используется в первую очередь для повышения эффективности самих сессий.

Да, я вижу это так же.

Очень странно, что из парного тестирования вы вынесли только идею о том, что "второй записывает". Смысл парного тестирования такой же, как и в программировании: "пилот" и "штурман" одновременно проходят по маршруту, при этом роль штурмана вовсе не сводится к ведению записей.

При одиночном тестировании роли штурмана и пилота тоже есть, просто в одном человеке. Поэтому этот аспект сложно назвать определяющим парное тестирование.

Опять же, несколько непонятно, как это "одновременное изучение, разработка и выполнение тестов" превратилось в "отсутствие изначально созданных тест-кейзов". Создатели и идеологи ET, насколько я помню, никогда не делали это основой ET-подхода. Основа - это применение специалистом в первую очередь его головы, более четкое осознание своей деятельности, своих целей и задач.

Просто я указала критерий "как это проявляется", а Вы цель этого действия :) На самом деле, в каждой компании цели использования ЕТ могут быть свои, а критерий ЕТ всегда один.

Прошу прощения, конечно, за возможную некорректную интерпретацию ваших слов, но у меня складывается впечатление, что для вас суть ET в вопросе "почему ET?" (нет документации, не знаем продукт, аналитик заболел), а задаваться нужно вопросом "зачем ET?" (хотим понимать свой продукт, принимать решения, а не проставлять галочки, быстро находить наиболее критичные проблемы).

Это я тоже написала (экономия ресурсов, нивелирование эффекта пестицида и изучение продукта)

В моем понимании, хаотический это грубо говоря бесцельный и я никак не могу согласиться что тестирование может быть бесцельным, каким бы бардаком этот процесс не был и в какой бы красивой обертке его не преподносили.

Понятно :) Для меня хаотический!=бесцельный :) Цель всегда есть, иначе бы ничего не делалось.

Есть ещё такой тонкий момент, как соотношение ET и СТ (сценарное или скриптованное или как его там). Мне кажется, нельзя вот так строго разделить эти два подхода, можно лишь сказать что этот подход более E, а другой более С, т.е. мир он не черно-белый, а разноцветный.

Согласна полностью, для меня граница между ними проходит где-то в районе чек-листов: куда их отнести непонятно :) Вроди бы и набор тестов предопределён, но способ выполнения лежит на тестировщике.

PS пронинклись!=изучили :)

Хотела ответить исходя из своей трактовки, потом задумалась, а одинаково ли мы воспринимаем слово "прониклись"? Расскажите, что Вы имеете в виду ;)

Что касается эксплоративного тестирования и скиллов: требуемые скиллы, так же как и метод тестинга, определяются целью тестирования. Но цель хаотического тестирования (то, что я видела во многих небольших компаниях) - это "потестриуйте что-нибудь, у всех наших конкурентов есть тестеры" :) А каким в данном случае может быть критерий успешности тестов? Только количество багов, так как оценить покрытие невозможно и предугадать масштабы пропуска дефектов до выхода продукта в свет - тоже. Цели контроля качества не стоит, оценки статуса продукта не стоит. Только искать баги. А это цель, при которой подойдут любые способы и любые скиллы, и процесс достижения именно этой цели я называю ad hoc или хаотическим тестированием.
  • 0

#37 innovator

innovator

    Активный участник

  • Members
  • PipPip
  • 76 сообщений


Отправлено 17 августа 2009 - 15:29

Свобода - понятие относительное. Я бы не стал говорить о "свободности" тестирования без определения, где и чем она ограничена. Тестовая документация (чек лист, тест кейс и т.д.) в этом случае как раз будет фиксировать границы свободного тестирования. Тестирование по тестовой документации и свободное (не буду употреблять ad hoc или exploratory, чтобы не спровоцировать очередной виток холивара ) тестирование - взаимодополняющие друг друга виды.

Попробую определить так:
Сценарное - есть четкое ограничение степени свободы тестировщика: в чек листе есть свобода в выборе способа проверки и упорядоченности тестов; в тест кейсе предлагается уже основной вариант способа проверки ожидаемого результата, свобода же заключается в неупорядоченности и несвязности кейсов между собой (-1 по сравнению с чек листом); тест сьют может жестко фиксировать упорядоченность тестов (-1 по сравнению с тест кейсом).
Свободное - дает возможность тестировщику добавить недостающие степени свободы тестов в связи с примененным сценарным тестированием, т.е. можно воспринимать как зависимость от степени подробности и упорядоченности сценарного подхода.
Соотношение сценарного и свободного будет зависеть от наличия ресурсов для тестирования. Я встречал чаще всего соотношения 70% сценарное и 30% свободное.
  • 0

#38 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 17 августа 2009 - 15:34

PS пронинклись!=изучили :)

Хотела ответить исходя из своей трактовки, потом задумалась, а одинаково ли мы воспринимаем слово "прониклись"? Расскажите, что Вы имеете в виду ;)

Самый близкий синоним, видимо, пропитаться. Думаю, налицо разность школ тестирования. Ваши лекала не совпадают с моими. Или вы тяготеете к context-driven school?

Что касается эксплоративного тестирования и скиллов: требуемые скиллы, так же как и метод тестинга, определяются целью тестирования. Но цель хаотического тестирования (то, что я видела во многих небольших компаниях) - это "потестриуйте что-нибудь, у всех наших конкурентов есть тестеры" :) А каким в данном случае может быть критерий успешности тестов? Только количество багов, так как оценить покрытие невозможно и предугадать масштабы пропуска дефектов до выхода продукта в свет - тоже. Цели контроля качества не стоит, оценки статуса продукта не стоит. Только искать баги. А это цель, при которой подойдут любые способы и любые скиллы, и процесс достижения именно этой цели я называю ad hoc или хаотическим тестированием.

Искать баги, как известно, неправильная цель тестирования, равно как и критерий успешности - количество найденных багов. :) Как уже писал Алексей, не путайте ad hoc c "багхантингом" или "коридорным тестированием" ("потестриуйте что-нибудь, у всех наших конкурентов есть тестеры"). Как правило, цель ad hoc - быстро обнаружить критические проблемы. Ещё раз, ключевое слово быстро. Вы совершенно справедливо можете называть то, что описали хаотическим тестированием и я даже с вами соглашусь (т.к. у него нет цели), но не называйте это ad hoc.
  • 0

#39 Natalya Rukol

Natalya Rukol

    Профессионал

  • Admin
  • PipPipPipPipPipPip
  • 2 001 сообщений
  • Город:Moscow


Отправлено 17 августа 2009 - 16:49

Самый близкий синоним, видимо, пропитаться. Думаю, налицо разность школ тестирования. Ваши лекала не совпадают с моими. Или вы тяготеете к context-driven school?

Вам правда достаточно информации чтобы сделать такие выводы?
Странно, потому что я с Вашими высказываниями почти согласна, и пока что суть дискуссии, как мне кажется, упирается не больше чем в отсутствие общего словаря :) К context-driven тяготею, хотя и считаю деление школ надуманным :)

Искать баги, как известно, неправильная цель тестирования, равно как и критерий успешности - количество найденных багов. :)

Что значит правильная или неправильная? :) Будете ссылаться на "всех этих западных гуру и полугуру"? :))

Как правило, цель ad hoc - быстро обнаружить критические проблемы. Ещё раз, ключевое слово быстро.

У меня сценарии приоритезированы почти полностью в соответствие с критериями, указанными по ссылке. И сессии тоже разноуровневые и тоже соответствуют тем же критериям. И при необходимости срочно проверить фиксы могут использоваться подходящие сценарии. При чём тут ad hoc, если в Вашем посте речь идёт о приоритетах?

Вы совершенно справедливо можете называть то, что описали хаотическим тестированием и я даже с вами соглашусь (т.к. у него нет цели), но не называйте это ad hoc.

ХАОТИ'ЧЕСКИЙ - Лишенный порядка, последовательности, стройности, совершенно беспорядочный. Про отсутствие цели ничего не написано. Вы можете дать грамотному тестеру задачу "срочно проверить фикс", и он, руководствуясь знанием продукта, интуицией и принципами приоритезации тестов, изложенных в Вашем блоге, оперативно найдёт баги. Это будет беспорядочно и быстро :) Вы это называете ad hoc?
  • 0

#40 rlabs

rlabs

    Специалист

  • Members
  • PipPipPipPipPip
  • 660 сообщений
  • Город:Россия, Санкт-Петербург

Отправлено 17 августа 2009 - 18:00

При одиночном тестировании роли штурмана и пилота тоже есть, просто в одном человеке. Поэтому этот аспект сложно назвать определяющим парное тестирование.

Значит, термины "синергия", "две головы лучше" и "у семи нянек" вам принципиально неизвестны? Ок, второй человек в паре разработчиков ведет записи, видимо, потому что первый не умеет писать, а второму не выделили рабочего места.

Опять же, несколько непонятно, как это "одновременное изучение, разработка и выполнение тестов" превратилось в "отсутствие изначально созданных тест-кейзов". Создатели и идеологи ET, насколько я помню, никогда не делали это основой ET-подхода. Основа - это применение специалистом в первую очередь его головы, более четкое осознание своей деятельности, своих целей и задач.

Просто я указала критерий "как это проявляется", а Вы цель этого действия :) На самом деле, в каждой компании цели использования ЕТ могут быть свои, а критерий ЕТ всегда один.

Видимо, я плохо объяснил. "Проявлением" ET является совершенно другое качество тестирования, и совершенно иной процесс. И совершенно другой образ мышления тестировщиков. Вы можете написать на флаге "ET - это когда нет тест-кейзов", но это будет, мягко говоря, неправдой.

Это я тоже написала (экономия ресурсов, нивелирование эффекта пестицида и изучение продукта)

Это снова ответ на вопрос "почему мы вынуждены называть то, чем какбы занимаемся, ET".

Но цель хаотического тестирования (то, что я видела во многих небольших компаниях) - это "потестриуйте что-нибудь, у всех наших конкурентов есть тестеры" :)

Вы видели бардак, а не ad hoc. Это тоже нормально, но не надо так жонглировать понятиями.

Думаю, будет проще, если мы таки придем к общему пониманию. И теперь я даже поддерживаю название вашего доклада.
Фабричная школа использует некий процесс под названием "эксплоративное тестирование", когда не хочется писать "кейзы" или когда нужно как-то оправдать нехватку ресурсов. По-моему, все хорошо, если только вы не будете заявлять, что "эсплоративное" - это и есть exploratory testing. Русское эксплоративное, не менее бессмысленное и беспощадное, чем адаптированный водопадный "скрам".
  • 0


Количество пользователей, читающих эту тему: 2

0 пользователей, 2 гостей, 0 анонимных