Перейти к содержимому

Фотография

Свободное тестирование


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 96

#1 skYmarine

skYmarine

    Новый участник

  • Members
  • Pip
  • 1 сообщений

Отправлено 11 августа 2009 - 07:09

Ребят, поделитесь ссылочкой по теме "что такое свободное тестирование" и как процесс оного и его результаты отображаются в отчете по тестированию.

Или объясните на пальцах. Очень надо.

_
  • 0

#2 LeshaL

LeshaL

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 094 сообщений
  • ФИО:Алексей Лянгузов
  • Город:Saint-Petersburg


Отправлено 11 августа 2009 - 08:12

Ребят, поделитесь ссылочкой по теме "что такое свободное тестирование" и как процесс оного и его результаты отображаются в отчете по тестированию.

Или объясните на пальцах. Очень надо.

Думаю что вы ищите ad hoc testing. Или Exploratory testing.

Результаты лучше всего отображаются в виде списка найденых дефектов.

Я бы не стал заморачиваться описанием процесса, особенно после того как тестирование закончено. Один из плюсов исследовательского тестирования - свободный полет фантазии человека, выполняющего тестирование. Может поэтому вы и называете его свободным (а другие виды тестирования значит несвободные?). Любое описание того как "правильно" что-то делать может только помешать. Вместо описания КАК тестировать(или тестировалось) лучше описать ЧТО надо бы протестировать. Но, при этом, неплохо сохранять все промежуточные артефакты (например: вспомогательные скрипты; какие-то таблички, заполняемые по ходу тестирования; конфигурационные файлы итд итп).
  • 0
Regards,
Alexey

#3 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 11 августа 2009 - 09:00

Я сегодня как раз опубликовал первую часть перевода статьи на эту тему. Следите за обновлениями.
  • 0

#4 rlabs

rlabs

    Специалист

  • Members
  • PipPipPipPipPip
  • 660 сообщений
  • Город:Россия, Санкт-Петербург

Отправлено 11 августа 2009 - 15:30

Я бы не стал заморачиваться описанием процесса, особенно после того как тестирование закончено. Один из плюсов исследовательского тестирования - свободный полет фантазии человека, выполняющего тестирование.

Обычная проблема применения исследовательского тестирования - слабая управляемость и контроль. Особенно когда кто-то понимает этот термин буквально и действительно "летает" вместо тестирования.

Поэтому большие пацаны придумали Session-Based Test Management, который может в этом деле помочь.
  • 0

#5 novak

novak

    Новый участник

  • Members
  • Pip
  • 67 сообщений
  • Город:MO

Отправлено 11 августа 2009 - 16:49

Имхо, описание требуемых результатов является очень важным при эксплоративном тестировании. Потому оно должно выводиться из поставленной цели. Если это поиск ошибок, то нормальное описание отчётов об ошибке, а не просто список, если общая оценка работоспособности, то, может, и просто список дефектов, если изучение новой функциональности, то, возможно, тестовые случаи и так далее.
В таком случае получается что-то вроде контракта - тестеру свобода действий, но при соблюдении определённых интерфейсных требований.
  • 0

#6 rlabs

rlabs

    Специалист

  • Members
  • PipPipPipPipPip
  • 660 сообщений
  • Город:Россия, Санкт-Петербург

Отправлено 11 августа 2009 - 18:04

Имхо, описание требуемых результатов является очень важным при эксплоративном тестировании.

Не затруднит объяснить, кто вам привил этот безумный термин "эксплоративное"? Мерчендайзеры?
  • 0

#7 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 11 августа 2009 - 18:24

Имхо, описание требуемых результатов является очень важным при эксплоративном тестировании.

Не затруднит объяснить, кто вам привил этот безумный термин "эксплоративное"? Мерчендайзеры?

Подозреваю, Доктор Хаус или Анатомия Страсти какая-нибудь.

А отчет по тестированию - кому он нужен-то вообще?
  • 0

#8 LeshaL

LeshaL

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 094 сообщений
  • ФИО:Алексей Лянгузов
  • Город:Saint-Petersburg


Отправлено 11 августа 2009 - 19:42

Имхо, описание требуемых результатов является очень важным при эксплоративном тестировании. Потому оно должно выводиться из поставленной цели. Если это поиск ошибок, то нормальное описание отчётов об ошибке, а не просто список, если общая оценка работоспособности, то, может, и просто список дефектов, если изучение новой функциональности, то, возможно, тестовые случаи и так далее.
В таком случае получается что-то вроде контракта - тестеру свобода действий, но при соблюдении определённых интерфейсных требований.

Когда я пишу про список дефектов, я само-собой понимаю это одназначно - дефект найден -> дефект зафиксирован в дефект-трэкере.
Список дефектов - это список номеров багов.

...А отчет по тестированию - кому он нужен-то вообще?

Бывает, что начальству. Бывает, что всего-навсего для галочки...
Если честно я всегда пишу (в моем случае чаще всего это просто письмо на общий элиас). Иногда приходится возвращаться. Иногда там информация не оформленная в виде багов, ибо ее перетереть сперва надо с разработчиками и понять баг или фича или лучше не трогать...

Не затруднит объяснить, кто вам привил этот безумный термин "эксплоративное"? Мерчендайзеры?

Честно говоря, сказаное так по-русски как-то режет глаз, а вот на английском я сам предпочитаю говорить explorative а не exploratory (блин, да мне просто не выговориь это слово правильно, не сделав значительную паузу :).
  • 0
Regards,
Alexey

#9 novak

novak

    Новый участник

  • Members
  • Pip
  • 67 сообщений
  • Город:MO

Отправлено 11 августа 2009 - 19:58

Не затруднит объяснить, кто вам привил этот безумный термин "эксплоративное"? Мерчендайзеры?

Нет, услышал от коллег. Если я не прав, поправьте :) Вероятно, будет лучше говорить "исследовательское"?

А отчет по тестированию - кому он нужен-то вообще?

Вы о тестировании в общем или о конкретно исследовательском, по отдельному дефекту или в целом?
  • 0

#10 rlabs

rlabs

    Специалист

  • Members
  • PipPipPipPipPip
  • 660 сообщений
  • Город:Россия, Санкт-Петербург

Отправлено 11 августа 2009 - 21:18

Имхо, описание требуемых результатов является очень важным при эксплоративном тестировании.

Не затруднит объяснить, кто вам привил этот безумный термин "эксплоративное"? Мерчендайзеры?

Подозреваю, Доктор Хаус или Анатомия Страсти какая-нибудь.

А отчет по тестированию - кому он нужен-то вообще?


эээ... Хаус бы предложил сделать диагностическую операцию и вырезать лобные доли.

В данном случае под "отчетом по тестированию" надо понимать статус. Когда просто растекаешься исследовательской мыслью по древу, статус получить неоткуда. Отсюда и необходимость в SBTM.

Впрочем, думаю, Наталья Руколь в сентябре внезапно расскажет, как это правильно делать.
  • 0

#11 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 11 августа 2009 - 22:15

Вы о тестировании в общем или о конкретно исследовательском, по отдельному дефекту или в целом?

Я у Топик_Стартера интересуюсь. Или вы подумали, я мало знаю об отчетах? :)
  • 0

#12 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 11 августа 2009 - 22:16

Честно говоря, сказаное так по-русски как-то режет глаз, а вот на английском я сам предпочитаю говорить explorative а не exploratory (блин, да мне просто не выговориь это слово правильно, не сделав значительную паузу :).

Проще говорить экскаваторное - сидишь, копаешь :)

Впрочем, думаю, Наталья Руколь в сентябре внезапно расскажет, как это правильно делать.

Да за деньги я тебе сам расскажу :) там у Канера-Баха должна быть где-то внушительная pdf по этой теме, но что-то мне подсказывает, что ты и без меня о ней знаешь.
  • 0

#13 novak

novak

    Новый участник

  • Members
  • Pip
  • 67 сообщений
  • Город:MO

Отправлено 12 августа 2009 - 03:55

Вы о тестировании в общем или о конкретно исследовательском, по отдельному дефекту или в целом?

Я у Топик_Стартера интересуюсь. Или вы подумали, я мало знаю об отчетах? :)

Я подумал, что у меня, страшно удивился, т.к. полагаю, что об отчётах вы уж точно знаете, потому решил осторожно уточнить)
  • 0

#14 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 12 августа 2009 - 07:15

Примерно месяц назад я тоже отметился в причастности к этой теме, выступив на конференции TrainingLabs с темой "Тестирование методом свободного поиска (exploratory testing)". Из названия выступления вы, видимо, поняли, каким термином я склонен называть этот подход. Раньше тоже называл "исследовательское", но звучит как-то слишком академично. А термин "тестирование методом свободного поиска" хорошо согласуется с "военными" метафорами, предложенными в работах по Session-Based Testing -- mission, on charge/on opportunity, journal, debriefing.

P.S. Я сначала хотел выложить видеозапись своего выступления, даже разрешение получил от организаторов, но потом ещё раз просмотрел запись и решил не публиковать, потому что со стороны выглядит гораздо менее интересно, чем это было на самом деле. Потому что это был мини-тренинг, а не презентация. Но если вы были на какой-либо из конференций серии SoftLabs или ещё не были, но уже зарегистрировались на Test Labs, у вас вероятно должен быть доступ к архивам всех конференций и вы можете посмотреть запись.

P.P.S. Кстати, а где действительно топик-стартер?
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#15 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 12 августа 2009 - 07:32

Раньше тоже называл "исследовательское", но звучит как-то слишком академично. А термин "тестирование методом свободного поиска" хорошо согласуется с "военными" метафорами, предложенными в работах по Session-Based Testing -- mission, on charge/on opportunity, journal, debriefing.


У наших лётчиков во время войны это называлось "свободной охотой".
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#16 LeshaL

LeshaL

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 094 сообщений
  • ФИО:Алексей Лянгузов
  • Город:Saint-Petersburg


Отправлено 12 августа 2009 - 07:35

Примерно месяц назад я тоже отметился в причастности к этой теме, выступив на конференции TrainingLabs с темой "Тестирование методом свободного поиска (exploratory testing)". Из названия выступления вы, видимо, поняли, каким термином я склонен называть этот подход. Раньше тоже называл "исследовательское", но звучит как-то слишком академично. А термин "тестирование методом свободного поиска" хорошо согласуется с "военными" метафорами, предложенными в работах по Session-Based Testing -- mission, on charge/on opportunity, journal, debriefing.
...

Алексей, а можно в кратце, для тех кто в танке, пояснить что значат термины Session-Based Testing -- on-charter, off-charter, charter vs opportunity.
Я вот тут вчера почитал, пытался проникнуться, но не получилось. Да и их примеры отчетов не впечатлили, если честно.
  • 0
Regards,
Alexey

#17 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 12 августа 2009 - 07:51

Примерно месяц назад я тоже отметился в причастности к этой теме, выступив на конференции TrainingLabs с темой "Тестирование методом свободного поиска (exploratory testing)". Из названия выступления вы, видимо, поняли, каким термином я склонен называть этот подход. Раньше тоже называл "исследовательское", но звучит как-то слишком академично. А термин "тестирование методом свободного поиска" хорошо согласуется с "военными" метафорами, предложенными в работах по Session-Based Testing -- mission, on charge/on opportunity, journal, debriefing.
...

Алексей, а можно в кратце, для тех кто в танке, пояснить что значат термины Session-Based Testing -- on-charter, off-charter, charter vs opportunity.
Я вот тут вчера почитал, пытался проникнуться, но не получилось. Да и их примеры отчетов не впечатлили, если честно.

Для тех, кто в танке, разъясняю авиаторскую терминологию :)))

Mission: это задание которое нужно выполнить -- разбомбить мост.
On charge: это то, что делается в рамках миссии и для её выполнения -- долететь, уничтожить наземное прикрытие, сбросить "груз", отбиться от истребителей и т.д.
On opportunity: это то, что делается "попутно", в дополнение к миссии, поскольку время и запас горючего позволяют -- заметили чуть в стороне колонну грузовиков, отклонились, обстреляли, заметили базу террористов, отметили на карте как цель для будущих миссий, и т.д.

Фишка в том, что выполняя миссию, тестировщик часто что-то замечает "в стороне". И тут нужен компромисс -- с одной стороны, хорошо бы это зафиксировать, с другой стороны -- нельзя отвлекаться сильно, иначе миссия не будет выполнена, и это не есть гут. Поэтому в журнале делается отметка об отклонении от миссии, чтобы потом это отдельно проанализировать. А хорошие инструменты ещё и следят, чтобы время проведённое on opportunity не было слишком большим, и время от времени напоминают о необходимости вернуться к выполнению миссии.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#18 LeshaL

LeshaL

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 094 сообщений
  • ФИО:Алексей Лянгузов
  • Город:Saint-Petersburg


Отправлено 12 августа 2009 - 08:15

Для тех, кто в танке, разъясняю авиаторскую терминологию :)))
...

Спасибо!
Стало понятнее. Пойду дальше Баха ... читать :)

Со всем этим учетом времени, однако, есть одна проблема - его надо как-то учитывать. Хоть шахматные часы ставь, при таком подходе...
  • 0
Regards,
Alexey

#19 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 12 августа 2009 - 08:52

P.P.S. Кстати, а где действительно топик-стартер?

Боюсь он даже не подозревал, куда ввязался :)
  • 0

#20 Boltick

Boltick

    Специалист

  • Members
  • PipPipPipPipPip
  • 596 сообщений
  • ФИО:Алексей
  • Город:планета Земля

Отправлено 12 августа 2009 - 09:15

Примерно месяц назад я тоже отметился в причастности к этой теме, выступив на конференции TrainingLabs с темой "Тестирование методом свободного поиска (exploratory testing)". Из названия выступления вы, видимо, поняли, каким термином я склонен называть этот подход. Раньше тоже называл "исследовательское", но звучит как-то слишком академично. А термин "тестирование методом свободного поиска" хорошо согласуется с "военными" метафорами, предложенными в работах по Session-Based Testing -- mission, on charge/on opportunity, journal, debriefing.

В одной из компаний, где я работал, еще было название Freestyle Testing :)
  • 0
Алексей Булат
Про Тестинг


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных