Свободное тестирование
#1
Отправлено 11 августа 2009 - 07:09
Или объясните на пальцах. Очень надо.
_
#2
Отправлено 11 августа 2009 - 08:12
Думаю что вы ищите ad hoc testing. Или Exploratory testing.Ребят, поделитесь ссылочкой по теме "что такое свободное тестирование" и как процесс оного и его результаты отображаются в отчете по тестированию.
Или объясните на пальцах. Очень надо.
Результаты лучше всего отображаются в виде списка найденых дефектов.
Я бы не стал заморачиваться описанием процесса, особенно после того как тестирование закончено. Один из плюсов исследовательского тестирования - свободный полет фантазии человека, выполняющего тестирование. Может поэтому вы и называете его свободным (а другие виды тестирования значит несвободные?). Любое описание того как "правильно" что-то делать может только помешать. Вместо описания КАК тестировать(или тестировалось) лучше описать ЧТО надо бы протестировать. Но, при этом, неплохо сохранять все промежуточные артефакты (например: вспомогательные скрипты; какие-то таблички, заполняемые по ходу тестирования; конфигурационные файлы итд итп).
Alexey
#3
Отправлено 11 августа 2009 - 09:00
#4
Отправлено 11 августа 2009 - 15:30
Обычная проблема применения исследовательского тестирования - слабая управляемость и контроль. Особенно когда кто-то понимает этот термин буквально и действительно "летает" вместо тестирования.Я бы не стал заморачиваться описанием процесса, особенно после того как тестирование закончено. Один из плюсов исследовательского тестирования - свободный полет фантазии человека, выполняющего тестирование.
Поэтому большие пацаны придумали Session-Based Test Management, который может в этом деле помочь.
#5
Отправлено 11 августа 2009 - 16:49
В таком случае получается что-то вроде контракта - тестеру свобода действий, но при соблюдении определённых интерфейсных требований.
#6
Отправлено 11 августа 2009 - 18:04
Не затруднит объяснить, кто вам привил этот безумный термин "эксплоративное"? Мерчендайзеры?Имхо, описание требуемых результатов является очень важным при эксплоративном тестировании.
#7
Отправлено 11 августа 2009 - 18:24
Подозреваю, Доктор Хаус или Анатомия Страсти какая-нибудь.Не затруднит объяснить, кто вам привил этот безумный термин "эксплоративное"? Мерчендайзеры?Имхо, описание требуемых результатов является очень важным при эксплоративном тестировании.
А отчет по тестированию - кому он нужен-то вообще?
#8
Отправлено 11 августа 2009 - 19:42
Когда я пишу про список дефектов, я само-собой понимаю это одназначно - дефект найден -> дефект зафиксирован в дефект-трэкере.Имхо, описание требуемых результатов является очень важным при эксплоративном тестировании. Потому оно должно выводиться из поставленной цели. Если это поиск ошибок, то нормальное описание отчётов об ошибке, а не просто список, если общая оценка работоспособности, то, может, и просто список дефектов, если изучение новой функциональности, то, возможно, тестовые случаи и так далее.
В таком случае получается что-то вроде контракта - тестеру свобода действий, но при соблюдении определённых интерфейсных требований.
Список дефектов - это список номеров багов.
Бывает, что начальству. Бывает, что всего-навсего для галочки......А отчет по тестированию - кому он нужен-то вообще?
Если честно я всегда пишу (в моем случае чаще всего это просто письмо на общий элиас). Иногда приходится возвращаться. Иногда там информация не оформленная в виде багов, ибо ее перетереть сперва надо с разработчиками и понять баг или фича или лучше не трогать...
Честно говоря, сказаное так по-русски как-то режет глаз, а вот на английском я сам предпочитаю говорить explorative а не exploratory (блин, да мне просто не выговориь это слово правильно, не сделав значительную паузу :).Не затруднит объяснить, кто вам привил этот безумный термин "эксплоративное"? Мерчендайзеры?
Alexey
#9
Отправлено 11 августа 2009 - 19:58
Нет, услышал от коллег. Если я не прав, поправьте :) Вероятно, будет лучше говорить "исследовательское"?Не затруднит объяснить, кто вам привил этот безумный термин "эксплоративное"? Мерчендайзеры?
Вы о тестировании в общем или о конкретно исследовательском, по отдельному дефекту или в целом?А отчет по тестированию - кому он нужен-то вообще?
#10
Отправлено 11 августа 2009 - 21:18
Подозреваю, Доктор Хаус или Анатомия Страсти какая-нибудь.Не затруднит объяснить, кто вам привил этот безумный термин "эксплоративное"? Мерчендайзеры?Имхо, описание требуемых результатов является очень важным при эксплоративном тестировании.
А отчет по тестированию - кому он нужен-то вообще?
эээ... Хаус бы предложил сделать диагностическую операцию и вырезать лобные доли.
В данном случае под "отчетом по тестированию" надо понимать статус. Когда просто растекаешься исследовательской мыслью по древу, статус получить неоткуда. Отсюда и необходимость в SBTM.
Впрочем, думаю, Наталья Руколь в сентябре внезапно расскажет, как это правильно делать.
#12
Отправлено 11 августа 2009 - 22:16
Проще говорить экскаваторное - сидишь, копаешь :)Честно говоря, сказаное так по-русски как-то режет глаз, а вот на английском я сам предпочитаю говорить explorative а не exploratory (блин, да мне просто не выговориь это слово правильно, не сделав значительную паузу :).
Да за деньги я тебе сам расскажу :) там у Канера-Баха должна быть где-то внушительная pdf по этой теме, но что-то мне подсказывает, что ты и без меня о ней знаешь.Впрочем, думаю, Наталья Руколь в сентябре внезапно расскажет, как это правильно делать.
#13
Отправлено 12 августа 2009 - 03:55
Я подумал, что у меня, страшно удивился, т.к. полагаю, что об отчётах вы уж точно знаете, потому решил осторожно уточнить)Я у Топик_Стартера интересуюсь. Или вы подумали, я мало знаю об отчетах? :)Вы о тестировании в общем или о конкретно исследовательском, по отдельному дефекту или в целом?
#14
Отправлено 12 августа 2009 - 07:15
P.S. Я сначала хотел выложить видеозапись своего выступления, даже разрешение получил от организаторов, но потом ещё раз просмотрел запись и решил не публиковать, потому что со стороны выглядит гораздо менее интересно, чем это было на самом деле. Потому что это был мини-тренинг, а не презентация. Но если вы были на какой-либо из конференций серии SoftLabs или ещё не были, но уже зарегистрировались на Test Labs, у вас вероятно должен быть доступ к архивам всех конференций и вы можете посмотреть запись.
P.P.S. Кстати, а где действительно топик-стартер?
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#15
Отправлено 12 августа 2009 - 07:32
Раньше тоже называл "исследовательское", но звучит как-то слишком академично. А термин "тестирование методом свободного поиска" хорошо согласуется с "военными" метафорами, предложенными в работах по Session-Based Testing -- mission, on charge/on opportunity, journal, debriefing.
У наших лётчиков во время войны это называлось "свободной охотой".
#16
Отправлено 12 августа 2009 - 07:35
Алексей, а можно в кратце, для тех кто в танке, пояснить что значат термины Session-Based Testing -- on-charter, off-charter, charter vs opportunity.Примерно месяц назад я тоже отметился в причастности к этой теме, выступив на конференции TrainingLabs с темой "Тестирование методом свободного поиска (exploratory testing)". Из названия выступления вы, видимо, поняли, каким термином я склонен называть этот подход. Раньше тоже называл "исследовательское", но звучит как-то слишком академично. А термин "тестирование методом свободного поиска" хорошо согласуется с "военными" метафорами, предложенными в работах по Session-Based Testing -- mission, on charge/on opportunity, journal, debriefing.
...
Я вот тут вчера почитал, пытался проникнуться, но не получилось. Да и их примеры отчетов не впечатлили, если честно.
Alexey
#17
Отправлено 12 августа 2009 - 07:51
Для тех, кто в танке, разъясняю авиаторскую терминологию :)))Алексей, а можно в кратце, для тех кто в танке, пояснить что значат термины Session-Based Testing -- on-charter, off-charter, charter vs opportunity.Примерно месяц назад я тоже отметился в причастности к этой теме, выступив на конференции TrainingLabs с темой "Тестирование методом свободного поиска (exploratory testing)". Из названия выступления вы, видимо, поняли, каким термином я склонен называть этот подход. Раньше тоже называл "исследовательское", но звучит как-то слишком академично. А термин "тестирование методом свободного поиска" хорошо согласуется с "военными" метафорами, предложенными в работах по Session-Based Testing -- mission, on charge/on opportunity, journal, debriefing.
...
Я вот тут вчера почитал, пытался проникнуться, но не получилось. Да и их примеры отчетов не впечатлили, если честно.
Mission: это задание которое нужно выполнить -- разбомбить мост.
On charge: это то, что делается в рамках миссии и для её выполнения -- долететь, уничтожить наземное прикрытие, сбросить "груз", отбиться от истребителей и т.д.
On opportunity: это то, что делается "попутно", в дополнение к миссии, поскольку время и запас горючего позволяют -- заметили чуть в стороне колонну грузовиков, отклонились, обстреляли, заметили базу террористов, отметили на карте как цель для будущих миссий, и т.д.
Фишка в том, что выполняя миссию, тестировщик часто что-то замечает "в стороне". И тут нужен компромисс -- с одной стороны, хорошо бы это зафиксировать, с другой стороны -- нельзя отвлекаться сильно, иначе миссия не будет выполнена, и это не есть гут. Поэтому в журнале делается отметка об отклонении от миссии, чтобы потом это отдельно проанализировать. А хорошие инструменты ещё и следят, чтобы время проведённое on opportunity не было слишком большим, и время от времени напоминают о необходимости вернуться к выполнению миссии.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#18
Отправлено 12 августа 2009 - 08:15
Спасибо!Для тех, кто в танке, разъясняю авиаторскую терминологию :)))
...
Стало понятнее. Пойду дальше Баха ... читать :)
Со всем этим учетом времени, однако, есть одна проблема - его надо как-то учитывать. Хоть шахматные часы ставь, при таком подходе...
Alexey
#20
Отправлено 12 августа 2009 - 09:15
В одной из компаний, где я работал, еще было название Freestyle Testing :)Примерно месяц назад я тоже отметился в причастности к этой теме, выступив на конференции TrainingLabs с темой "Тестирование методом свободного поиска (exploratory testing)". Из названия выступления вы, видимо, поняли, каким термином я склонен называть этот подход. Раньше тоже называл "исследовательское", но звучит как-то слишком академично. А термин "тестирование методом свободного поиска" хорошо согласуется с "военными" метафорами, предложенными в работах по Session-Based Testing -- mission, on charge/on opportunity, journal, debriefing.
Про Тестинг
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных