Перейти к содержимому

Программирование на C# для тестировщиков
онлайн, начало 19 июля
Школа для начинающих тестировщиков
онлайн, начало 25 июля
Python для начинающих
онлайн, начало 26 июля
Автоматизация функционального тестирования
онлайн, начало 26 июля
Фотография

Визуальные подтверждения багов


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 59

#21 OVA

OVA

    Опытный участник

  • Members
  • PipPipPipPip
  • 405 сообщений
  • ФИО:Высоцкий Сергей Павлович
  • Город:Новосибирск

Отправлено 23 Декабрь 2010 - 08:51

Не любой багтрекер)
  • 0

#22 Undi

Undi

    Активный участник

  • Members
  • PipPip
  • 134 сообщений
  • Город:Kiev

Отправлено 23 Декабрь 2010 - 09:01

Недавно столкнулась с мнением что видеозапись или скриншот есть следствие неправильно локализованного бага, так вот я с этим мнением согласна только частично :)
Попрошу мнения на этот счет.


1. тестировщики пишут баги не только для того, чтобы потом проводить регресс-тестирование. По этому описанию в баге должен разобраться девелопер. А тут пошел какой-то абсолютно однобокий разговор. Нужно писать так, чтобы было понятно и разработчику, и любому другому тестировщику.
2. если баг неправильно локализован, скриншот тоже не поможет. Не надо путать две разные проблемы.
3. есть тестирование интерфейса, тестирование веб-приложений в разных браузерах, тестирование юзабилити и много чего еще, где ни описание, ни логи не помогут. Бывают приложения с огромным количеством информации на одной странице и гораздо быстрее найти о чем речь по скриншоту, чем считать клеточки или столбики (да, это не юзабилити интерфейсы, но они есть).
4. и самое главное - по скриншоту можно увидеть как менялось приложение от версии к версии, гораздо быстрее, чем по описанию понять актуален баг или уже не актуален.
Время - деньги. Нужно описывать баги так, чтобы проблему быстро и просто можно было воспроизвести. Если в логи пишется какая-то фраза, которую разработчик скопирует и по ней найдет проблему - нужны логи. Если ошибка с отображением чего-то - нужен скриншот. Но универсального решения быть просто не может.
  • 0

#23 Undi

Undi

    Активный участник

  • Members
  • PipPip
  • 134 сообщений
  • Город:Kiev

Отправлено 23 Декабрь 2010 - 09:01

Не любой багтрекер)


например?
  • 0

#24 Undi

Undi

    Активный участник

  • Members
  • PipPip
  • 134 сообщений
  • Город:Kiev

Отправлено 23 Декабрь 2010 - 09:04

А мне кажется, что скриншот - это ещё одно доказательство, что проблема реально существует... Нет? ) Не всегда это нужно, но иногда они спасают...


можете привести пример такой ситуации? просто что-то из Вашего опыта
  • 0

#25 Куатор

Куатор

    Постоянный участник

  • Members
  • PipPipPip
  • 247 сообщений
  • ФИО:Комендантов Илья
  • Город:Украина, Одесса

Отправлено 23 Декабрь 2010 - 09:16

1. тестировщики пишут баги не только для того, чтобы потом проводить регресс-тестирование. По этому описанию в баге должен разобраться девелопер.

Эмм.. регрессионное тестирование вроде ж никак не связано с багами, описанными тестировщиками на предыдущем цикле.. :dirol:

А тут пошел какой-то абсолютно однобокий разговор. Нужно писать так, чтобы было понятно и разработчику, и любому другому тестировщику.

В нашем случае ещё и человеку, кто понимает зачем нужно приложение, как оно используется, его основные области, но не тестирует его и не кодит.
Как по мне из описания дефекта должно быть ясно, какая область задета, что именно работает не так как ожидается, при каких условиях и насколько это серьёзно.
Если описания шагов воспроизведения не достаточно, чтобы чётко локализировать ошибку, необходимо добавить дополнительную информацию, причём эта информация может как помогать локализовать проблему (то есть без неё очень сложно воссоздать необходимое состояние), так и облегчить понимание проблемы девелопером, возможно даже без воссоздания по шагам нужного состояния.
Как верно было подмечено, если исходя из установленного процесса работы, вы считаете необходимым указать доп. инфу. - будьте любезны это сделать.
  • 0
Идеальный тестировщик - человек с золотыми руками, растущими из ж...

#26 OVA

OVA

    Опытный участник

  • Members
  • PipPipPipPip
  • 405 сообщений
  • ФИО:Высоцкий Сергей Павлович
  • Город:Новосибирск

Отправлено 23 Декабрь 2010 - 10:06

например?

FogBugz. Могу еще привести, если нужно.
  • 0

#27 Clauster

Clauster

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 23 Декабрь 2010 - 12:10


например?

FogBugz. Могу еще привести, если нужно.

В FogBugz можно :)
  • 0

#28 Undi

Undi

    Активный участник

  • Members
  • PipPip
  • 134 сообщений
  • Город:Kiev

Отправлено 23 Декабрь 2010 - 20:31

Эмм.. регрессионное тестирование вроде ж никак не связано с багами, описанными тестировщиками на предыдущем цикле.. :dirol:


Смотря что понимать под регрессионным тестированием: http://www.protestin...regression.html
  • 0

#29 Undi

Undi

    Активный участник

  • Members
  • PipPip
  • 134 сообщений
  • Город:Kiev

Отправлено 23 Декабрь 2010 - 20:39


например?

FogBugz. Могу еще привести, если нужно.


А вот здесь написано, что версии билдов есть http://support.fogcr...gbugz.4.91588.8 (первая попавшаяся ссылка из гугла) и здесь тоже: http://rpmsoftware.c...dex.php/FogBugz
  • 0

#30 OVA

OVA

    Опытный участник

  • Members
  • PipPipPipPip
  • 405 сообщений
  • ФИО:Высоцкий Сергей Павлович
  • Город:Новосибирск

Отправлено 24 Декабрь 2010 - 05:24

Гугль зло. Там написано что можно сделать через кастом филд. Проблема в том что кастом филдов в FogBugz можно сделать весьма ограниченное количество и если их поставить под версию, то не влезет что-то еще.

По умолчанию поле отсутствует, так что...
  • 0

#31 notProgrammer

notProgrammer

    Постоянный участник

  • Members
  • PipPipPip
  • 199 сообщений
  • Город:Харьков

Отправлено 24 Декабрь 2010 - 11:29


А мне кажется, что скриншот - это ещё одно доказательство, что проблема реально существует... Нет? ) Не всегда это нужно, но иногда они спасают...


можете привести пример такой ситуации? просто что-то из Вашего опыта

Недавно такое было... На странице съехал список... Я трудолюбиво описала, что ситуация повторяется не всегда, а только если выполнить это и это. И приложила скриншот.
Не знаю, в чём проблема: то ли в моём английском, то ли в английском программиста, то ли он моё сообщение не дочитал - не важно. Ответ мне приходит: Я проверил, всё работает. Если скриншота нет - в такой ситуации у программиста создаётся впечатление, что тестеру показалось...
  • 0

- Как называется человек, который любит смотреть на страдания других?
- Программист.

У тестировщика всегда чётное количество синяков: если он наступил на грабли - обязан воспроизвести ошибку.
(bash.org)


#32 Undi

Undi

    Активный участник

  • Members
  • PipPip
  • 134 сообщений
  • Город:Kiev

Отправлено 24 Декабрь 2010 - 12:24

Гугль зло. Там написано что можно сделать через кастом филд. Проблема в том что кастом филдов в FogBugz можно сделать весьма ограниченное количество и если их поставить под версию, то не влезет что-то еще.

По умолчанию поле отсутствует, так что...


И как это относится к обсуждаемой теме?
Вы утверждали, что FogBugz версионность не поддерживает. Вам ответили, что версионность отслеживать в FogBugz можно.
Если у Вас другие приоритеты и Вы не хотите настраивать версии - это уже другая тема.
Еще примеры будут?
  • 0

#33 Undi

Undi

    Активный участник

  • Members
  • PipPip
  • 134 сообщений
  • Город:Kiev

Отправлено 24 Декабрь 2010 - 12:42

Недавно такое было... На странице съехал список... Я трудолюбиво описала, что ситуация повторяется не всегда, а только если выполнить это и это. И приложила скриншот.
Не знаю, в чём проблема: то ли в моём английском, то ли в английском программиста, то ли он моё сообщение не дочитал - не важно. Ответ мне приходит: Я проверил, всё работает. Если скриншота нет - в такой ситуации у программиста создаётся впечатление, что тестеру показалось...


1. Как Вы сами видите, скриншот не спасает от программистов, которые не читают шаги воспроизведения :) Даже со скриншотом баги возвращаются, так что картинки - не панацея.
2. На самом деле всё работать может потому, что исправлена другая ошибка, которая ликвидировала эту. Или потому, что у программиста другое окружение (другая версия ОС, браузера, офиса и т.п.) Возможно, Вы не указали что-то в описании или программист не прочитал.
3. Скриншот не поможет исправить баг, если нет описания (говорю о UI). Даже если разработчику показать картинку, он не сможет исправить, если на его компьютере баг не воспроизводится. Либо же ему нужно будет самому проводить тестирование, что не хорошо.
4. Часто при разработке не-коробочных продуктов предъявляются требования к окружению. Например, у пользователей стоит лицензионная Vista и заказчик не собирается ее менять на Windows 7, а Вы тестируете на Windows 7. Но это самый простой пример.

Что я хочу сказать: если к Вам вернулся баг с комментарием "не воспроизводится", нужно первым делом перепроверить все предусловия и пройти еще раз все шаги воспроизведения на последней версии. В идеальной ситуации - взять разработчика за руку и показать ему по шагам ошибку на тестовом окружении. Исправлять баги просто по скриншоту скорее всего не будут.
  • 0

#34 OVA

OVA

    Опытный участник

  • Members
  • PipPipPipPip
  • 405 сообщений
  • ФИО:Высоцкий Сергей Павлович
  • Город:Новосибирск

Отправлено 24 Декабрь 2010 - 17:15

И как это относится к обсуждаемой теме?
Вы утверждали, что FogBugz версионность не поддерживает. Вам ответили, что версионность отслеживать в FogBugz можно.
Если у Вас другие приоритеты и Вы не хотите настраивать версии - это уже другая тема.
Еще примеры будут?

Примеры где это вообще никак не поддерживается? Боюсь нет, потому как везде можно оставлять комментарии или что-то вроде.
То что это зачастую неудобно и не всегда в реальной жизни все так просто как вы написали, вас видимо не волнует.

Но по большому счету ерунда все это. Как и сам вопрос в топике.
  • 0

#35 Clauster

Clauster

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 25 Декабрь 2010 - 00:48



А мне кажется, что скриншот - это ещё одно доказательство, что проблема реально существует... Нет? ) Не всегда это нужно, но иногда они спасают...


можете привести пример такой ситуации? просто что-то из Вашего опыта

Недавно такое было... На странице съехал список... Я трудолюбиво описала, что ситуация повторяется не всегда, а только если выполнить это и это. И приложила скриншот.
Не знаю, в чём проблема: то ли в моём английском, то ли в английском программиста, то ли он моё сообщение не дочитал - не важно. Ответ мне приходит: Я проверил, всё работает. Если скриншота нет - в такой ситуации у программиста создаётся впечатление, что тестеру показалось...

А цели вы своей добились? Ошибка-то не выявленной оказалась в итоге. У нормального программиста не создастся впечатления что тестировщику ошибка показалась, если это только не ваши личные домыслы. Не бойтесь оказаться в дурацком положении, бойтесь оказаться в более дурацком положении.
  • 0

#36 notProgrammer

notProgrammer

    Постоянный участник

  • Members
  • PipPipPip
  • 199 сообщений
  • Город:Харьков

Отправлено 25 Декабрь 2010 - 10:44

3. Скриншот не поможет исправить баг, если нет описания (говорю о UI). Даже если разработчику показать картинку, он не сможет исправить, если на его компьютере баг не воспроизводится. Либо же ему нужно будет самому проводить тестирование, что не хорошо.

Да, я с Вами согласна: картинка - не панацея. Я и не говорю, что должна быть ОДНА картинка. Но описание + картинка по-моему достаточное количество информации для исправления. Тем более, что программисты часто сами просят скриншот...


В идеальной ситуации - взять разработчика за руку и показать ему по шагам ошибку на тестовом окружении.

Не всегда получается... Иногда они сидят за океаном...
  • 0

- Как называется человек, который любит смотреть на страдания других?
- Программист.

У тестировщика всегда чётное количество синяков: если он наступил на грабли - обязан воспроизвести ошибку.
(bash.org)


#37 notProgrammer

notProgrammer

    Постоянный участник

  • Members
  • PipPipPip
  • 199 сообщений
  • Город:Харьков

Отправлено 25 Декабрь 2010 - 10:50

А цели вы своей добились? Ошибка-то не выявленной оказалась в итоге.

Она выявлена. Я описала ещё раз и... в этот раз внимательнее читали, наверно...

Не бойтесь оказаться в дурацком положении, бойтесь оказаться в более дурацком положении.

Вот этого не поняла...
  • 0

- Как называется человек, который любит смотреть на страдания других?
- Программист.

У тестировщика всегда чётное количество синяков: если он наступил на грабли - обязан воспроизвести ошибку.
(bash.org)


#38 Clauster

Clauster

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 25 Декабрь 2010 - 22:41


Не бойтесь оказаться в дурацком положении, бойтесь оказаться в более дурацком положении.

Вот этого не поняла...

Относится к

у программиста создаётся впечатление, что тестеру показалось...

Не зацикливайтесь на том, что о вас могут подумать, если вы напишете неполноценный баг, зададите глупый\бессмысленный (на первый взгляд) вопрос, переспросите что-то 10-й раз и т.д. Программист и вы - заодно, нет у него права на домыслы, как и у вас - если вы обнаружите глупую ошибку, нет права сомневаться в компетенции разработчика. Смысл в том, что если вы лишний раз что-то "постесняетесь" сделать из-за каких-то домыслов, можете попасть в более дурацкое положение, чем когда это сделаете, т.к. цена последствий обычно возрастает в геометрической прогрессии и часть вины за них может быть за вами.
  • 0

#39 Clauster

Clauster

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 25 Декабрь 2010 - 22:45


А цели вы своей добились? Ошибка-то не выявленной оказалась в итоге.

Она выявлена. Я описала ещё раз и... в этот раз внимательнее читали, наверно...

Не с первого раза, и скриншот не помог, как уже сказали выше. Т.е. если разработчик не может воспроизвести, то ни скриншот, ни видео ошибки не помогут, т.к. разработчик вряд ли будет заниматься вниканием в проблему, анализом и исследованием - вы в эту проблему уже вложились, поэтому дешевле будет вернуть её обратно вам на воспроизведение, и тут он прав на 100%.
  • 0

#40 Drag

Drag

    Активный участник

  • Members
  • PipPip
  • 122 сообщений


Отправлено 27 Декабрь 2010 - 02:19

Не с первого раза, и скриншот не помог, как уже сказали выше. Т.е. если разработчик не может воспроизвести, то ни скриншот, ни видео ошибки не помогут, т.к. разработчик вряд ли будет заниматься вниканием в проблему, анализом и исследованием - вы в эту проблему уже вложились, поэтому дешевле будет вернуть её обратно вам на воспроизведение, и тут он прав на 100%.

А видео? Разве в таком случае оно было бы лишним? Да и спорный это вопрос - некоторые вещи почти не реально воспроизвести. А то что это было не НЛО все же доказать надо.
  • 0


Инструменты тестировщика: Командная строка
онлайн
Практикум по тест-дизайну 2.0
онлайн
Программирование на Phyton для тестировщиков
онлайн
Тестирование производительности (JMeter)
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале