Перейти к содержимому

Фотография

Закрывая Bug/Story/PASSED-кейс прикладываете скрин или иное описание?

logs Screenshot PASSED Closed Story DoD

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 11

#1 korziner

korziner

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Павлов Андрей


Отправлено 12 июля 2016 - 06:35

Что скриншот проблемы облегчает жизнь разработчикам и тестировщикам при перепроверке бага - это известно. Интересуют ли кого-то скрины, в случае когда всё ОК?

 

По-моему, ОК/PASSED это лишь субъективный вывод из того, что видишь на экране. Менеджер, разработчик, другой тестировщик (или даже не другой, а сам в другой момент) могут трактовать ту же объективную картинку (или вывод лога) как FAILED. Еще чаще скрин будет служить подтверждением узости проведенного теста - то есть сохранится вывод, что тест PASSED, но только на ограниченном наборе данных и тп. 

 

В-третьих, регрессионное тестирование облегчит скриншот состояния, расцененного как ОК при закрытии issue. 


  • 0

#2 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 12 июля 2016 - 08:14

Ну если тестировщик не может сделать вывод об увиденном, то может он не совсем в теме?

Но, если вопрос сложный или важный, то лучше, конечно, приложить скриншот.


  • 0

#3 korziner

korziner

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Павлов Андрей


Отправлено 12 июля 2016 - 13:49

Ну если тестировщик не может сделать вывод об увиденном, то может он не совсем в теме?

 

Даже если в теме, вывод может оказаться противоположным. Из соседней темы цитата Баха "Свидетельства очевидцев могут оставить за бортом важную информацию, поэтому слушайте, но не нужно излишней уверенности в чужих словах" http://software-test...ittent-problems

 

Коммент касается только первого резона прикладывать скрины. Остаются 2 других: как свидетельство ограничений и для регресс-тестирования.


  • 0

#4 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 12 июля 2016 - 14:22

 Еще чаще скрин будет служить подтверждением узости проведенного теста - то есть сохранится вывод, что тест PASSED, но только на ограниченном наборе данных и тп. 

В данном подходе тест всегда узок - вы же не проверите все наборы данных! 


  • 0

#5 korziner

korziner

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Павлов Андрей


Отправлено 12 июля 2016 - 16:21

Да, подтверждением в чём конкретно узость. Когда с полей или с регрессионного тестирования прилетит баг на этот функционал - увидим по скриншоту, что PASSED проставили на других данных. 


  • 0

#6 vinogradoff

vinogradoff

    Новый участник

  • Members
  • Pip
  • 72 сообщений
  • ФИО:Alexei Vinogradov
  • Город:Dormagen


Отправлено 12 июля 2016 - 19:56

не прикладываем.


  • 0

#7 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 12 июля 2016 - 21:00

Да, подтверждением в чём конкретно узость. Когда с полей или с регрессионного тестирования прилетит баг на этот функционал - увидим по скриншоту, что PASSED проставили на других данных. 

И что тогда делать?


  • 0

#8 korziner

korziner

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Павлов Андрей


Отправлено 12 июля 2016 - 21:06

Похожий вопрос http://sqa.stackexch...dencing-testing Из ответов зацепило следующее.

0) Шон МакХью делится видеозаписями, демонстрирующими успешное прохождение, чтобы вернуться к ним позже как как оригиналу. 

1) Сбор доказательств навязывается регуляторами в областях типа MIL-STD-2167, telecom TL9000, Sarbanes-Oxley.

2) PSR для исследовательских сессий - Записи больше нужны выполнявшему тесты, а команде только вывод.


  • 0

#9 korziner

korziner

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Павлов Андрей


Отправлено 12 июля 2016 - 22:12

 

Да, подтверждением в чём конкретно узость. Когда с полей или с регрессионного тестирования прилетит баг на этот функционал - увидим по скриншоту, что PASSED проставили на других данных. 

И что тогда делать?

 

Это нормально. От разницы в данных зависит - переразбить на классы эквивалентости, либо отдавать приоритет данным боевым, поскольку они оказались коварней тестерских данных, скорректировать регрессионный тест и будущие тесты функционала. Да всё как обычно для багов, в качестве эвристики отличие мотать на ус )


  • 0

#10 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 13 июля 2016 - 06:40

А вам не кажется, что вместо скриншота удобнее будет расписанная таблица входных тестовых данных и результаты для каждого класса эквивалентности?


  • 0

#11 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 13 июля 2016 - 06:51

Мы стали прикладывать начиная с недавних пор. 

Проблема была в том, что наша система зависит от многих других, и на тестовых серверах только заглушки, плюс на продакшене реальные данные, а на тестовом мы можем иметь лишь отдаленно похожие. В общем, при всем нашем желании, проэмулировать у себя несколько банков нам крайне затруднительно :)

 

И если на проде что-то вдруг пойдет не так, то можно сравнить результат с тем, что было на тестовом сервере и можно быстрее выяснить, пропущено ли это тестировщиком, или это особенности конфигурации сервера, или проблема мигрированных данных, или еще что.

 

Ну и в некотором роде для тестировщика это ass-covering "ну вот посмотрите, я тест сделяль, все работало как надо" :)


  • 0

#12 korziner

korziner

    Новый участник

  • Members
  • Pip
  • 21 сообщений
  • ФИО:Павлов Андрей


Отправлено 13 июля 2016 - 16:19

ах да, конечно четвёртый резон это ass

 

Василий, расписанная таблица кажется удобнее. Но не быстрей скрина, и не объективней - лишний человеческий фактор.


  • 0



Темы с аналогичным тегами logs, Screenshot, PASSED, Closed, Story, DoD

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных