Сообщений в теме: 11

[korziner]

Что скриншот проблемы облегчает жизнь разработчикам и тестировщикам при перепроверке бага - это известно. Интересуют ли кого-то скрины, в случае когда всё ОК?

 

По-моему, ОК/PASSED это лишь субъективный вывод из того, что видишь на экране. Менеджер, разработчик, другой тестировщик (или даже не другой, а сам в другой момент) могут трактовать ту же объективную картинку (или вывод лога) как FAILED. Еще чаще скрин будет служить подтверждением узости проведенного теста - то есть сохранится вывод, что тест PASSED, но только на ограниченном наборе данных и тп. 

 

В-третьих, регрессионное тестирование облегчит скриншот состояния, расцененного как ОК при закрытии issue. 

[Vasiliy]

Ну если тестировщик не может сделать вывод об увиденном, то может он не совсем в теме?

Но, если вопрос сложный или важный, то лучше, конечно, приложить скриншот.

[korziner]

Ну если тестировщик не может сделать вывод об увиденном, то может он не совсем в теме?

 

Даже если в теме, вывод может оказаться противоположным. Из соседней темы цитата Баха "Свидетельства очевидцев могут оставить за бортом важную информацию, поэтому слушайте, но не нужно излишней уверенности в чужих словах" http://software-test...ittent-problems

 

Коммент касается только первого резона прикладывать скрины. Остаются 2 других: как свидетельство ограничений и для регресс-тестирования.

[Vasiliy]

 Еще чаще скрин будет служить подтверждением узости проведенного теста - то есть сохранится вывод, что тест PASSED, но только на ограниченном наборе данных и тп. 

В данном подходе тест всегда узок - вы же не проверите все наборы данных! 

[korziner]

Да, подтверждением в чём конкретно узость. Когда с полей или с регрессионного тестирования прилетит баг на этот функционал - увидим по скриншоту, что PASSED проставили на других данных. 

[vinogradoff]

не прикладываем.

[Vasiliy]

Да, подтверждением в чём конкретно узость. Когда с полей или с регрессионного тестирования прилетит баг на этот функционал - увидим по скриншоту, что PASSED проставили на других данных. 

И что тогда делать?

[korziner]

Похожий вопрос http://sqa.stackexch...dencing-testing Из ответов зацепило следующее.

0) Шон МакХью делится видеозаписями, демонстрирующими успешное прохождение, чтобы вернуться к ним позже как как оригиналу. 

1) Сбор доказательств навязывается регуляторами в областях типа MIL-STD-2167, telecom TL9000, Sarbanes-Oxley.

2) PSR для исследовательских сессий - Записи больше нужны выполнявшему тесты, а команде только вывод.

[korziner]

 

Да, подтверждением в чём конкретно узость. Когда с полей или с регрессионного тестирования прилетит баг на этот функционал - увидим по скриншоту, что PASSED проставили на других данных. 

И что тогда делать?

 

Это нормально. От разницы в данных зависит - переразбить на классы эквивалентости, либо отдавать приоритет данным боевым, поскольку они оказались коварней тестерских данных, скорректировать регрессионный тест и будущие тесты функционала. Да всё как обычно для багов, в качестве эвристики отличие мотать на ус )

[Vasiliy]

А вам не кажется, что вместо скриншота удобнее будет расписанная таблица входных тестовых данных и результаты для каждого класса эквивалентности?

[Freiman]

Мы стали прикладывать начиная с недавних пор. 

Проблема была в том, что наша система зависит от многих других, и на тестовых серверах только заглушки, плюс на продакшене реальные данные, а на тестовом мы можем иметь лишь отдаленно похожие. В общем, при всем нашем желании, проэмулировать у себя несколько банков нам крайне затруднительно :)

 

И если на проде что-то вдруг пойдет не так, то можно сравнить результат с тем, что было на тестовом сервере и можно быстрее выяснить, пропущено ли это тестировщиком, или это особенности конфигурации сервера, или проблема мигрированных данных, или еще что.

 

Ну и в некотором роде для тестировщика это ass-covering "ну вот посмотрите, я тест сделяль, все работало как надо" :)

[korziner]

ах да, конечно четвёртый резон это ass

 

Василий, расписанная таблица кажется удобнее. Но не быстрей скрина, и не объективней - лишний человеческий фактор.