Перейти к содержимому

Фотография

Тest Cases нужны ли они?


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 57

#41 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 21 мая 2017 - 09:04

В моей предыдущей компании с нуля за примерно 5 лет создали продукт, который сейчас стоит и используется во всех регионах России. Техническая команда состояла из полутора разработчиков (один сверх производительный), двух тестировщиков и тех. писателя. Из документации тестирования был список регрессионных проверок на полторы страницы.

 

В общем. Тест-кейсы нужны, когда вы знаете и умеете их использовать. И когда у вас есть на них время.

Мир гораздо более многогранен, чтобы делить его на "с тест-кейсами будет крутой продукт, а без тест-кейсов вы просто осваиваете бюджет".


  • 3

#42 baxatob

baxatob

    Опытный участник

  • Members
  • PipPipPipPip
  • 258 сообщений
  • ФИО:Юрий
  • Город:Riga

Отправлено 22 мая 2017 - 07:01

В моей предыдущей компании с нуля за примерно 5 лет создали продукт, который сейчас стоит и используется во всех регионах России. Техническая команда состояла из полутора разработчиков (один сверх производительный), двух тестировщиков и тех. писателя. Из документации тестирования был список регрессионных проверок на полторы страницы.

 

А вот в моей предыдущей компании одновременно велась разработка нескольких продуктов, штат только QA специалистов был 35 человек, из которых десяток были мануальщиками-кликерами на регрессе за 5$/час. Когда выкатывали релиз, им выдавалась пачка тест-кейсов, план и вперед. Естественно среди них была постоянная текучка - каждую неделю кто-то уходил, его место тут же занимал новый и т.д. Как тут без тест-кейсов.


  • 0

#43 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 22 мая 2017 - 08:26

кто-то думает "вот у меня тысячи кейсов, и это хорошо и правильно" - но вот "эффект пестицида" значительно снижает значимость тестов

 

да, тесты есть, и они точные, и при многократной прогонке не находят багов, и десятки низко-оплачиваемых тестеров их гоняют снова и снова

 

а в другой компании пара опытных тестеров вооружённых чек-листами и знанием продукта реально находят баги


  • 0

#44 Grif0n

Grif0n

    Новый участник

  • Members
  • Pip
  • 20 сообщений
  • ФИО:Кравченко Григорий


Отправлено 22 мая 2017 - 09:07

 

 

а в другой компании пара опытных тестеров вооружённых чек-листами и знанием продукта реально находят баги

 

Пожалуй ЗНАНИЕ это ключевое. А в третьей компании приходят новые люди и, не зная продукта, при наличии тест кейсов, могут продолжать делать ту же работу, которую делали специалисты знающие продукт, в пределах заложеных эстимейтов.

Если гооврить о тестировщике как и о контролёре качества, а не только искателя багов, то тест кейсы довольно не плохой инструмент соответсвия. Я не говорю что они необходимы всегда и везде и, конечно, без них можно обойтись, но когда они есть и являются актуальными, то лишним это никогда не будет


  • 0

#45 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 22 мая 2017 - 12:20

В моей предыдущей компании с нуля за примерно 5 лет создали продукт, который сейчас стоит и используется во всех регионах России. Техническая команда состояла из полутора разработчиков (один сверх производительный), двух тестировщиков и тех. писателя. Из документации тестирования был список регрессионных проверок на полторы страницы.

 
А вот в моей предыдущей компании одновременно велась разработка нескольких продуктов, штат только QA специалистов был 35 человек, из которых десяток были мануальщиками-кликерами на регрессе за 5$/час. Когда выкатывали релиз, им выдавалась пачка тест-кейсов, план и вперед. Естественно среди них была постоянная текучка - каждую неделю кто-то уходил, его место тут же занимал новый и т.д. Как тут без тест-кейсов.

То есть, у вас был штат monkey-тестировщиков с большой текучкой. И это ПРОБЛЕМА, ибо вместе с людьми утекает опыт, а новых сотрудников надо обучать. И РЕШЕНИЕМ этой проблемы являются тест-кейсы, которые мэинтейнит постоянный опытный сотрудник и которые позволяют за день включить в процесс человека с улицы.
С моей точки зрения ваш кейс укладывается в мое утверждение и никак ему не противоречит.

ЗЫ: в моей практике было 2 компании в которых бодрые тестировщики клиентсайда бодрой толпой бодро бегали по тест кейсам. А потом приходил злобный Паша, которому приспичило удалить 50 записей, по одной, да с подтверждением, и просто рвал интерфейс на пополам без всяких скриптов и селениумов, ручками. И таки да, проблема была не в тест-кейсах, а в святой вере, что если все тесткейсы пройдены - значит приложение протестировано.

ЗЗЫ: не бывает двух одинаковых разработок, и попытки следовать практикам, а не принципам, в таких условиях, приводят к печальным результатам. Например очень много людей хают книгу "как тестируют в Google", причем вполне вменяемые и взрослые. Хотя в книге прямым текстом написано, не пытайтесь брать наши практики, они не будут работать нигде кроме как у нас.
  • 1

#46 Grif0n

Grif0n

    Новый участник

  • Members
  • Pip
  • 20 сообщений
  • ФИО:Кравченко Григорий


Отправлено 22 мая 2017 - 12:47

 

 

ЗЫ: в моей практике было 2 компании в которых бодрые тестировщики клиентсайда бодрой толпой бодро бегали по тест кейсам. А потом приходил злобный Паша, которому приспичило удалить 50 записей, по одной, да с подтверждением, и просто рвал интерфейс на пополам без всяких скриптов и селениумов, ручками. И таки да, проблема была не в тест-кейсах, а в святой вере, что если все тесткейсы пройдены - значит приложение протестировано.

А в моей компании бывало, что из-за завышенной самоуверенности тестировщик не проходил все тест кейсы, а просто следовал логике, с полной уверенностью что и так все знает - да, бывало находил новые баги, которые кейсы не предусматривали, но, при этом, пропускал баги более важные, по функционалу без которого релизить нельзя. Приложение очень большое было и удержать в голове весь фукционал попросту невозможно, особенно когда ты ограничен в сроках


  • 0

#47 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 22 мая 2017 - 19:41

Ну то есть тест-кейсы были, но ими не пользовались, так?

А на чем тогда основывается утверждение, что тест-кейсы это круто?


  • 0

#48 Grif0n

Grif0n

    Новый участник

  • Members
  • Pip
  • 20 сообщений
  • ФИО:Кравченко Григорий


Отправлено 22 мая 2017 - 19:55

Тест кейсы были, ими не пользовались, пропустили явные баги и за это лишились премии. Теперь пользуются
  • 0

#49 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 23 мая 2017 - 07:14

Тест кейсы были, ими не пользовались, пропустили явные баги и за это лишились премии. Теперь пользуются

А выяснили, почему ими не пользовались?
Иначе через некоторое время эта ситуация снова возникнет.
  • 1

#50 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 23 мая 2017 - 08:57

Ну, вообще, бывают раздолбаи. Года 2 назад у меня коллегу уволили за излишне активную оптимизацию регрессии в личных целях.
  • 0

#51 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 23 мая 2017 - 13:56

иногда тестеры не будут использовать кейсы из-за устаревания этих самых кейсов, и будут тестировать "как могут" и "как знают"

 

но менеджмент этого не знает, и будет под угрозой отбора премии заставлять "чётко следовать инструкциям"

 

в результате тестеры будут даже и не пытаться "отойти от инструкций" и будут тупо гонять те же тесты по кругу, так как их заставили, даже зная что баги не найдут


  • 0

#52 baxatob

baxatob

    Опытный участник

  • Members
  • PipPipPipPip
  • 258 сообщений
  • ФИО:Юрий
  • Город:Riga

Отправлено 23 мая 2017 - 14:42

иногда тестеры не будут использовать кейсы из-за устаревания этих самых кейсов, и будут тестировать "как могут" и "как знают"

 

но менеджмент этого не знает, и будет под угрозой отбора премии заставлять "чётко следовать инструкциям"

 

в результате тестеры будут даже и не пытаться "отойти от инструкций" и будут тупо гонять те же тесты по кругу, так как их заставили, даже зная что баги не найдут

 

Если тестерам поставлена задача провести регрессионное тестирование, то так и нужно делать - четко следовать документации.
А для свободного полета есть исследовательское тестирование. Там делай, что хошь. 

 

Я наверное сделаю апдейт своей позиции - тест-кейсы нужны для регрессионного тестирования


  • 0

#53 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 23 мая 2017 - 15:15

 

 

Я наверное сделаю апдейт своей позиции - тест-кейсы нужны для регрессионного тестирования

надо наверное тут ещё требовать чтобы кейсы были актуальными, и не трэшем

 

тесты ведь надо актуализировать, и некоторые старые тесты даже удалять, чтобы сет не разросся. А то если только добавлять всегда, так можно и погрязнуть

наверное самое трудное, это удалять тесты из регрессионного сета


  • 0

#54 Grif0n

Grif0n

    Новый участник

  • Members
  • Pip
  • 20 сообщений
  • ФИО:Кравченко Григорий


Отправлено 24 мая 2017 - 08:33

 

 

А выяснили, почему ими не пользовались?
Иначе через некоторое время эта ситуация снова возникнет. 

Морально довольно сложно изо дня в день проходить один и тот же цикл, наверное просто надоело, или решил что основной функционал не мог поломаться ) Хотя коненчо надо выяснять такое

 

 

 

надо наверное тут ещё требовать чтобы кейсы были актуальными, и не трэшем

не знаю как у кого, но у нас в процессе регрессии каждый раз правятся кейсы, если есть изменения т.е. актуализация кесов это не отдельный процесс, а входит в регрессионное тестирование 

 

 

 

Я наверное сделаю апдейт своей позиции - тест-кейсы нужны для регрессионного тестирования

+1


  • 0

#55 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 24 мая 2017 - 09:22

надо наверное тут ещё требовать чтобы кейсы были актуальными, и не трэшем

не знаю как у кого, но у нас в процессе регрессии каждый раз правятся кейсы, если есть изменения т.е. актуализация кесов это не отдельный процесс, а входит в регрессионное тестирование


То есть, вы подгоняете тест-кейсы под фактическое состояние софта?
В процессе здорового человека тесты пишутся до или вместе с софтом. В худшем случае в процессе тестирования они обогащаются скриншотами и точными цитатами из интерфейса.

ЗЫЖ Я однажды наблюдал эпичнейший факап: Аналитик написал кривую ФС. Разработчик ее не понял, но он же 8 лет в этом домене, он знает как надо. Разработал. Тестировщик ФС тоже не понял и пришел к разработчику с вопросом что он делал. Протестировал. По счастливой случайности дальше все это добро попало к техпису, которая сказала, что хоть она ФС и не поняла, но то, что реализовано - явно не соответствует ФС.
  • 0

#56 Grif0n

Grif0n

    Новый участник

  • Members
  • Pip
  • 20 сообщений
  • ФИО:Кравченко Григорий


Отправлено 24 мая 2017 - 10:34

 

 

То есть, вы подгоняете тест-кейсы под фактическое состояние софта?

Нет, не по состоянию, а по изменениям или доработкам. А если вылазят баги которые кейсы не покрывают, то так же добавляются новые кейсы

 

 

 

ЗЫЖ Я однажды наблюдал эпичнейший факап: Аналитик написал кривую ФС. Разработчик ее не понял, но он же 8 лет в этом домене, он знает как надо. Разработал. Тестировщик ФС тоже не понял и пришел к разработчику с вопросом что он делал. Протестировал. По счастливой случайности дальше все это добро попало к техпису, которая сказала, что хоть она ФС и не поняла, но то, что реализовано - явно не соответствует ФС. 

:smile: да, такое случается, но это уже человеческий фактор 


  • 0

#57 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 24 мая 2017 - 11:05

Это вопросы из серии: "А шерхебель нужен?"  Не умеете применять - не нужен. умеете применять - Иногда нужен, иногда нет.


  • 1

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#58 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 24 мая 2017 - 11:08

 

 

 

 

ЗЫЖ Я однажды наблюдал эпичнейший факап: Аналитик написал кривую ФС. Разработчик ее не понял, но он же 8 лет в этом домене, он знает как надо. Разработал. Тестировщик ФС тоже не понял и пришел к разработчику с вопросом что он делал. Протестировал. По счастливой случайности дальше все это добро попало к техпису, которая сказала, что хоть она ФС и не поняла, но то, что реализовано - явно не соответствует ФС. 

:smile: да, такое случается, но это уже человеческий фактор 

 

Нет. Это не "человеческий фактор". Это неправильное использование спецификаций. Спецификации нужны не для того, чтобы отдавать их программистам и тестировщикам. Они нужны для:

1. Поиска ошибок на ранних стадиях.

"Если вы в спецификациях ошибок не нашли - вы писали их зря."

 

2. Потом ФС можно использовать для управления проектом.

 

А остальное - от лукавого.


  • 1

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных