Проблемы с тестированием систем заказчика
#1
Отправлено 04 марта 2013 - 18:35
В кратце опишу существующий процесс тестирования у меня в кампании.
Мы являемся аутсорсерами и работаем не на территории заказчика.
Мы обеспечиваем только функциональное тестирование систем. Модульное и системное тестирование осуществляется силами заказчика(разработчики).
Процесс тестирования нами построен следующим образом:
В год намечены релизы по внедрению функционала на продуктив.
Перед каждым релизом мы получаем документацию на различные доработки.
Анализируя документацию далее пишется тестовая модель для тестирования.
После подготовки тестовых сценариев тестироване систем делится на 4 этапа:
1 этап. Выполняется дымчатое тестированию.
2 этап. Функциональное тестирование написанной нами тестовой модели.
3 этап. Тестирование передается бизнес-пользователям, которые тестируют систему со своего видения.
4 этап. Регрессионное тестирование
Но на нашем проекте ситуация очень плохая. У нас очень напряженные отношения с бизнес-пользователями и аналитиками.
Разработчики также не особо хорошо к нам относятся.
В связи с такой обстановкой возникает очень много проблем
1. После написания тестовой модели аналитики могут что то поправить в документации и не предоставить ее тестировщикам, в связи с этим вечно возникают проблемы. Тестировщик находит ошибку и заводит баг. Потом разработчик отвечает, что это не ошибка, что у нас старая версия документации, а по новой (которой у нас нет) это не баг, следовательно ошибка тестирования.
2. При написании тестовой модели некоторый функционально в доках описан мало и непонятно, аналитики толком ответить не могут, следовательно кривая тестовая модель и при тестировании не совсем понятно, как тестировать и часто заводим ошибки, которые на самом деле не баги. Следовательно опять ошибки тестирования.
3. Нами тестируется функциональн, как его видим мы и естественно мы не можем уловить все моменты, далее при тестировании бизнес-пользователями находятся ошибки, которые пропустил тестер. Виноват опять тестировщик. Он пропустил.
4. Разработчики иногда сами что-то меняют на средах прям во время тестирования, соответственно мы тестируем на одной версии среды, бизнес пользователи на другой, и бизнес-пользователи находят ошибки которые пропустил тестировщик, хотя на самом деле при тестировании нами данная ошибка не воспроизводилась.
Иногда пропускают ошибки и тестировщики и пользователи и в ходе регресса их не нашли. Ошибки попадают на продуктив
и винят во всем тестировщика и его руководителя.
Как правильно подстраховываться в данных случаях чтобы избежать всех проблем.? очень необходимо.
#2
Отправлено 05 марта 2013 - 07:13
Какие права и обязанности у каждой из сторон процесса? Вам должны передовать актуальную документацию и отвечать на ваши уточняющие вопросы? Или вы можете только спрашивать?
Насколько ваши тестировщики знакомы с бизнесс-процессом, чтобы представлять себе работу обычных пользователей?
Вот это вообще интересно! Кто допустил разработчиков в среду тестирования для каких-то изменений без ведома самих тестировщиков?!4. Разработчики иногда сами что то меняют на средах прям во время тестирования...
Подстараховываться в таких случаях надо заранее на момент составления договора. Когда вы начинаете тестирование, что для этого вам должны предоставить. Прописать условия, что именно вы тестируете, каковы условия окончания тестирования.
И еще. У вас классический водопад, судя по описанию. Функциональность вам передают всю сразу? Можно ее получать и тестировать по частям?
Вы можете тестовую модель показать аналитикам? Или вы так же не получите ответа?
#3
Отправлено 05 марта 2013 - 07:33
Мы заводим реквесты на непонятным нам функционал, но аналитики зачастую немогут нормально ответить на вопрос, чтобы было понятно. Им чаще просто сослаться на какую либо другую документацию, чем самим ответить на вопрос. А когда они ссылаются на документацию, не всегда ясно где ее вообще можно взять.У вас не тестирование, у вас политика... Проблемы, точнее, политические.
Какие права и обязанности у каждой из сторон процесса? Вам должны передовать актуальную документацию и отвечать на ваши уточняющие вопросы? Или вы можете только спрашивать?
Тестировщики слабо знакомы с бизнес процессом. Чтобы разобрать бизнес процесс нужно общение с пользователями, которого в принципе нету.Насколько ваши тестировщики знакомы с бизнесс-процессом, чтобы представлять себе работу обычных пользователей?
Нам тоже было интересно. Мы пытались доказать, что виноваты разработчики, на что нам ответили, разработчики конечно виноваты, но тестировщики тоже, т.к. "Вы могли при тестировании сверять версии тестовых сред при тестировании и сразу сообщать об изменениях."Вот это вообще интересно! Кто допустил разработчиков в среду тестирования для каких-то изменений без ведома самих тестировщиков?!4. Разработчики иногда сами что то меняют на средах прям во время тестирования...
Подстараховываться в таких случаях надо заранее на момент составления договора. Когда вы начинаете тестирование, что для этого вам должны предоставить. Прописать условия, что именно вы тестируете, каковы условия окончания тестирования.
Да.И еще. У вас классический водопад, судя по описанию. Функциональность вам передают всю сразу?
Нет.Можно ее получать и тестировать по частям?
Да, у нас происходит ревью тестовой модели аналитиками, но они не смотрят на полноту описания системы тестами. А если и видят, что что-то мы не описали, то естественно сообщает, но могут сами изменить после этого что-то в документации и никому ее не выслать.Вы можете тестовую модель показать аналитикам? Или вы так же не получите ответа?
Потом очень тяжело доказать, что виноваты аналитики, т.к. не предоставили документацию.
#4
Отправлено 05 марта 2013 - 08:52
У вас не тестирование, у вас политика... Проблемы, точнее, политические.
Какие права и обязанности у каждой из сторон процесса? Вам должны передовать актуальную документацию и отвечать на ваши уточняющие вопросы? Или вы можете только спрашивать?
Мы заводим реквесты на непонятным нам функционал, но аналитики зачастую немогут нормально ответить на вопрос, чтобы было понятно. Им чаще просто сослаться на какую либо другую документацию, чем самим ответить на вопрос. А когда они ссылаются на документацию, не всегда ясно где ее вообще можно взять.
Вы не ответили на самый главный вопрос. У вас есть право добиваться ответа? Придти, приехать к аналитику, сесть рядом и не уходить пока не получите ответа на все интересующие вас вопросы.
Мягко вы общаетесь! Кто отвечает за тестовые среды? Они у вас или на стороне заказчика?Нам тоже было интересно. Мы пытались доказать, что виноваты разработчики, на что нам ответили, разработчики конечно виноваты, но тестировщики тоже, т.к. "Вы могли при тестировании сверять версии тестовых сред при тестировании и сразу сообщать об изменениях."Вот это вообще интересно! Кто допустил разработчиков в среду тестирования для каких-то изменений без ведома самих тестировщиков?!4. Разработчики иногда сами что то меняют на средах прям во время тестирования...
А аналитики и разработчики как работают? Они тоже на аутсорсе? Или они в штате заказчика?Да, у нас происходит ревью тестовой модели аналитиками, но они не смотрят на полноту описания системы тестами. А если и видят, что что-то мы не описали, то естественно сообщает, но могут сами изменить после этого что-то в документации и никому ее не выслать.Вы можете тестовую модель показать аналитикам? Или вы так же не получите ответа?
Потом очень тяжело доказать, что виноваты аналитики, т.к. не предоставили документацию.
Они понимают, что непредоставление обновленной документации ведет к потерям в проекте? Во времени, в качестве.
P.S. А вы кто в этом проекте?
#5
Отправлено 05 марта 2013 - 09:38
Вы не ответили на самый главный вопрос. У вас есть право добиваться ответа? Придти, приехать к аналитику, сесть рядом и не уходить пока не получите ответа на все интересующие вас вопросы.
Нет, такой возможности нету. Только путем заведения реквестов в багтрекере.
На стороне заказчика.Мягко вы общаетесь! Кто отвечает за тестовые среды? Они у вас или на стороне заказчика?
Нет, они входят в штат заказчика. Я думаю понимания нету, т.к. они говорят, что постоянно заняты и могут забыть.А аналитики и разработчики как работают? Они тоже на аутсорсе? Или они в штате заказчика?
Они понимают, что непредоставление обновленной документации ведет к потерям в проекте? Во времени, в качестве.
Я SQE по одной из систем, которым наша кампания предоставляет услуги по функциональному тестированию. (в данном случае описанное выше относится к системе, в которой я руковожу группой тестировщиков)P.S. А вы кто в этом проекте?
#6
Отправлено 05 марта 2013 - 09:42
Я совсем недавно переведен SQE на данный проект. Раньше я также был внутри проекта, но работал с другой системой.
Проблемы, которые описаны существуют уже давно.
Т.к. я теперь в ответе за данную систему, то хочется как нибудь наладить процесс, чтобы у заказчика не было куча претензий к нам, как это было до меня
#7
Отправлено 05 марта 2013 - 10:35
Количество пользователей, читающих эту тему: 1
0 пользователей, 1 гостей, 0 анонимных