Перейти к содержимому

Фотография

Проблемы с тестированием систем заказчика


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 6

#1 alekslynx

alekslynx

    Новый участник

  • Members
  • Pip
  • 33 сообщений
  • ФИО:Александр Юрьевич
  • Город:Москва


Отправлено 04 марта 2013 - 18:35

Добрый день!

В кратце опишу существующий процесс тестирования у меня в кампании.

Мы являемся аутсорсерами и работаем не на территории заказчика.
Мы обеспечиваем только функциональное тестирование систем. Модульное и системное тестирование осуществляется силами заказчика(разработчики).

Процесс тестирования нами построен следующим образом:
В год намечены релизы по внедрению функционала на продуктив.
Перед каждым релизом мы получаем документацию на различные доработки.
Анализируя документацию далее пишется тестовая модель для тестирования.
После подготовки тестовых сценариев тестироване систем делится на 4 этапа:

1 этап. Выполняется дымчатое тестированию.
2 этап. Функциональное тестирование написанной нами тестовой модели.
3 этап. Тестирование передается бизнес-пользователям, которые тестируют систему со своего видения.
4 этап. Регрессионное тестирование


Но на нашем проекте ситуация очень плохая. У нас очень напряженные отношения с бизнес-пользователями и аналитиками.
Разработчики также не особо хорошо к нам относятся.
В связи с такой обстановкой возникает очень много проблем

1. После написания тестовой модели аналитики могут что то поправить в документации и не предоставить ее тестировщикам, в связи с этим вечно возникают проблемы. Тестировщик находит ошибку и заводит баг. Потом разработчик отвечает, что это не ошибка, что у нас старая версия документации, а по новой (которой у нас нет) это не баг, следовательно ошибка тестирования.

2. При написании тестовой модели некоторый функционально в доках описан мало и непонятно, аналитики толком ответить не могут, следовательно кривая тестовая модель и при тестировании не совсем понятно, как тестировать и часто заводим ошибки, которые на самом деле не баги. Следовательно опять ошибки тестирования.

3. Нами тестируется функциональн, как его видим мы и естественно мы не можем уловить все моменты, далее при тестировании бизнес-пользователями находятся ошибки, которые пропустил тестер. Виноват опять тестировщик. Он пропустил.

4. Разработчики иногда сами что-то меняют на средах прям во время тестирования, соответственно мы тестируем на одной версии среды, бизнес пользователи на другой, и бизнес-пользователи находят ошибки которые пропустил тестировщик, хотя на самом деле при тестировании нами данная ошибка не воспроизводилась.

Иногда пропускают ошибки и тестировщики и пользователи и в ходе регресса их не нашли. Ошибки попадают на продуктив
и винят во всем тестировщика и его руководителя.

Как правильно подстраховываться в данных случаях чтобы избежать всех проблем.? очень необходимо.
  • 0
Ломайте стереотипы и смотрите на тестирование иначе. Только так Вы сможете сделать что-то стоящее.

#2 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 05 марта 2013 - 07:13

У вас не тестирование, у вас политика... Проблемы, точнее, политические.
Какие права и обязанности у каждой из сторон процесса? Вам должны передовать актуальную документацию и отвечать на ваши уточняющие вопросы? Или вы можете только спрашивать?
Насколько ваши тестировщики знакомы с бизнесс-процессом, чтобы представлять себе работу обычных пользователей?

4. Разработчики иногда сами что то меняют на средах прям во время тестирования...

Вот это вообще интересно! Кто допустил разработчиков в среду тестирования для каких-то изменений без ведома самих тестировщиков?!

Подстараховываться в таких случаях надо заранее на момент составления договора. Когда вы начинаете тестирование, что для этого вам должны предоставить. Прописать условия, что именно вы тестируете, каковы условия окончания тестирования.

И еще. У вас классический водопад, судя по описанию. Функциональность вам передают всю сразу? Можно ее получать и тестировать по частям?
Вы можете тестовую модель показать аналитикам? Или вы так же не получите ответа?
  • 0

#3 alekslynx

alekslynx

    Новый участник

  • Members
  • Pip
  • 33 сообщений
  • ФИО:Александр Юрьевич
  • Город:Москва


Отправлено 05 марта 2013 - 07:33

У вас не тестирование, у вас политика... Проблемы, точнее, политические.
Какие права и обязанности у каждой из сторон процесса? Вам должны передовать актуальную документацию и отвечать на ваши уточняющие вопросы? Или вы можете только спрашивать?

Мы заводим реквесты на непонятным нам функционал, но аналитики зачастую немогут нормально ответить на вопрос, чтобы было понятно. Им чаще просто сослаться на какую либо другую документацию, чем самим ответить на вопрос. А когда они ссылаются на документацию, не всегда ясно где ее вообще можно взять.

Насколько ваши тестировщики знакомы с бизнесс-процессом, чтобы представлять себе работу обычных пользователей?

Тестировщики слабо знакомы с бизнес процессом. Чтобы разобрать бизнес процесс нужно общение с пользователями, которого в принципе нету.

4. Разработчики иногда сами что то меняют на средах прям во время тестирования...

Вот это вообще интересно! Кто допустил разработчиков в среду тестирования для каких-то изменений без ведома самих тестировщиков?!

Нам тоже было интересно. Мы пытались доказать, что виноваты разработчики, на что нам ответили, разработчики конечно виноваты, но тестировщики тоже, т.к. "Вы могли при тестировании сверять версии тестовых сред при тестировании и сразу сообщать об изменениях."

Подстараховываться в таких случаях надо заранее на момент составления договора. Когда вы начинаете тестирование, что для этого вам должны предоставить. Прописать условия, что именно вы тестируете, каковы условия окончания тестирования.

И еще. У вас классический водопад, судя по описанию. Функциональность вам передают всю сразу?

Да.

Можно ее получать и тестировать по частям?

Нет.

Вы можете тестовую модель показать аналитикам? Или вы так же не получите ответа?

Да, у нас происходит ревью тестовой модели аналитиками, но они не смотрят на полноту описания системы тестами. А если и видят, что что-то мы не описали, то естественно сообщает, но могут сами изменить после этого что-то в документации и никому ее не выслать.
Потом очень тяжело доказать, что виноваты аналитики, т.к. не предоставили документацию.
  • 0
Ломайте стереотипы и смотрите на тестирование иначе. Только так Вы сможете сделать что-то стоящее.

#4 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 05 марта 2013 - 08:52


У вас не тестирование, у вас политика... Проблемы, точнее, политические.
Какие права и обязанности у каждой из сторон процесса? Вам должны передовать актуальную документацию и отвечать на ваши уточняющие вопросы? Или вы можете только спрашивать?


Мы заводим реквесты на непонятным нам функционал, но аналитики зачастую немогут нормально ответить на вопрос, чтобы было понятно. Им чаще просто сослаться на какую либо другую документацию, чем самим ответить на вопрос. А когда они ссылаются на документацию, не всегда ясно где ее вообще можно взять.


Вы не ответили на самый главный вопрос. У вас есть право добиваться ответа? Придти, приехать к аналитику, сесть рядом и не уходить пока не получите ответа на все интересующие вас вопросы.

4. Разработчики иногда сами что то меняют на средах прям во время тестирования...

Вот это вообще интересно! Кто допустил разработчиков в среду тестирования для каких-то изменений без ведома самих тестировщиков?!

Нам тоже было интересно. Мы пытались доказать, что виноваты разработчики, на что нам ответили, разработчики конечно виноваты, но тестировщики тоже, т.к. "Вы могли при тестировании сверять версии тестовых сред при тестировании и сразу сообщать об изменениях."

Мягко вы общаетесь! Кто отвечает за тестовые среды? Они у вас или на стороне заказчика?

Вы можете тестовую модель показать аналитикам? Или вы так же не получите ответа?

Да, у нас происходит ревью тестовой модели аналитиками, но они не смотрят на полноту описания системы тестами. А если и видят, что что-то мы не описали, то естественно сообщает, но могут сами изменить после этого что-то в документации и никому ее не выслать.
Потом очень тяжело доказать, что виноваты аналитики, т.к. не предоставили документацию.

А аналитики и разработчики как работают? Они тоже на аутсорсе? Или они в штате заказчика?
Они понимают, что непредоставление обновленной документации ведет к потерям в проекте? Во времени, в качестве.

P.S. А вы кто в этом проекте?
  • 0

#5 alekslynx

alekslynx

    Новый участник

  • Members
  • Pip
  • 33 сообщений
  • ФИО:Александр Юрьевич
  • Город:Москва


Отправлено 05 марта 2013 - 09:38

Вы не ответили на самый главный вопрос. У вас есть право добиваться ответа? Придти, приехать к аналитику, сесть рядом и не уходить пока не получите ответа на все интересующие вас вопросы.


Нет, такой возможности нету. Только путем заведения реквестов в багтрекере.


Мягко вы общаетесь! Кто отвечает за тестовые среды? Они у вас или на стороне заказчика?

На стороне заказчика.

А аналитики и разработчики как работают? Они тоже на аутсорсе? Или они в штате заказчика?
Они понимают, что непредоставление обновленной документации ведет к потерям в проекте? Во времени, в качестве.

Нет, они входят в штат заказчика. Я думаю понимания нету, т.к. они говорят, что постоянно заняты и могут забыть.

P.S. А вы кто в этом проекте?

Я SQE по одной из систем, которым наша кампания предоставляет услуги по функциональному тестированию. (в данном случае описанное выше относится к системе, в которой я руковожу группой тестировщиков)
  • 0
Ломайте стереотипы и смотрите на тестирование иначе. Только так Вы сможете сделать что-то стоящее.

#6 alekslynx

alekslynx

    Новый участник

  • Members
  • Pip
  • 33 сообщений
  • ФИО:Александр Юрьевич
  • Город:Москва


Отправлено 05 марта 2013 - 09:42

В дополнение:
Я совсем недавно переведен SQE на данный проект. Раньше я также был внутри проекта, но работал с другой системой.
Проблемы, которые описаны существуют уже давно.
Т.к. я теперь в ответе за данную систему, то хочется как нибудь наладить процесс, чтобы у заказчика не было куча претензий к нам, как это было до меня
  • 0
Ломайте стереотипы и смотрите на тестирование иначе. Только так Вы сможете сделать что-то стоящее.

#7 achumagin

achumagin

    Активный участник

  • Members
  • PipPip
  • 145 сообщений
  • ФИО:Alexey Chumagin
  • Город:Казань

Отправлено 05 марта 2013 - 10:35

У вас какой то не позитивный взгляд на жизнь. Вы ищете виноватых. Защищая себя, вы пытаетесь выставить (доказать), что виноват другой (аналитик, программист). Начните меняться с себя.
  • 0
ap-test-team.blogspot.com


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных