Сообщений в теме: 26

[skudrua]

добрый день!
хепл, плиз
я тестирую веб-проект. Менеджер проекта  сказал тестирование выполнять по итерациям, т.е у нас первое тестирование всей системы - это первая итерация, я проверяю все (мануально на стороне юзера) - описываю все найденные баги, разработчики фиксят их и я начинаю вторую итерацию - т.е. полностью тест всей системы (конечно же с проверкой фиксов особое внимание к местам где были фиксы). И если я снова нахожу баги допустим пропущенные в первой\второй итерации или находятся баги которые возникли в связи с фиксом - это уже третья итерация (надо же проверит фикс второй итерации)... короче, вопрос - сколько может быть итераций до релиза (вернее сколько нужно ) или сколько надо делать итераций до релиза, ведь их может быть бесконечное число?
Как правильно организовать процесс тестирование, чтоб при релизе можно было выпустить продукт максимально качественный (с минимальным количеством багов, понятно что они могут быть)

[BadMF]

В двух словах не напишешь... .

Читайте литературу по разработке ПО.

[skudrua]

В двух словах не напишешь... .

Читайте литературу по разработке ПО.

спасибо, но надо то срочно(( и нет времени на прочтения литературы

[skudrua]

просто к сожаление нет еще опыта в организации процесса тестирования всего проекта (достаточного большого) вот и столкнулась с проблемой((

[ryjii]

Сколько итераций - столько, сколько потребуется, чтобы получить требуемое качество. Заранее предсказать вы не сможете практически никогда, слишком много человеческого фактора.

Как правильно организовать процесс - тут действительно без литературы не обойтись. Непонятно, почему этот вопрос ставится именно вам. Как я понимаю, вы новичок в тестировании и единственный тестировщик на проекте? Тогда на этот вопрос должен давать ответ менеджер проекта, вы ему можете пока предоставить только информацию о текущем качестве проекта, об объёме произведённого тестирования, количестве и серьёзности багов. А что дальше с этой информацией делать - ему должно быть лучше понятно.

 

Мне вообще непонятен такой подход к проектам, если честно. От вас хотят гораздо большего, чем вы на данный момент можете дать.

[kirill_222]

Коротко, сжато, рубленным текстом:
Итерации должны продолжаться до тех пор:  пока все зарегистрированные в ходе тестирования ошибки не исправлены и успешно верифицированы или их исправление не отложено менеджером или разработчиком на следующий релиз.
В сортировке ошибок на исправляемые и переносящиеся поможет реквизиты бага: "Критичность" и "Привнесенность". На пальцах все критичные, не критичные и привнесенные исправляются, остальные откладываются или закрываются созданием требования на доработку функционала.

 

[ryjii]

пока все зарегистрированные в ходе тестирования ошибки

В целом я с вами согласен, но вот этот пункт неплохо бы развернуть таким дополнением:

проведено достаточное тестирование функционала (покрытие функционала тестами, причём желательно на одной и той же версии).

Иначе вашу формулировку можно довести до абсурда: времени хватило на тестирование только логин диалога, в нём найдён и пофикшен 1 баг, ура, релизим.

А бизнес-логику даже и не посмотрел никто.

[kirill_222]

 

пока все зарегистрированные в ходе тестирования ошибки

В целом я с вами согласен, но вот этот пункт неплохо бы развернуть таким дополнением:

проведено достаточное тестирование функционала (покрытие функционала тестами, причём желательно на одной и той же версии).

Иначе вашу формулировку можно довести до абсурда: времени хватило на тестирование только логин диалога, в нём найдён и пофикшен 1 баг, ура, релизим.

А бизнес-логику даже и не посмотрел никто.

 

Дак девушка сказала, что смотрит весь функционал, вот я ей и доверился)


 

[SALar]

 сколько может быть итераций до релиза (вернее сколько нужно ) или сколько надо делать итераций до релиза, ведь их может быть бесконечное число?
Как правильно организовать процесс тестирование, чтоб при релизе можно было выпустить продукт максимально качественный (с минимальным количеством багов, понятно что они могут быть)

Кто-то из великих (ЕМНИП Канер) говорил про 8 итераций. Мне на модуль в 50-100 вариантов использования, как правило, хватало 4-5.

Организовывать нужно не столько тестирование, сколько смежные процессы. Хрупкий код может увеличить время отладки в несколько раз.

[BadMF]

 

 сколько может быть итераций до релиза (вернее сколько нужно ) или сколько надо делать итераций до релиза, ведь их может быть бесконечное число?
Как правильно организовать процесс тестирование, чтоб при релизе можно было выпустить продукт максимально качественный (с минимальным количеством багов, понятно что они могут быть)

Кто-то из великих (ЕМНИП Канер) говорил про 8 итераций. Мне на модуль в 50-100 вариантов использования, как правило, хватало 4-5.

Организовывать нужно не столько тестирование, сколько смежные процессы. Хрупкий код может увеличить время отладки в несколько раз.

 

ну хоть кто-то ещё заметил, что количество итераций тестирования напрямую зависит от качества кода и реализации и зрелости процессов.

[kirill_222]

 

 

 сколько может быть итераций до релиза (вернее сколько нужно ) или сколько надо делать итераций до релиза, ведь их может быть бесконечное число?
Как правильно организовать процесс тестирование, чтоб при релизе можно было выпустить продукт максимально качественный (с минимальным количеством багов, понятно что они могут быть)

Кто-то из великих (ЕМНИП Канер) говорил про 8 итераций. Мне на модуль в 50-100 вариантов использования, как правило, хватало 4-5.

Организовывать нужно не столько тестирование, сколько смежные процессы. Хрупкий код может увеличить время отладки в несколько раз.

 

ну хоть кто-то ещё заметил, что количество итераций тестирования напрямую зависит от качества кода и реализации и зрелости процессов.

 

Ну хоть кто то еще помимо кого это заметил?
Дима, вы о ком?
 

[skudrua]

спасибо большое за ответы!

мне просто не приходилось сталкиваться именно с тестирование всего проекта и выполнить это за короткое время да еще и зарелизить  в определенные срок. И проблема в том, что меня менеджер постоянно пытает сколько итераций тебе нужно, я пока что сделала две и после первой (во время проведения второй) я нашла баги которые при первой не нашла, я понимаю что это мой промах - просто вопрос в том - это нормально??  А то менеджер  говорит что так не должно быть и число итераций не может быть большим, т.е. мы не  можем проводить еще и третью итерацию, т.е. в третий раз будет только проверка фиксов по второй итерации

[vkazar]

 

 

я нашла баги которые при первой не нашла, я понимаю что это мой промах - просто вопрос в том - это нормально??

это человеческий фактор, который сводится к минимуму со временем :)

 

 

менеджер  говорит что так не должно быть и число итераций не может быть большим, т.е. мы не  можем проводить еще и третью итерацию

большое количество итераций - это от 8, как сказано выше. 3-4-5 - это вполне нормально. Видимо, Ваш менеджер плохо представляет себе процесс тестирования :)

[kirill_222]

 И проблема в том, что меня менеджер постоянно пытает сколько итераций тебе нужно, я пока что сделала две и после первой (во время проведения второй) я нашла баги которые при первой не нашла, я понимаю что это мой промах - просто вопрос в том - это нормально?? 

Для новичка в тестировании да, для опытного специалиста нет (если речь конечно идет о пропущенных ошибках, воспроизводимых на сборке 1 итерации).
Если не секрет, на сколько сырой ваш проект? На какой стадии жизненного цикла он находится?
И какой у релиза формат?
В моей компании релизы делятся на исправительный и несущие обновление функционала.
Для первого типа 3 это норма и в принципе вопросы менеджера о общем количестве итераций справедливы, но мы не перетестируем весь функционал, мы верифицируем исправленные ошибки, и ищем баги упаковки.
Для функционального релиза сейчас норма 4-5, хотя начиналось все с 13 итераций на совсем сырой софтине и на заре моей карьеры тест-лида. Как выше сказано с опытом все приходит:)
ЗЫ
Менеджер кстати ждет от вас сходимости тестового покрытия. Как вы формировали план кейсов на вторую итерацию, чем он отличался от плана на первую? 

[BadMF]

 

 

 

менеджер  говорит что так не должно быть и число итераций не может быть большим, т.е. мы не  можем проводить еще и третью итерацию

большое количество итераций - это от 8, как сказано выше. 3-4-5 - это вполне нормально. Видимо, Ваш менеджер плохо представляет себе процесс тестирования :)

 

Прав менеджер, не должно быть так, что во второй итерации находятся баги не найденные при первой (если покрытие тестами полное =)).

[BadMF]

И вообще как можно судить о том, нормально или нет 3-4-5 итераций, если вы даже о проекте/команде/процессах ничего не знаете... .

 

В среднем 4-5 итераций это много.

 

Я например, стремлюсь к тому, чтобы делать не более 2-ух итераций на новый функционал (не считая хотфиксов на блокеры и тп). И считаю, что 2 итерации - это нормально, а если больше, то это говорит о не совсем верных процессах разработки/тестирования. Более трёх итераций у меня никогда не бывает.

[ryjii]

Покрытие тестами полное? Найти все баги? Друзья, вы серьёзно сейчас говорите? Любой практик тестирования с опытом от года на своей шкуре убеждается, что найти все баги невозможно. Любая хорошая книга об этом говорит в самых первых главах.

Что до количества итераций - если команда программистов слаженная и использует зрелые процессы, то 2 итерации на новый функционал это реалистично, если же там банда джуниоров, работающих в стиле "тяп-ляп и в продакшен", там и 5 может оказаться мало.

[kirill_222]

Что до количества итераций - если команда программистов слаженная и использует зрелые процессы, то 2 итерации на новый функционал это реалистично, если же там банда джуниоров, работающих в стиле "тяп-ляп и в продакшен", там и 5 может оказаться мало.

Эммм. Предположим ваша команда разработчиков произвела полный рефакторинг кода? Сколько итераций потребуется для доведения программы до продажного вида?

[Little_CJIOH]

спасибо большое за ответы!

мне просто не приходилось сталкиваться именно с тестирование всего проекта и выполнить это за короткое время да еще и зарелизить  в определенные срок. И проблема в том, что меня менеджер постоянно пытает сколько итераций тебе нужно, я пока что сделала две и после первой (во время проведения второй) я нашла баги которые при первой не нашла, я понимаю что это мой промах - просто вопрос в том - это нормально??  А то менеджер  говорит что так не должно быть и число итераций не может быть большим, т.е. мы не  можем проводить еще и третью итерацию, т.е. в третий раз будет только проверка фиксов по второй итерации

Менеджер прав, если во второй итерации находятся баги бывшие и не найденные в первой - это говорит о том, что в первой итерации что-то недоделали. Но сильно парится по этому поводу не стоит. Если это был дефект тестирования - задокументируйте этот кусок тестов так, чтоб в следующий раз не проскочить. А еще бывают плавающие баги и неявный но влияющий смежный функционал.

 

По поводу количества итераций -  новый сервис + загруженные задачами программисты - до 20 итераций (сам фалломорфирую, но факт). небольшая доработка функционала существующего сервиса - 1-2 итерации.

 

По результатам релиза делайте анализ: сколько было итераций, почему столько, что нужно было сделать чтобы их было меньше, как не забыть это сделать на следующем релизе. Главное виноватых не ищите. Ваша задача выстроить процесс тестирования и давать фидбэк разработчикам и ПМу, что стоило бы сделать, чтоб меньше багов доходило до теста.

[Vasiliy]

2 итерации? У вас программисты не ошибаются что ли вообще никогда?))

 

То с чем сталкивался я - 2-3 итерации внутри отдела разработки (до тестирования эти сборки не доходят в принципе) и до 5-6 итераций вместе с тестированием.