Отчётность по тестированию.
#21
Отправлено 19 октября 2004 - 04:55
Экспертная оценка, нормальный метод. Мы работаем в команде. Команда профессиональна. Если у кого-то есть сомнения в качестве, продукт не поставляется. Время не имеет значение, ресурсы - тоже. Качество - имеет значение. Работаем, пока все сомнения не устранены.
К Алексею: верю (хотя, я привык сомневаться во всем, как-то я уже это писал, видно к работе это не относится). Вопрос в другом, верит ли мне менеджмент? Не знаю, но если я (или другой ответственный специалист) сказал, что продукт готов, ему этого достаточно (Значит верит?).
Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.
#22
Отправлено 19 октября 2004 - 04:59
Если бы я был Вашим руководителем, и Вы пришли и сказали, что продукт готов, можно выпускать, я бы тоже, доверяя Вашему профессионализму, поверил. Экспертная оценка, нормальный метод.Ну что же, интерес вполне обоснованный и сомнения тоже.
Экспертная оценка, нормальный метод. Мы работаем в команде. Команда профессиональна. Если у кого-то есть сомнения в качестве, продукт не поставляется. Время не имеет значение, ресурсы - тоже. Качество - имеет значение. Работаем, пока все сомнения не устранены.
К Алексею: верю (хотя, я привык сомневаться во всем, как-то я уже это писал, видно к работе это не относится). Вопрос в другом, верит ли мне менеджмент? Не знаю, но если я (или другой ответственный специалист) сказал, что продукт готов, ему этого достаточно (Значит верит?).
Но если бы Вы при этом утверждали, что в нём нет ни одной ошибки -- я бы не поверил и потребовал объективных доказательств. Здесь экспертная оценка не работает.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#23
Отправлено 19 октября 2004 - 06:20
Я не верю и, наверное, никогда не поверю :)Вы что, в самом деле искренне верите, что выпущенные вами продукты не содержат ни одной проблемы?
Так, на мой взгляд, должен подходить к своей работе любой тестировщик, тест менеджер (хотя это не совсем его работа) и все, кто так или иначе связан с QA. Может быть это грубо, но при другом подходе к тестированию результат будет менее продуктивный.
Достаточно инересные выкладки относительно количества существующих в программах ошибок есть в работе С. Канера "Тестирование программного обеспечения" (где - то в начале книги). Прочитав их, я невольно вспомнил шутку, которая ярко характеризует количество существующих в любой программе ошибок - "Перелюбить всех женщин в мире НЕ ВОЗМОЖНО, но ПОПЫТАТЬСЯ стоит" :)
#24
Отправлено 19 октября 2004 - 06:33
В исходной, непротестированной программе возможно есть ошибки, не спорю. Возможно, есть и другие нерешенные вопросы - дефекты. Но продукт выпущенный нашей командой от них свободен. И в это я должен верить, потому как необоснованные сомнения раздъедают личность. А теперь представьте, что моя уверенность (человека, привыкшего все подвергать сомнению), или правильнее уверенность нашей команды, разве не является объективным доказательством?
Мой совет, любите не ВСЕХ женщин вообще - бесполезно, любите своих женщин, и они ответят Вам взаимностью.
Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.
#25
Отправлено 19 октября 2004 - 06:36
Виктор, вопрос именно в том КАК Вы определяете, что ошибок НЕТ? Никакая оценка не даст такой гарантии на 100%.Ну что же, интерес вполне обоснованный и сомнения тоже.
Экспертная оценка, нормальный метод. Мы работаем в команде. Команда профессиональна. Если у кого-то есть сомнения в качестве, продукт не поставляется. Время не имеет значение, ресурсы - тоже. Качество - имеет значение. Работаем, пока все сомнения не устранены.
К Алексею: верю (хотя, я привык сомневаться во всем, как-то я уже это писал, видно к работе это не относится). Вопрос в другом, верит ли мне менеджмент? Не знаю, но если я (или другой ответственный специалист) сказал, что продукт готов, ему этого достаточно (Значит верит?).
Что именно устраняет все Ваши сомнения?
#26
Отправлено 19 октября 2004 - 06:39
Конечно нет! А Вы думали, что является? Прямо таки объективным? :)А теперь представьте, что моя уверенность (человека, привыкшего все подвергать сомнению), или правильнее уверенность нашей команды, разве не является объективным доказательством?
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#27
Отправлено 19 октября 2004 - 06:42
;)
На мой взгляд, правда, как обычно, находиться посередине.
Невозможно сделать однозначный вывод на основании только одного показателя. Решение о готовности или не готовности приложения долно приниматься на основе комплексного подхода, который включает в себя как оценку найденных/не нейденных багов, проделанных/не проделанных тестов, реализованных/не реализованных требований и, возможно, массы еще дополнительных показателей.
Тогда, сами собой напрашиваются вопросы.
1. Какие именно ПОКАЗАТЕЛИ (метрики) реально используются в вашей компании для оценки уровня качества приложения ?
2. Существует ли в вашей компании ПРОЦЕДУРА выявления степени готовности приложения?
#28
Отправлено 19 октября 2004 - 06:43
Это -- религиозный догмат, а не объективные факты. Вы можете верить во что угодно, Вы можете иметь своих последователей, Вы можете заниматься миссионерской деятельностью. Но всё это -- религия.У любого действия должен быть смысл.
В исходной, непротестированной программе возможно есть ошибки, не спорю. Возможно, есть и другие нерешенные вопросы - дефекты. Но продукт выпущенный нашей командой от них свободен. И в это я должен верить, потому как необоснованные сомнения раздъедают личность.
Не имею ничего против религии, более того, сам религиозен, но Богу -- Богово, а кесарю -- кесарево.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#29
Отправлено 19 октября 2004 - 06:56
Решение о готовности приложения допускает, что в приложении еще остался минимальный процент ошибок. Виктор же заявлет, что продукт, выпущенный их компанией, свободен от ошибок.Невозможно сделать однозначный вывод на основании только одного показателя. Решение о готовности или не готовности приложения долно приниматься на основе комплексного подхода, который включает в себя как оценку найденных/не нейденных багов, проделанных/не проделанных тестов, реализованных/не реализованных требований и, возможно, массы еще дополнительных показателей.
Вот о чем дискуссия.
#30
Отправлено 19 октября 2004 - 07:02
Я отношу себя к третьему лагерю -- тех, кто считает и то и другое.Как то незаметно дискуссия разделила всех на два лагеря - тех, кто считает найденные ошибки, и тех, кто считает оставшиеся.
;)
Более точно: считает, сколько найдено, для того, чтобы оценить, сколько ещё осталось.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#31
Отправлено 19 октября 2004 - 07:19
К сожалению, наш процесс разработки очень завязан на конкретные условия.Виктор, вопрос именно в том КАК Вы определяете, что ошибок НЕТ? Никакая оценка не даст такой гарантии на 100%.Ну что же, интерес вполне обоснованный и сомнения тоже.
Экспертная оценка, нормальный метод. Мы работаем в команде. Команда профессиональна. Если у кого-то есть сомнения в качестве, продукт не поставляется. Время не имеет значение, ресурсы - тоже. Качество - имеет значение. Работаем, пока все сомнения не устранены.
К Алексею: верю (хотя, я привык сомневаться во всем, как-то я уже это писал, видно к работе это не относится). Вопрос в другом, верит ли мне менеджмент? Не знаю, но если я (или другой ответственный специалист) сказал, что продукт готов, ему этого достаточно (Значит верит?).
Что именно устраняет все Ваши сомнения?
Т.е. он работает в наших условиях рассказать о нем в двух словах не могу, на большее пока не готов.
Но я запомню Ваш интерес и по мере возможности расскажу.
Главный принцип - верификация любого продукта в любой стадии, будь то проектная модель, ТЗ или код программы. Что это значит? Например, если при тестировании, выявилось какое-либо непонимание исходных требований, значит возвращаемся к стадии анализа. Ресурсоемко, затратно по времени, но зато качественно.
Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.
#32
Отправлено 19 октября 2004 - 07:23
А если, не дай Бог, не выявилось? Если пропустили, недосмотрели? Что тогда?Главный принцип - верификация любого продукта в любой стадии, будь то проектная модель, ТЗ или код программы. Что это значит? Например, если при тестировании, выявилось какое-либо непонимание исходных требований, значит возвращаемся к стадии анализа. Ресурсоемко, затратно по времени, но зато качественно.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#33
Отправлено 19 октября 2004 - 07:36
Допустим, Вы уверены, что понимаете все исходные требования. Допустим, тестирование прошло успешно. Что дает Вам уверенность, что ошибок нет?К сожалению, наш процесс разработки очень завязан на конкретные условия.
Т.е. он работает в наших условиях рассказать о нем в двух словах не могу, на большее пока не готов.
Но я запомню Ваш интерес и по мере возможности расскажу.
Главный принцип - верификация любого продукта в любой стадии, будь то проектная модель, ТЗ или код программы. Что это значит? Например, если при тестировании, выявилось какое-либо непонимание исходных требований, значит возвращаемся к стадии анализа. Ресурсоемко, затратно по времени, но зато качественно.
Без привязки к конкретным условиям.
#34
Отправлено 19 октября 2004 - 07:45
Я бы склонен называть религией Вашу позицию, Вы верите, что этого просто не может быть не имея никаких оснований.Это -- религиозный догмат, а не объективные факты. Вы можете верить во что угодно, Вы можете иметь своих последователей, Вы можете заниматься миссионерской деятельностью. Но всё это -- религия.У любого действия должен быть смысл.
В исходной, непротестированной программе возможно есть ошибки, не спорю. Возможно, есть и другие нерешенные вопросы - дефекты. Но продукт выпущенный нашей командой от них свободен. И в это я должен верить, потому как необоснованные сомнения раздъедают личность.
Не имею ничего против религии, более того, сам религиозен, но Богу -- Богово, а кесарю -- кесарево.
Поймите, даже имея объективные доказательства, можно оценивать их субъективно.
Как это получается? Вот у меня есть все объективные доказательства, результаты испытаний, оценки моделей, какие-то результаты аудитов, мнения конечных пользователей, всевозможные матрицы и диаграммы. И я говорю руководству "продукт готов", и более того начинаю верить в это. Это объективно?
Зачем мне для поддержки моей субъективной оценки приводить руководству объективные доказательства? Ему это не нужно. Все уже оценено и измерено техническими специалистами, которые выносят свои субъективные оценки. Какой ему смысл что там есть ошибки? Есть четкое требование - ошибок не должно быть вовсе (здесь довольно утрированная интерпретация).
Теперь можно и наоборот позицию рассмотреть:
Есть пользователи продукта, их два человека. Их мнение что продукт готов, объективно? Смогут ли они нанять третьего для внешнего аудита?.
Основная проблема при создании ПО - неполнота требований, и изменения технологий. Поверьте моему опыту, другие вопросы не так существенны. Даже если у вас студенты пишут программы, это не проблема. Она никогда не возникает перед руководством. Кто мешает менеджеру проекта подключить к нему лучших из лучших? Никто.
Поэтому внутри больших корпораций все четко, все знают что делать. Корпорация не поедет внезапно в другую сторону. Технологии не меняются внезапно. У корпораций есть ресурсы снизить за их счет риски. В корпорации учат людей быть ответственными. Если ты безответственнен, всегда есть возможность подвинуть. В корпорации очень трудно скрыть халатность.
Ну а уж полноту требований в корпорации обсуждать не приходится. Можно выдернуть из процесса любого ключевого пользователя, руководителя любого уровня и добиться от него любого уровня описания требований.
Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.
#35
Отправлено 19 октября 2004 - 07:59
Вот здесь собственно и развивается дискуссияСпасибо за совет.
Пока решил ограничиться только отчетами, необходимыми топ - менеджменту.
Короче говоря, что хотят, то и делаем :)
Какие объективные доказательства необходимы топ-менеджменту?
Вот в моем конкретном случае разработки внутреннего ПО большой корпорации, настоящему топ-менеджменту, достаточно субъективных утверждений о готовности продукта. И это работает. (На мой взгляд van пишет о том же, но спорить не буду)
В других случаях, это может не пройти, не спорю, и даже верю в это. Но у меня частный случай, мне "повезло". Не могу за всех отвечать.
Если бы вопрос встал о каком-то другом менеджменте, (или даже обо мне), то возможно дискуссии не получилось бы. :)
Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.
#36
Отправлено 19 октября 2004 - 08:00
ВерификацияДопустим, Вы уверены, что понимаете все исходные требования. Допустим, тестирование прошло успешно. Что дает Вам уверенность, что ошибок нет?К сожалению, наш процесс разработки очень завязан на конкретные условия.
Т.е. он работает в наших условиях рассказать о нем в двух словах не могу, на большее пока не готов.
Но я запомню Ваш интерес и по мере возможности расскажу.
Главный принцип - верификация любого продукта в любой стадии, будь то проектная модель, ТЗ или код программы. Что это значит? Например, если при тестировании, выявилось какое-либо непонимание исходных требований, значит возвращаемся к стадии анализа. Ресурсоемко, затратно по времени, но зато качественно.
Без привязки к конкретным условиям.
Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.
#37
Отправлено 19 октября 2004 - 08:01
Бывает, что же делать, прыгаем дальше, пока не будет качество.А если, не дай Бог, не выявилось? Если пропустили, недосмотрели? Что тогда?Главный принцип - верификация любого продукта в любой стадии, будь то проектная модель, ТЗ или код программы. Что это значит? Например, если при тестировании, выявилось какое-либо непонимание исходных требований, значит возвращаемся к стадии анализа. Ресурсоемко, затратно по времени, но зато качественно.
Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.
#38
Отправлено 19 октября 2004 - 08:04
СогласенЯ отношу себя к третьему лагерю -- тех, кто считает и то и другое.Как то незаметно дискуссия разделила всех на два лагеря - тех, кто считает найденные ошибки, и тех, кто считает оставшиеся.
;)
Более точно: считает, сколько найдено, для того, чтобы оценить, сколько ещё осталось.
Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.
#39
Отправлено 19 октября 2004 - 08:07
Viktor,Вот здесь собственно и развивается дискуссияСпасибо за совет.
Пока решил ограничиться только отчетами, необходимыми топ - менеджменту.
Короче говоря, что хотят, то и делаем :)
Какие объективные доказательства необходимы топ-менеджменту?
Вот в моем конкретном случае разработки внутреннего ПО большой корпорации, настоящему топ-менеджменту, достаточно субъективных утверждений о готовности продукта. И это работает. (На мой взгляд van пишет о том же, но спорить не буду)
В других случаях, это может не пройти, не спорю, и даже верю в это. Но у меня частный случай, мне "повезло". Не могу за всех отвечать.
Если бы вопрос встал о каком-то другом менеджменте, (или даже обо мне), то возможно дискуссии не получилось бы. :)
допускаю, что между Вами и Вашим топ-мереджером происходит следующий диалог:
ТМ: - Продукт готов?
V: - Готов!
ТМ: - Смотри, головой отвечаешь!
V: - Дык, тык, мык, как всегда!
ТМ: - Тогда запускай!
Но что позволяет Вам быть субъективно уверенным, что разрабатываемое приложение готово?
#40
Отправлено 19 октября 2004 - 08:13
Почему же, я верю, что ошибок в программе может не быть, верю в то, что бывают такие программы :)Я бы склонен называть религией Вашу позицию, Вы верите, что этого просто не может быть не имея никаких оснований.
Зачем столько пафоса, красивых слов про халатность и безответственность. Обсуждается простой и понятный вопрос: как Вы лично убеждаете себя в том, что ошибок в программе нет? Методом аутотренинга? :)
Лично я себя в этом не убеждаю. Потому что это убеждение не поможет мне решать проблемы, которые возникнут, если ошибки всё таки есть. А предварительная оценка (пусть даже неточная) поможет.
Либо Вы используте некоторый объективный показатель, который позволяет с уверенностью сказать, что ошибок нет. Нет и точка. Тогда расскажите, какой же, если это не является Вашим личным или корпоративным секретныи ноу-хау. Ибо, если показатель действительно объективный, они может быть измерен не только вами, но и кем-то другим (в идеале -- кем угодно).
Вы упомянули верификацию. Что Вы имели в виду -- динамическую верификацию (в просторечии называемую тестированием) или формальную проверку правильности программы?
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
Количество пользователей, читающих эту тему: 1
0 пользователей, 1 гостей, 0 анонимных