Перейти к содержимому

Фотография

Отчётность по тестированию.


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 53

#21 Viktor

Viktor

    Активный участник

  • Members
  • PipPip
  • 142 сообщений

Отправлено 19 октября 2004 - 04:55

Ну что же, интерес вполне обоснованный и сомнения тоже.
Экспертная оценка, нормальный метод. Мы работаем в команде. Команда профессиональна. Если у кого-то есть сомнения в качестве, продукт не поставляется. Время не имеет значение, ресурсы - тоже. Качество - имеет значение. Работаем, пока все сомнения не устранены.
К Алексею: верю (хотя, я привык сомневаться во всем, как-то я уже это писал, видно к работе это не относится). Вопрос в другом, верит ли мне менеджмент? Не знаю, но если я (или другой ответственный специалист) сказал, что продукт готов, ему этого достаточно (Значит верит?).
  • 0
Виктор, Еретик РУПа

Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.

#22 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 19 октября 2004 - 04:59

Ну что же, интерес вполне обоснованный и сомнения тоже.
Экспертная оценка, нормальный метод. Мы работаем в команде. Команда профессиональна. Если у кого-то есть сомнения в качестве, продукт не поставляется. Время не имеет значение, ресурсы - тоже. Качество - имеет значение. Работаем, пока все сомнения не устранены.
К Алексею: верю (хотя, я привык сомневаться во всем, как-то я уже это писал, видно к работе это не относится). Вопрос в другом, верит ли мне менеджмент? Не знаю, но если я (или другой ответственный специалист) сказал, что продукт готов, ему этого достаточно (Значит верит?).

Если бы я был Вашим руководителем, и Вы пришли и сказали, что продукт готов, можно выпускать, я бы тоже, доверяя Вашему профессионализму, поверил. Экспертная оценка, нормальный метод.

Но если бы Вы при этом утверждали, что в нём нет ни одной ошибки -- я бы не поверил и потребовал объективных доказательств. Здесь экспертная оценка не работает.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#23 van

van

    Опытный участник

  • Members
  • PipPipPipPip
  • 475 сообщений
  • ФИО:Ваулин Артем Николаевич
  • Город:Россия, Санкт - Петербург

Отправлено 19 октября 2004 - 06:20

Вы что, в самом деле искренне верите, что выпущенные вами продукты не содержат ни одной проблемы?

Я не верю и, наверное, никогда не поверю :)
Так, на мой взгляд, должен подходить к своей работе любой тестировщик, тест менеджер (хотя это не совсем его работа) и все, кто так или иначе связан с QA. Может быть это грубо, но при другом подходе к тестированию результат будет менее продуктивный.

Достаточно инересные выкладки относительно количества существующих в программах ошибок есть в работе С. Канера "Тестирование программного обеспечения" (где - то в начале книги). Прочитав их, я невольно вспомнил шутку, которая ярко характеризует количество существующих в любой программе ошибок - "Перелюбить всех женщин в мире НЕ ВОЗМОЖНО, но ПОПЫТАТЬСЯ стоит" :)
  • 0
Ваулин Артем
КОРУС Консалтинг
Руководитель отдела тестирования

Мой дневник

#24 Viktor

Viktor

    Активный участник

  • Members
  • PipPip
  • 142 сообщений

Отправлено 19 октября 2004 - 06:33

У любого действия должен быть смысл.
В исходной, непротестированной программе возможно есть ошибки, не спорю. Возможно, есть и другие нерешенные вопросы - дефекты. Но продукт выпущенный нашей командой от них свободен. И в это я должен верить, потому как необоснованные сомнения раздъедают личность. А теперь представьте, что моя уверенность (человека, привыкшего все подвергать сомнению), или правильнее уверенность нашей команды, разве не является объективным доказательством?
Мой совет, любите не ВСЕХ женщин вообще - бесполезно, любите своих женщин, и они ответят Вам взаимностью.
  • 0
Виктор, Еретик РУПа

Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.

#25 Undi

Undi

    Активный участник

  • Members
  • PipPip
  • 134 сообщений
  • Город:Kiev

Отправлено 19 октября 2004 - 06:36

Ну что же, интерес вполне обоснованный и сомнения тоже.
Экспертная оценка, нормальный метод. Мы работаем в команде. Команда профессиональна. Если у кого-то есть сомнения в качестве, продукт не поставляется. Время не имеет значение, ресурсы - тоже. Качество - имеет значение. Работаем, пока все сомнения не устранены.
К Алексею: верю (хотя, я привык сомневаться во всем, как-то я уже это писал, видно к работе это не относится). Вопрос в другом, верит ли мне менеджмент? Не знаю, но если я (или другой ответственный специалист) сказал, что продукт готов, ему этого достаточно (Значит верит?).

Виктор, вопрос именно в том КАК Вы определяете, что ошибок НЕТ? Никакая оценка не даст такой гарантии на 100%.
Что именно устраняет все Ваши сомнения?
  • 0

#26 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 19 октября 2004 - 06:39

А теперь представьте, что моя уверенность (человека, привыкшего все подвергать сомнению), или правильнее уверенность нашей команды, разве не является объективным доказательством?

Конечно нет! А Вы думали, что является? Прямо таки объективным? :)
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#27 Green

Green

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 233 сообщений
  • ФИО:Гринкевич Сергей
  • Город:Москва

Отправлено 19 октября 2004 - 06:42

Как то незаметно дискуссия разделила всех на два лагеря - тех, кто считает найденные ошибки, и тех, кто считает оставшиеся.
;)

На мой взгляд, правда, как обычно, находиться посередине.

Невозможно сделать однозначный вывод на основании только одного показателя. Решение о готовности или не готовности приложения долно приниматься на основе комплексного подхода, который включает в себя как оценку найденных/не нейденных багов, проделанных/не проделанных тестов, реализованных/не реализованных требований и, возможно, массы еще дополнительных показателей.

Тогда, сами собой напрашиваются вопросы.
1. Какие именно ПОКАЗАТЕЛИ (метрики) реально используются в вашей компании для оценки уровня качества приложения ?
2. Существует ли в вашей компании ПРОЦЕДУРА выявления степени готовности приложения?
  • 0
Гринкевич Сергей

#28 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 19 октября 2004 - 06:43

У любого действия должен быть смысл.
В исходной, непротестированной программе возможно есть ошибки, не спорю. Возможно, есть и другие нерешенные вопросы - дефекты. Но продукт выпущенный нашей командой от них свободен. И в это я должен верить, потому как необоснованные сомнения раздъедают личность.

Это -- религиозный догмат, а не объективные факты. Вы можете верить во что угодно, Вы можете иметь своих последователей, Вы можете заниматься миссионерской деятельностью. Но всё это -- религия.

Не имею ничего против религии, более того, сам религиозен, но Богу -- Богово, а кесарю -- кесарево.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#29 Undi

Undi

    Активный участник

  • Members
  • PipPip
  • 134 сообщений
  • Город:Kiev

Отправлено 19 октября 2004 - 06:56

Невозможно сделать однозначный вывод на основании только одного показателя. Решение о готовности или не готовности приложения долно приниматься на основе комплексного подхода, который включает в себя как оценку найденных/не нейденных багов, проделанных/не проделанных тестов, реализованных/не реализованных требований и, возможно, массы еще дополнительных показателей.

Решение о готовности приложения допускает, что в приложении еще остался минимальный процент ошибок. Виктор же заявлет, что продукт, выпущенный их компанией, свободен от ошибок.
Вот о чем дискуссия.
  • 0

#30 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 19 октября 2004 - 07:02

Как то незаметно дискуссия разделила всех на два лагеря - тех, кто считает найденные ошибки, и тех, кто считает оставшиеся.
;)

Я отношу себя к третьему лагерю -- тех, кто считает и то и другое.
Более точно: считает, сколько найдено, для того, чтобы оценить, сколько ещё осталось.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#31 Viktor

Viktor

    Активный участник

  • Members
  • PipPip
  • 142 сообщений

Отправлено 19 октября 2004 - 07:19

Ну что же, интерес вполне обоснованный и сомнения тоже.
Экспертная оценка, нормальный метод. Мы работаем в команде. Команда профессиональна. Если у кого-то есть сомнения в качестве, продукт не поставляется. Время не имеет значение, ресурсы - тоже. Качество - имеет значение. Работаем, пока все сомнения не устранены.
К Алексею: верю (хотя, я привык сомневаться во всем, как-то я уже это писал, видно к работе это не относится). Вопрос в другом, верит ли мне менеджмент? Не знаю, но если я (или другой ответственный специалист) сказал, что продукт готов, ему этого достаточно (Значит верит?).

Виктор, вопрос именно в том КАК Вы определяете, что ошибок НЕТ? Никакая оценка не даст такой гарантии на 100%.
Что именно устраняет все Ваши сомнения?

К сожалению, наш процесс разработки очень завязан на конкретные условия.
Т.е. он работает в наших условиях рассказать о нем в двух словах не могу, на большее пока не готов.
Но я запомню Ваш интерес и по мере возможности расскажу.
Главный принцип - верификация любого продукта в любой стадии, будь то проектная модель, ТЗ или код программы. Что это значит? Например, если при тестировании, выявилось какое-либо непонимание исходных требований, значит возвращаемся к стадии анализа. Ресурсоемко, затратно по времени, но зато качественно.
  • 0
Виктор, Еретик РУПа

Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.

#32 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 19 октября 2004 - 07:23

Главный принцип - верификация любого продукта в любой стадии, будь то проектная модель, ТЗ или код программы. Что это значит? Например, если при тестировании, выявилось какое-либо непонимание исходных требований, значит возвращаемся к стадии анализа. Ресурсоемко, затратно по времени, но зато качественно.

А если, не дай Бог, не выявилось? Если пропустили, недосмотрели? Что тогда?
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#33 Undi

Undi

    Активный участник

  • Members
  • PipPip
  • 134 сообщений
  • Город:Kiev

Отправлено 19 октября 2004 - 07:36

К сожалению, наш процесс разработки очень завязан на конкретные условия.
Т.е. он работает в наших условиях рассказать о нем в двух словах не могу, на большее пока не готов.
Но я запомню Ваш интерес и по мере возможности расскажу.
Главный принцип - верификация любого продукта в любой стадии, будь то проектная модель, ТЗ или код программы. Что это значит? Например, если при тестировании, выявилось какое-либо непонимание исходных требований, значит возвращаемся к стадии анализа. Ресурсоемко, затратно по времени, но зато качественно.

Допустим, Вы уверены, что понимаете все исходные требования. Допустим, тестирование прошло успешно. Что дает Вам уверенность, что ошибок нет?
Без привязки к конкретным условиям.
  • 0

#34 Viktor

Viktor

    Активный участник

  • Members
  • PipPip
  • 142 сообщений

Отправлено 19 октября 2004 - 07:45

У любого действия должен быть смысл.
В исходной, непротестированной программе возможно есть ошибки, не спорю. Возможно, есть и другие нерешенные вопросы - дефекты. Но продукт выпущенный нашей командой от них свободен. И в это я должен верить, потому как необоснованные сомнения раздъедают личность.

Это -- религиозный догмат, а не объективные факты. Вы можете верить во что угодно, Вы можете иметь своих последователей, Вы можете заниматься миссионерской деятельностью. Но всё это -- религия.

Не имею ничего против религии, более того, сам религиозен, но Богу -- Богово, а кесарю -- кесарево.

Я бы склонен называть религией Вашу позицию, Вы верите, что этого просто не может быть не имея никаких оснований.

Поймите, даже имея объективные доказательства, можно оценивать их субъективно.
Как это получается? Вот у меня есть все объективные доказательства, результаты испытаний, оценки моделей, какие-то результаты аудитов, мнения конечных пользователей, всевозможные матрицы и диаграммы. И я говорю руководству "продукт готов", и более того начинаю верить в это. Это объективно?
Зачем мне для поддержки моей субъективной оценки приводить руководству объективные доказательства? Ему это не нужно. Все уже оценено и измерено техническими специалистами, которые выносят свои субъективные оценки. Какой ему смысл что там есть ошибки? Есть четкое требование - ошибок не должно быть вовсе (здесь довольно утрированная интерпретация).
Теперь можно и наоборот позицию рассмотреть:
Есть пользователи продукта, их два человека. Их мнение что продукт готов, объективно? Смогут ли они нанять третьего для внешнего аудита?.
Основная проблема при создании ПО - неполнота требований, и изменения технологий. Поверьте моему опыту, другие вопросы не так существенны. Даже если у вас студенты пишут программы, это не проблема. Она никогда не возникает перед руководством. Кто мешает менеджеру проекта подключить к нему лучших из лучших? Никто.
Поэтому внутри больших корпораций все четко, все знают что делать. Корпорация не поедет внезапно в другую сторону. Технологии не меняются внезапно. У корпораций есть ресурсы снизить за их счет риски. В корпорации учат людей быть ответственными. Если ты безответственнен, всегда есть возможность подвинуть. В корпорации очень трудно скрыть халатность.
Ну а уж полноту требований в корпорации обсуждать не приходится. Можно выдернуть из процесса любого ключевого пользователя, руководителя любого уровня и добиться от него любого уровня описания требований.
  • 0
Виктор, Еретик РУПа

Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.

#35 Viktor

Viktor

    Активный участник

  • Members
  • PipPip
  • 142 сообщений

Отправлено 19 октября 2004 - 07:59

Спасибо за совет.

Пока решил ограничиться только отчетами, необходимыми топ - менеджменту.

Короче говоря, что хотят, то и делаем :)

Вот здесь собственно и развивается дискуссия
Какие объективные доказательства необходимы топ-менеджменту?
Вот в моем конкретном случае разработки внутреннего ПО большой корпорации, настоящему топ-менеджменту, достаточно субъективных утверждений о готовности продукта. И это работает. (На мой взгляд van пишет о том же, но спорить не буду)

В других случаях, это может не пройти, не спорю, и даже верю в это. Но у меня частный случай, мне "повезло". Не могу за всех отвечать.
Если бы вопрос встал о каком-то другом менеджменте, (или даже обо мне), то возможно дискуссии не получилось бы. :)
  • 0
Виктор, Еретик РУПа

Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.

#36 Viktor

Viktor

    Активный участник

  • Members
  • PipPip
  • 142 сообщений

Отправлено 19 октября 2004 - 08:00

К сожалению, наш процесс разработки очень завязан на конкретные условия.
Т.е. он работает в наших условиях рассказать о нем в двух словах не могу, на большее пока не готов.
Но я запомню Ваш интерес и по мере возможности расскажу.
Главный принцип - верификация любого продукта в любой стадии, будь то проектная модель, ТЗ или код программы. Что это значит? Например, если при тестировании, выявилось какое-либо непонимание исходных требований, значит возвращаемся к стадии анализа. Ресурсоемко, затратно по времени, но зато качественно.

Допустим, Вы уверены, что понимаете все исходные требования. Допустим, тестирование прошло успешно. Что дает Вам уверенность, что ошибок нет?
Без привязки к конкретным условиям.

Верификация
  • 0
Виктор, Еретик РУПа

Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.

#37 Viktor

Viktor

    Активный участник

  • Members
  • PipPip
  • 142 сообщений

Отправлено 19 октября 2004 - 08:01

Главный принцип - верификация любого продукта в любой стадии, будь то проектная модель, ТЗ или код программы. Что это значит? Например, если при тестировании, выявилось какое-либо непонимание исходных требований, значит возвращаемся к стадии анализа. Ресурсоемко, затратно по времени, но зато качественно.

А если, не дай Бог, не выявилось? Если пропустили, недосмотрели? Что тогда?

Бывает, что же делать, прыгаем дальше, пока не будет качество.
  • 0
Виктор, Еретик РУПа

Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.

#38 Viktor

Viktor

    Активный участник

  • Members
  • PipPip
  • 142 сообщений

Отправлено 19 октября 2004 - 08:04

Как то незаметно дискуссия разделила всех на два лагеря - тех, кто считает найденные ошибки, и тех, кто считает оставшиеся.
;)

Я отношу себя к третьему лагерю -- тех, кто считает и то и другое.
Более точно: считает, сколько найдено, для того, чтобы оценить, сколько ещё осталось.

Согласен
  • 0
Виктор, Еретик РУПа

Нельзя обсуждать здесь ересь, если только мы не размышляем, как ее уничтожить.

#39 Green

Green

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 233 сообщений
  • ФИО:Гринкевич Сергей
  • Город:Москва

Отправлено 19 октября 2004 - 08:07

Спасибо за совет.

Пока решил ограничиться только отчетами, необходимыми топ - менеджменту.

Короче говоря, что хотят, то и делаем :)

Вот здесь собственно и развивается дискуссия
Какие объективные доказательства необходимы топ-менеджменту?
Вот в моем конкретном случае разработки внутреннего ПО большой корпорации, настоящему топ-менеджменту, достаточно субъективных утверждений о готовности продукта. И это работает. (На мой взгляд van пишет о том же, но спорить не буду)

В других случаях, это может не пройти, не спорю, и даже верю в это. Но у меня частный случай, мне "повезло". Не могу за всех отвечать.
Если бы вопрос встал о каком-то другом менеджменте, (или даже обо мне), то возможно дискуссии не получилось бы. :)

Viktor,
допускаю, что между Вами и Вашим топ-мереджером происходит следующий диалог:
ТМ: - Продукт готов?
V: - Готов!
ТМ: - Смотри, головой отвечаешь!
V: - Дык, тык, мык, как всегда!
ТМ: - Тогда запускай!

Но что позволяет Вам быть субъективно уверенным, что разрабатываемое приложение готово?
  • 0
Гринкевич Сергей

#40 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 19 октября 2004 - 08:13

Я бы склонен называть религией Вашу позицию, Вы верите, что этого просто не может быть не имея никаких оснований.

Почему же, я верю, что ошибок в программе может не быть, верю в то, что бывают такие программы :)

Зачем столько пафоса, красивых слов про халатность и безответственность. Обсуждается простой и понятный вопрос: как Вы лично убеждаете себя в том, что ошибок в программе нет? Методом аутотренинга? :)

Лично я себя в этом не убеждаю. Потому что это убеждение не поможет мне решать проблемы, которые возникнут, если ошибки всё таки есть. А предварительная оценка (пусть даже неточная) поможет.

Либо Вы используте некоторый объективный показатель, который позволяет с уверенностью сказать, что ошибок нет. Нет и точка. Тогда расскажите, какой же, если это не является Вашим личным или корпоративным секретныи ноу-хау. Ибо, если показатель действительно объективный, они может быть измерен не только вами, но и кем-то другим (в идеале -- кем угодно).

Вы упомянули верификацию. Что Вы имели в виду -- динамическую верификацию (в просторечии называемую тестированием) или формальную проверку правильности программы?
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных