Перейти к содержимому

Фотография

Зачем тестировать


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 22

#1 kuzmenko2

kuzmenko2

    Новый участник

  • Members
  • Pip
  • 2 сообщений

Отправлено 25 июня 2016 - 18:02

На собеседовании попросили рассказать, зачем вообще тестировать. В разных книжках по-разному пишут...

Подскажите юниору - какая цель тестирования?


  • 0

#2 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 26 июня 2016 - 10:42

А что же такого разного пишут в книжках?

 

Цель тестирования - это предоставление информации заказчику тестирования о состоянии продукта.


  • 0

#3 kuzmenko2

kuzmenko2

    Новый участник

  • Members
  • Pip
  • 2 сообщений

Отправлено 26 июня 2016 - 11:48

У Савина:
 

Цель тестирования — это нахождение багов до того, как их найдут пользователи.

У Баранцева:
 

 
тестирование — это проверка соответствия программы требованиям,осуществляемая путем наблюдения за ее работой в специальных, искусственно созданных ситуациях, выбранных определенным образом.

  • 0

#4 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 26 июня 2016 - 13:00

Да уж:)

 

На мой взгляд у Романа определение неполное, потому что, если вы не нашли ошибок в программе, где их нет, то цель не достигнута что ли?

 

А у Алексея все верно, но в другой формулировке. Потому что после проверки соответствия на требования вы сможете сказать заказчику тестирования как работает программа.


  • 0

#5 astenix

astenix

    Специалист

  • Members
  • PipPipPipPipPip
  • 906 сообщений
  • ФИО:Лёша Лупан
  • Город:Кишинев


Отправлено 26 июня 2016 - 13:04

У Савина все упрощенно.

 

У Баранцева точнее, но технократично.

 

Василий сказал все то же самое, но абстрактнее и всеобъемлюще.

 

На собеседованиях не получится сказать одно, правильное, всеобъемлющее определение. Если собеседующий уверен в том, что смысл тестирования в поиске багов, то именно это он и ожидает услышать.

 

Уже хотя бы поэтому у вас должно быть свое, устойчивое, однозначное понимание смысла тестирования.

 

От этого "смысела" сильно зависит все остальное понимание тестирования, поэтому сосредоточьтесь.


  • 0

Software Testing Glossary - простыми словами о непростых словах.


#6 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 26 июня 2016 - 13:17

 

 

Цель тестирования - это предоставление информации заказчику тестирования о состоянии продукта.

Да, ну? Неужели?

Т.е. если мы просто скажем заказчику, что продукт "не очень", то цель выполнена? И больше ничего не надо? Никому ничего предоставлять. 

 

На всякий случай дам ссылку о "правильных" ответах: http://blog.shumoos.com/archives/299


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#7 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 26 июня 2016 - 16:10

 

 

 

Цель тестирования - это предоставление информации заказчику тестирования о состоянии продукта.

Да, ну? Неужели?

Т.е. если мы просто скажем заказчику, что продукт "не очень", то цель выполнена? И больше ничего не надо? Никому ничего предоставлять. 

Сергей, можно более подробно? Мы не скажем заказчику "не очень", а предоставим отчет с проверками требований к данному ПО или здравым смыслом.


  • 0

#8 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 27 июня 2016 - 09:25

Есть такая хорошая практика, делать в начале проекта расчет числа ошибок, которые необходимо найти и исправить, чтобы продукт стал "достаточно хорошим". Такой расчет можно сделать с высокой точностью.

 

Далее используем классику научного метода, подход "Если, то"

 

1. Если "Наш расчет показал, что в продукте нужно найти и исправить 2000 дефектов", то "вся информация о качестве продукта у заказчика тестирования уже есть".

2. Если "вся информация о качестве продукта у заказчика тестирования уже есть" и "цель тестирования - это предоставление информации заказчику тестирования о состоянии продукта", то "тестирование этого продукта не дает никакой дополнительной ценности".

 

 

Если "цель тестирования - это предоставление информации заказчику тестирования о состоянии продукта." и если "Мы получили эту информацию без тестирования.",  то тестирование на этом проекте не нужно.

Ну, есть там баги и есть. Ну, и что? Главное информация о качестве есть.

 

И в заключении. Для расчета даты выпуска и синхронизации работы других служб (рекламный отдел, продавцы, админы заказчика, закупщики серверов, тренеры, персонал заказчика, который надо обучать ...) нужна не информация о качестве, а профиль изменения качества. Это я вам как руководитель проектов говорю. По этому профилю делается расчет даты выпуска. В тех проектах, где я делал такой расчет точность была 5-10%. Правда выборка статистически нерепрезентативна, но тем не менее.

 

PS. Проблема в том, что книги о тестировании, как правило пишут тестировщики. А на проблемы надо смотреть не с точки зрения локального оптимума, а целиком. А это уровень даже не руководителя разработки.

 

PSS. Не надо соглашаться со мной прямо сейчас. Когнитивные искажения не дадут. Рекомендую пару статей: Байесианское дзюдо и Вера в убеждения . 


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#9 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 27 июня 2016 - 10:07

Я давно понял, вот прямо сразу с тобой соглашаться очень сложно! :)


  • 0

#10 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 27 июня 2016 - 10:19

Что такое "профиль изменения качества" и где про это можно почитать?


  • 0

#11 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 28 июня 2016 - 10:47

Кажется мои слова вырвали из контекста, поэтому напишу свою точку зрения, дабы избежать неправильных интерпретаций.

 

Вообще-то я согласен с тем, что написал Василий:

 

Цель тестирования - это предоставление информации заказчику тестирования о состоянии продукта.

 

Почему же мне приписали другое определение? Потому что нужно различать вопросы "зачем тестировать?" и "как тестировать?" (ну или в более традиционной постановке вопроса -- "что делать?")

 

Цель тестирования -- это предоставление информации заказчику о качестве продукта. Это ответ на вопрос "зачем" -- затем, что эта информация используется для принятия каких-то решений. Например, решения о том, можно выпускать продукт или нет. Или решения о том, уволить разработчика или премировать.

 

Но такая формулировка цели не даёт ответа на вопрос "что делать?", как добыть эту самую информацию о качестве продукта?

 

Поэтому возникают более конструктивные определения, типа такого:

 

У Баранцева:

тестирование — это проверка соответствия программы требованиям, осуществляемая путем наблюдения за ее работой в специальных, искусственно созданных ситуациях, выбранных определенным образом.

 

Это определение достаточно хорошо подходит для разных видов тестирования, не только для функционального тестирования. И тестирование производительности, и тестирование защищенности, и тестирование удобства использования -- все они выполняются путём наблюдения за работой программы в специальных искусственно созданных ситуациях. А правила создания этих искусственно созданных ситуаций, конечно, для разных видов тестирования разные.

 

Есть ли другие способы получения информации о качестве продукта, которые тестированием не являются вообще? Да, есть. Например, статический анализ кода. Или мониторинг программы в режиме эксплуатации, один из китов, на которых держится девопс: задеплоили и смотрим, не сломалось ли чего, если сломалось -- быстро откатываем обратно. Ни то ни другое не является тестированием согласно вышеприведённому определению. В первом случае мы не наблюдаем за работой программы, мы её вообще не запускаем, только анализируем код. Во втором случае мы не создаём искусственно никаких специальных ситуаций, просто наблюдаем за работой программы в естественных условиях.

 

Ну и отвечая на провокационные вопросы Сергея:

 

Т.е. если мы просто скажем заказчику, что продукт "не очень", то цель выполнена? И больше ничего не надо? Никому ничего предоставлять. 

 

Если заказчику для принятия решения достаточно информации в виде короткой фразы "продукт не очень" -- значит, достаточно. Это и есть "предоставление информации" в данном примере. Это так называемые "измерения первого порядка", подробнее смотрите здесь: http://software-test...-of-measurement (в конце статьи список дополнительной литературы по теме).

 

1. Если "Наш расчет показал, что в продукте нужно найти и исправить 2000 дефектов", то "вся информация о качестве продукта у заказчика тестирования уже есть".

 

А это просто логически некорректный переход, поэтому всё дальнейшее рассуждение не имеет смысла.


  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#12 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 28 июня 2016 - 13:32

Что такое "профиль изменения качества" и где про это можно почитать?

Если напишу в блоге, то можно будет прочитать.


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#13 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 28 июня 2016 - 13:34

Окей. Алексей, а что такое информация о качестве? Возможно, у нас разногласия именно в определении?

Потому как информацию о качестве в том числе предоставляют: программисты, дизайнеры, аналитики, конечные пользователи. В чем специфика тестирования? "Информация" - слишком обще. Слишком. И порождает множество неправильных интерпретаций.  С тем же успехом можно написать: "В проекте разные рабочие центры предоставляют другим центрам информацию." Все вроде правильно, но совершенно бесполезно.


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#14 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 28 июня 2016 - 14:49

Вопрос про цель тестирования достаточно сложный. Задавать его на собеседовании... "А докажите-ка, батенька, гипотезу Пуанкаре". В книге "Цель" показано, как мучительно Алекс искал ответ на "простой" вопрос "в чем цель фирмы". Что же касается метрик завода, метрик достижения цели, то самостоятельно их разработать не смог.


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#15 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 01 июля 2016 - 13:32

Подскажите юниору - какая цель тестирования?

 

Вопрос про цель тестирования достаточно сложный. Задавать его на собеседовании... "А докажите-ка, батенька, гипотезу Пуанкаре". В книге "Цель" показано, как мучительно Алекс искал ответ на "простой" вопрос "в чем цель фирмы". Что же касается метрик завода, метрик достижения цели, то самостоятельно их разработать не смог.

 

Сергей, так можно всех джуниоров распугать :)

 

Вот подходит к вам недавно принятый молодой специалист, и спрашивает -- "ну, я понял, что надо границы проверять, что надо вот такие попарные комбинации проверять, но зачем мы вообще это делаем"? И вместо того, чтобы дать простой и понятный ответ -- "та информация, которую мы получили, выполняя эти действия, будет использоваться при принятии таких-то и таких-то решений", вы отвечаете джуниору -- "понимаешь, всё очень сложно, на этот вопрос никто не знает ответа, если хочешь можешь почитать вот эту книжку про экзистенциальный кризис директора завода по производству какой-то металлической фигни, и может быть у тебя случится просветление и ты всё поймёшь..."


  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#16 Сергей

Сергей

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 245 сообщений
  • Город:Москва

Отправлено 01 июля 2016 - 13:39

Вот бадягу-то развели...


  • 0

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#17 Сергей

Сергей

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 245 сообщений
  • Город:Москва

Отправлено 01 июля 2016 - 14:13

Вот вы придете к доктору и спросите: "Доктор, а зачем вы меня будете проверять?! Давайте сразу меня лечить!)"

Не надо делать из простых вещей что-то загадочное и очень сложное. Это вам не гипотеза Пуанкаре! Даже не функциональный анализ 2-го курса.

И ещё раз скажу, читать лучше сразу хорошую и классическую литературу, а не искать какая попроще. Лично я не рекомендую читать Савина, тем более брать оттуда определения.


  • 0

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#18 Vasiliy

Vasiliy

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 959 сообщений
  • ФИО:Касимов Василий
  • Город:Москва

Отправлено 01 июля 2016 - 19:46

Сергей, за Савина яростно поддерживаю!)


  • 0

#19 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 02 июля 2016 - 10:30

Окей. Алексей, а что такое "информация о качестве"?


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#20 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 02 июля 2016 - 10:30

И ещё раз скажу, читать лучше сразу хорошую и классическую литературу, а не искать какая попроще. Лично я не рекомендую читать Савина, тем более брать оттуда определения.

Присоединяюсь.


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных