Перейти к содержимому

Фотография

Мутационное тестирование


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 15

#1 Фрося

Фрося

    Специалист

  • Members
  • PipPipPipPipPip
  • 514 сообщений
  • ФИО:Радилова Елена Игоревна

Отправлено 06 июня 2012 - 08:13

Есть у кого-нибудь опыт использования?
  • 0
Почему-то по пятницам особо остро хочется быть блондинкой....

#2 stmark

stmark

    Опытный участник

  • Members
  • PipPipPipPip
  • 404 сообщений
  • ФИО:Докучаев Сергей
  • Город:Ярославль


Отправлено 06 июня 2012 - 08:47

Заранее жутко завидую тем, кто может себе позволить такую роскошь.
  • 0

#3 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 08 июня 2012 - 23:06

Есть у кого-нибудь опыт использования?

старый баян по теме #define TRUE FALSE
  • 0

#4 Natalya Rukol

Natalya Rukol

    Профессионал

  • Admin
  • PipPipPipPipPipPip
  • 2 001 сообщений
  • Город:Moscow


Отправлено 09 июня 2012 - 01:24

Заранее жутко завидую тем, кто может себе позволить такую роскошь.

Отличный комментарий!

Опыт ради фана и познания мира есть, полезным назвать не могу - за те же трудозатраты можно было достичь бОльших результатов, используя другие техники.

Мутационное тестирование нужно, когда кажется, что всё идеально. Я в таких условиях пока что не работала, увы.
  • 0

#5 Фрося

Фрося

    Специалист

  • Members
  • PipPipPipPipPip
  • 514 сообщений
  • ФИО:Радилова Елена Игоревна

Отправлено 09 июня 2012 - 07:04

Потому и вопрос возник. ))) Дабы понять - надо ли думать в эту сторону)).
TRUE и FALSE улыбнуло, что баян? -не встречала)).
  • 0
Почему-то по пятницам особо остро хочется быть блондинкой....

#6 garryname

garryname

    Новый участник

  • Members
  • Pip
  • 42 сообщений

Отправлено 09 июня 2012 - 17:44

Тикстоун
  • 0

#7 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 10 июня 2012 - 00:02

TRUE и FALSE улыбнуло, что баян? -не встречала)).

Старая байка про уволенного разработчика и один из его последних сабмитов с комментарием "удачной отладки, %@#&^!"
  • 0

#8 garryname

garryname

    Новый участник

  • Members
  • Pip
  • 42 сообщений

Отправлено 10 июня 2012 - 18:38

Тикстоун
  • 0

#9 owasp

owasp

    Активный участник

  • Members
  • PipPip
  • 87 сообщений

Отправлено 10 июня 2012 - 20:26

Критика.
1) Опытный участник, а я не завидую тем, кто может себе позволить надеяться "дыры" тестирования выявлять не аналитическим путём, а мутацией кода.

Вы не правы. Тестирование бывает разное. почитайте: http://habrahabr.ru/post/142958/ (Фаззинг браузера Chrome: 6000 инстансов, 50 млн вариантов в сутки).
Фаззинг делается не для надежды выявить что-то после тестирования. Он для раннего обнаружения проблем. Он выявляет "дыры" оставшиеся после рецензирования кода, а не "дыры" оставшиеся после тестирования.

Другой вопрос, что если человек не знаком с отладчиком, анализом дампов, а обладает лишь аналитическими способностями. То ему понадобится немало времени, чтобы понять - что же делать с результатами мутационного тестирования. Что из трёх миллионов падений и ошибок указывает на дефекты, и на сколько они критичны? Придётся месяц медитировать на дампы, отчёты библиотек-обёрток (которые внедряются в программу для выявления утечек, профилирования, ...), настройки компиляторов и исходный код, а вероятнее год, и лишь потом их можно будет просто читать эти логи и дампы. Лишь потом.
  • 0

#10 garryname

garryname

    Новый участник

  • Members
  • Pip
  • 42 сообщений

Отправлено 10 июня 2012 - 21:38

Тикстоун
  • 0

#11 stmark

stmark

    Опытный участник

  • Members
  • PipPipPipPip
  • 404 сообщений
  • ФИО:Докучаев Сергей
  • Город:Ярославль


Отправлено 11 июня 2012 - 00:11

Какая прелесть, тролли на форуме :)
  • 0

#12 owasp

owasp

    Активный участник

  • Members
  • PipPip
  • 87 сообщений

Отправлено 11 июня 2012 - 05:44

...Фаззинг... (да он понятия не имеет, что такое мутационное тестирование)

Верно.
Мутационное тестирование (мутационный анализ или мутация программ) — это метод тестирования программного обеспечения, который включает небольшие изменения кода программы.[1] Если набор тестов не в состоянии обнаружить такие изменения, то он рассматривается как недостаточный.

Удаляюсь в стыде заниматься фаззингом.
  • 0

#13 garryname

garryname

    Новый участник

  • Members
  • Pip
  • 42 сообщений

Отправлено 11 июня 2012 - 22:16

Тикстоун
  • 1

#14 Фрося

Фрося

    Специалист

  • Members
  • PipPipPipPipPip
  • 514 сообщений
  • ФИО:Радилова Елена Игоревна

Отправлено 12 июня 2012 - 12:24

Фрося, а Вам не приходилось периодически выяснять у разработчиков, - какие пропущенные Вами (Вашим набором тестов) баги они сами находили/исправляли попутно с фиксами багрепортов или рефакторингом? Подумайте в эту сторону... для выявления дефектов, усовершенствования тестовых наборов.

)) были моменты когда и код вычитывала)).

)) Меня интересует наличие опыта личного в мутационном теститровании. ОК?
И личные впечатления. ОК?
Какого типа был проект, что дало мутационное тестирование и тыпы.
  • 0
Почему-то по пятницам особо остро хочется быть блондинкой....

#15 Zhu

Zhu

    Опытный участник

  • Members
  • PipPipPipPip
  • 288 сообщений
  • ФИО:Рина Ужевко
  • Город:Москва


Отправлено 13 июня 2012 - 11:15

не сталкивалась.
Но любопытненько б было.
  • 0
Bugs@Feature
Не бывает совершенных программ, бывают недотестированные.

#16 adzynia

adzynia

    Постоянный участник

  • Members
  • PipPipPip
  • 210 сообщений
  • ФИО:Дзыня Андрей


Отправлено 03 мая 2013 - 07:48

Мы прикрутили http://pitest.org/ для unit тестов. С его помощью можно проверить насколько адекватно написаны тесты. Не идеально конечно, но все же немного защищает от лени разработчиков
  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных