Перейти к содержимому

Фотография

Бесконечные баги


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 79

#1 notProgrammer

notProgrammer

    Постоянный участник

  • Members
  • PipPipPip
  • 199 сообщений
  • Город:Харьков

Отправлено 13 мая 2011 - 14:54

Тестирую новую фичу. Нахожу баги. Составляю репорты. Баги чинятся. Мной проверяются. С этой фичей закончили. Перешли к другой.
Месяца через 3 во время тестирования другого функционала захожу (не с целью тестирования уже, а с целью использования) в ту часть приложения, которая мной же была проверена раньше (3 месяца назад). И выхватываю ТАКОЕ. Не просто минорные недочёты какие-то, а жуткие crash, которых, пока я это "место" тестировала, не было!
Или ещё ситуация. 3 раза чинили один и тот же баг. Я про это знаю, т.к. сама его и находила. Вторые 2 раза чисто случайно... Надеюсь, что не найду 4 раз.
Это же бесконечность... Так же количество багов не уменьшится никогда. Как в этой ситуации можно сказать: "Я проверила, всё ОК?"
Как с этим бороться? Кроме как писать автоматические тесты (мне, просто это не по зубам)?
  • 0
- Как называется человек, который любит смотреть на страдания других?
- Программист.

У тестировщика всегда чётное количество синяков: если он наступил на грабли - обязан воспроизвести ошибку.
(bash.org)

#2 rlabs

rlabs

    Специалист

  • Members
  • PipPipPipPipPip
  • 660 сообщений
  • Город:Россия, Санкт-Петербург

Отправлено 13 мая 2011 - 17:01

Первая ситуация нормальная и объясняется отсутствием хоть какого–то приемочного тестирования. Бывает очень немного ситуаций, когда область продукта после «проверки» никогда больше не подвергается изменениям.

Вторая ситуация менее нормальна, но тоже традиционна. В команде отсутствует культура качества. Тестированием это не лечится, а иногда даже ухудшается, так как стимулирует практику «накодим— не получится— исправим». Лечится правильной постановкой целей, обучением и социальной работой, а также применением других видов тестирования, например модульного.
  • 0

#3 Zhu

Zhu

    Опытный участник

  • Members
  • PipPipPipPip
  • 288 сообщений
  • ФИО:Рина Ужевко
  • Город:Москва


Отправлено 13 мая 2011 - 18:45

расскажу как лично я делаю:
если вводим нечто новое, то во время стресс-теста или регресс-я стараюсь продумать,что еще могло затронуться, или что могло навернуться
Понятно, что обнаружить все-все-все невозможно, но критические баги не возникали ни разу.
*пойду постучу по дереву*

И да, предупреждая комменты, проект большой, функционирует уже 3 -ий год, выходы разных версий часто, и я одна на весь проект.

В вашей ситуации, думаю, это косяк программистов.
Копирование кодов с предыдущих версий, или еще что-то.

и полносью согласна, что лечится обучением и банальными организационными методами.

тут не в кол-ве багов проблема, а к подходу исправления их.

утверждать, коненчо, не берусь, но с моей позиции выглядит именно так.
  • 0
Bugs@Feature
Не бывает совершенных программ, бывают недотестированные.

#4 LeshaL

LeshaL

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 094 сообщений
  • ФИО:Алексей Лянгузов
  • Город:Saint-Petersburg


Отправлено 13 мая 2011 - 18:48

Первая ситуация нормальная и объясняется отсутствием хоть какого–то приемочного тестирования. Бывает очень немного ситуаций, когда область продукта после «проверки» никогда больше не подвергается изменениям.

Вторая ситуация менее нормальна, но тоже традиционна. В команде отсутствует культура качества. Тестированием это не лечится, а иногда даже ухудшается, так как стимулирует практику «накодим— не получится— исправим». Лечится правильной постановкой целей, обучением и социальной работой, а также применением других видов тестирования, например модульного.

Ревью кода помогает очень (peer review). Но для этого надо, чтобы программисты разумные и "зрелые" были, а не борзописцы и пофигисты, чтобы сами этого хотели и понимали ценность раннего нахождения ошибки.

И да, согласен на все 100 - тестированием не лечится.
  • 0
Regards,
Alexey

#5 rlabs

rlabs

    Специалист

  • Members
  • PipPipPipPipPip
  • 660 сообщений
  • Город:Россия, Санкт-Петербург

Отправлено 14 мая 2011 - 10:39

Ревью кода помогает очень (peer review). Но для этого надо, чтобы программисты разумные и "зрелые" были, а не борзописцы и пофигисты, чтобы сами этого хотели и понимали ценность раннего нахождения ошибки.

Согласен, хорошая практика, если есть время и понимание цели.
  • 0

#6 LeshaL

LeshaL

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 094 сообщений
  • ФИО:Алексей Лянгузов
  • Город:Saint-Petersburg


Отправлено 15 мая 2011 - 17:39


Ревью кода помогает очень (peer review). Но для этого надо, чтобы программисты разумные и "зрелые" были, а не борзописцы и пофигисты, чтобы сами этого хотели и понимали ценность раннего нахождения ошибки.

Согласен, хорошая практика, если есть время и понимание цели.

На мой взгляд, наличие времени не так существенно (ну а более грубо "не может быть отговоркой"), т.к. в конечном итоге время, возможно, даже экономится.
Цифрами подтвердить не могу, и даже не знаю, как бы это можно было сделать.

Пример, когда время экономится: человек, зная что будет ревью, старается заливать код небольшими кусочками, т.к. их проревьвють намного проще. Соотвественно, код быстрее попадает в продукт, быстрее попадает в тестирование, раньше находятся и чинятся баги. Когда правило нарушается и идет большой объем нового/измененного кода, то тогда да, задержки при ревью и снижение его качества и никакого раннего попадания в тестирование или попадание сильно бажного кода.

Да и вообще это просто культура программирования. Жаль, что большинство людей, работающих в IT с этим не сталкивалось.
  • 0
Regards,
Alexey

#7 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 16 мая 2011 - 07:35

  • Статистика говорит о том, что более 50% дефектов вносится в программу до кодирования.
  • Исходя из теории ограничений, контроль качества до узкого места приносит огромный эффект и является одним из мощнейших способов поднятия производительности фирмы.
  • Исходя из теории ограничений, узким местом следует делать самый дорогой или уникальный участок.
  • Статистика говорит о том, что кодирование, как правило, является самым дорогим участком.
Вывод:
Дефекты нужно править до написания кода, а не после него.

[b]Начать искать ошибки после написания кода это как начать делать бекапы после поломки винта. 
В принципе полезно, но несколько поздновато. [/b]]

  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#8 AxelM

AxelM

    Активный участник

  • Members
  • PipPip
  • 118 сообщений
  • ФИО:Зверев Дмитрий
  • Город:Санкт-Петербург


Отправлено 16 мая 2011 - 07:45

Почему же не лечится тестированием?
Автоматизированное тестирование: один раз написали тест и уже автоматически назначаете баг на разработчика. С Вашей стороны работа минимальна, а от непроверенного кода разработчика выводы пусть делает его начальство.
  • 0

#9 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 16 мая 2011 - 08:37

Почему же не лечится тестированием?
Автоматизированное тестирование: один раз написали тест и уже автоматически назначаете баг на разработчика. С Вашей стороны работа минимальна, а от непроверенного кода разработчика выводы пусть делает его начальство.


С Вашей стороны работа минимальна

во-первых, там работы ого-то сколько!
хорошо, если это простое web-приложение, тогда selenium ide - наше все, и можно справиться сравнительно малыми силами.
а если это desktop продукт, написанный с использованием кастом-контролов?

а во-вторых, вы невнимательно прочитали начальный пост :)

Кроме как писать автоматические тесты (мне, просто это не по зубам)?


  • 0

#10 Wolonter

Wolonter

    Постоянный участник

  • Members
  • PipPipPip
  • 205 сообщений
  • ФИО:Макс
  • Город:Екатеринбург


Отправлено 16 мая 2011 - 08:49

Или ещё ситуация. 3 раза чинили один и тот же баг.
Это же бесконечность... Так же количество багов не уменьшится никогда. Как в этой ситуации можно сказать: "Я проверила, всё ОК?"
Как с этим бороться?


Как я понимаю и как выше подсказывают люди - здесь лучше поработать над этапом программирования (они могут ревью кода и юнит тесты, а у вас нет времени\возможности написания регрессионных АТ).

И, если без деятельного участия пограммистов ситуацию не исправить, то проблема решается не технически, а организационно.

Поэтому делаем рожу кирпичом, готовимся к сотням ненависти и используем бюрократический аппарат. В три этапа.

  • Пишем письмо программистам с искренней просьбой больше так не делать, потому как это плохо и вообще. Предлагаем им варианты решения. Чтоб они помогли тебе или ты им.
  • Они не послушались. Пересылаем это письмо менеджеру проекта, повторяем то же самое и добавляем, что из за этого сильно страдает качество (3 креш бага) и время тестирования (+ стопицот трудодней).
  • Менеджер раздал пенделей программистам, но не помогло - повторяем действия еще раз.

Эскалация проблемы же.

Вместо менеджера для начала можно взять тимлида пограммистов. Он, кстати, вполне может с высоты своих знаний подсказать грамотное решение проблемы.
  • 0

#11 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 16 мая 2011 - 10:04

  • Пишем письмо программистам с искренней просьбой больше так не делать, потому как это плохо и вообще. Предлагаем им варианты решения. Чтоб они помогли тебе или ты им.
  • Они не послушались. Пересылаем это письмо менеджеру проекта, повторяем то же самое и добавляем, что из за этого сильно страдает качество (3 креш бага) и время тестирования (+ стопицот трудодней).
  • Менеджер раздал пенделей программистам, но не помогло - повторяем действия еще раз.

Это личный опыт? И каковы были результаты?
  • 0

#12 Wolonter

Wolonter

    Постоянный участник

  • Members
  • PipPipPip
  • 205 сообщений
  • ФИО:Макс
  • Город:Екатеринбург


Отправлено 16 мая 2011 - 10:18


  • Пишем письмо программистам с искренней просьбой больше так не делать, потому как это плохо и вообще. Предлагаем им варианты решения. Чтоб они помогли тебе или ты им.
  • Они не послушались. Пересылаем это письмо менеджеру проекта, повторяем то же самое и добавляем, что из за этого сильно страдает качество (3 креш бага) и время тестирования (+ стопицот трудодней).
  • Менеджер раздал пенделей программистам, но не помогло - повторяем действия еще раз.

Это личный опыт? И каковы были результаты?


Были случаи с Success как на этапе 1, так и на этапе 2. Со мной в качестве объекта воздействия - и этапе три, да =) . Был случай, когда такой подход был неуместен.

Думаю, что это может работать при условиях, когда у тестировщика нет прав на изменение процесса разработки, когда у него есть стоящая идея как это сделать и когда никто из участников не встает в позицию "я д'артаньян" (заменим в моем посте "пендель" на "предложение"). Условия реальны.
  • 0

#13 leftCh

leftCh

    Постоянный участник

  • Members
  • PipPipPip
  • 179 сообщений

Отправлено 16 мая 2011 - 17:29

Плюнуть еще можно. Чтобы обезопасить себя от претензий руководства, сохраняйте экземпляр (номер версии) программы, которую вы протестировали.
  • 0

#14 Zhu

Zhu

    Опытный участник

  • Members
  • PipPipPipPip
  • 288 сообщений
  • ФИО:Рина Ужевко
  • Город:Москва


Отправлено 16 мая 2011 - 18:42

Плюнуть еще можно. Чтобы обезопасить себя от претензий руководства, сохраняйте экземпляр (номер версии) программы, которую вы протестировали.


вот уж точно не советую)
Баги есть - и обнаружение их ваша задача.

А если вас "достало", что баги вылазят снова- и снова - то соглашусь с предыдущим ответом- пишем письмо лиду прогеров -если есть.
Если ситуация останется в той же стадии и ничего не изменится - Ваяем письмо ПМ в копию включаем всех кто с этим у вас связан - и описываете проблему
(личный опыт)

Это не донос на кого-то - это нормальная работа

А елси вы плюнете - а потом выплывет, что вы не нашли баг - взгреют вас же.
И скажут - какого ж фига ты молчал(-а), что существует такая проблема???

Дергайте всех и вся кого только можете - это также ваша работа.

Удачи вобщем.

У меня все закончилось как нельзя лучше.)
  • 0
Bugs@Feature
Не бывает совершенных программ, бывают недотестированные.

#15 Borpheus

Borpheus

    Новый участник

  • Members
  • Pip
  • 7 сообщений


Отправлено 17 мая 2011 - 07:46

ИМХО, в данной ситуации нужно серьезно поговорить о качестве кода с разработчиками и особенно с их лидом. И с ПМом тоже, конечно. Регрессионные дефекты нужно сводить к минимуму, а, судя по сообщению топик-стартера, их проявления после написания нового кода довольно часты.
В крайнем случае, если причина регрессии неустранима, можно попросить расширить штат тестировщиков или увеличить время тестирования для прогонки регрессионного набора тестов. А регрессионные тесты (авто или хоть мануальные) нужно обязательно писать уже сейчас. Между прочим, отчет по пройденным регрессионным тестам обычно ценится кастомерами.
И лучше всё это скомбинировать.
P.S. плевать на баги - наихудший вариант. Без стремления к повышению качества продукта не будет кайфа от работы.
  • 0

#16 Vestalka

Vestalka

    Опытный участник

  • Members
  • PipPipPipPip
  • 423 сообщений
  • ФИО:Татьяна
  • Город:Haarlem


Отправлено 17 мая 2011 - 09:39

Поэтому делаем рожу кирпичом, готовимся к сотням ненависти и используем бюрократический аппарат. В три этапа.


Я лично против войны с программистами (пусть даже и скрытой)...
Но вот работать с такими быдлокодерами приходилось. К сожалению. Когда одна бага фиксится 7 (!!!) раз, каждый раз из нее выплывают все больше и больше смежных багов... И когда тестишь это в восьмой раз, кажется, что проще вернуть ту первую багу. Которая хотя бы была одна...

Сейчас у нас процветает парное программирование и код-ревью. И я работаю с программистами, а не быдлокодерами ))) Но все равно ситуации бывают разные, скажем прямо. И когда фиксится одно подчас ломается другое.
Но! Все это решается организацией производства и мотивацией (личной или навязанной).
В моей команде мотивация высокая, у меня нет проблем вообще. Иногда меня зовут "потестировать" соседний проект. И там есть несколько программистов, работать с которыми ну очень сложно: очень долго фиксятся баги (если фиксятся), что-то ломается.... В таких случаях я иду к "хранителю процесса" )))) Она быстро наводит порядки, кого надо - мотивирует. И работать становится пусть не легко и приятно, но возможно ))) До менеджера у нас такие вещи не доходят.

А еще: программисты - это дети. ))) А т.к. среди тестировщиков много девушек - работать с программистами проще. )) Их надо хвалить (ведь дети любят, когда их хвалят), носить всякие вкусности (например, печеньки или шоколадки - дети любят сладкое) и обязательно в кругу других программистов (например, из другого проекта) в присутствии "охваливаемого" упоминать о мега-крутом фиксе последних времен (дети очень любят признание в кругу сверстников).
Только это между нами ))))
  • 0

#17 leftCh

leftCh

    Постоянный участник

  • Members
  • PipPipPip
  • 179 сообщений

Отправлено 17 мая 2011 - 10:50

А еще: программисты - это дети. ))) А т.к. среди тестировщиков много девушек - работать с программистами проще. )) Их надо хвалить (ведь дети любят, когда их хвалят), носить всякие вкусности (например, печеньки или шоколадки - дети любят сладкое) и обязательно в кругу других программистов (например, из другого проекта) в присутствии "охваливаемого" упоминать о мега-крутом фиксе последних времен (дети очень любят признание в кругу сверстников).
Только это между нами ))))

Может я чего не понимаю в этой жизни, но тестировщики такие же участники процесса, как и все остальные, а не блондинки уровня "подай, принеси, пошланафиг". Непонятно, вы вообще цените свои профессиональные навыки? Если да, то к чему эти заискивания?
  • 0

#18 leftCh

leftCh

    Постоянный участник

  • Members
  • PipPipPip
  • 179 сообщений

Отправлено 17 мая 2011 - 11:02

вот уж точно не советую)
Баги есть - и обнаружение их ваша задача.

А если вас "достало", что баги вылазят снова- и снова - то соглашусь с предыдущим ответом- пишем письмо лиду прогеров -если есть.
Если ситуация останется в той же стадии и ничего не изменится - Ваяем письмо ПМ в копию включаем всех кто с этим у вас связан - и описываете проблему
(личный опыт)

Это не донос на кого-то - это нормальная работа

А елси вы плюнете - а потом выплывет, что вы не нашли баг - взгреют вас же.
И скажут - какого ж фига ты молчал(-а), что существует такая проблема???

Дергайте всех и вся кого только можете - это также ваша работа.

Удачи вобщем.

У меня все закончилось как нельзя лучше.)



Не нужно брать на себя ответственность за то, за что вы отвечать не можете по определению. Кто-нибудь говорил, что тестировщик обязан найти все баги во всех версиях? Именно для того чтобы не взгрели можно иметь копию рабочей версии, где функциональность была протестирована и работала. А далее разговор с начальством пойдет уже в нужное русло, то есть почему баг появился снова.
Можно, кончено, написать тимлиду, ПМ-у и так далее. Расскажите, у вас был такой опыт? У меня был и это не дало никакого результата, кроме негатива от программиста.
Если программисты - быдлокодеры, то это ошибка начальства и разрулить эту ситуацию может только оно, никак не тестировщики. И чаще всего это самое начальство о проблемах знает, просто не хочет (не может) что-либо предпринять.
  • 0

#19 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 872 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 17 мая 2011 - 12:02

... можно иметь копию рабочей версии, где функциональность была протестирована и работала.

Необходимость хранить копию рабочей версии, вероятно, означает отсутствие системы конфигурационного управления? :)
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#20 leftCh

leftCh

    Постоянный участник

  • Members
  • PipPipPip
  • 179 сообщений

Отправлено 17 мая 2011 - 12:18

Необходимость хранить копию рабочей версии, вероятно, означает отсутствие системы конфигурационного управления? :)


Плюнуть еще можно. Чтобы обезопасить себя от претензий руководства, сохраняйте экземпляр (номер версии) программы, которую вы протестировали.


Я ответила на Ваш вопрос?
  • 0


Количество пользователей, читающих эту тему: 1

0 пользователей, 1 гостей, 0 анонимных