Система для сбора статистики по тестированию

Здравствуйте!

В компании мне необходимо внедрить систему учета и оценки тестирования

Должны учитываться показатели:
а) Общее количество дефектов в проекте (по стадиям проекта)
б) Количество находимых дефектов в единицу времени (по каждому тестировщику)
в) Количество находимых дефектов на 1 час производства (по каждому тестировщику)
г) Структура нахождения ошибок по степени тяжести (по каждому тестировщику)

Каждый дефект должен иметь атрибуты:
а) Кто нашел
б) Привязка к задаче проекта
в) Привязка к стадии проекта
г) Затрачено времени на поиск ошибки
д) Тип ошибки (критическая, средняя и т.д.)

В компании уже есть собственный внутренний CRM-портал. Нужна отдельная система сбора статистики с ручным вводом данных.

Посмотрел системы багрекинга (bugzilla, mantis) — думаю, они слишком сложны и избыточны для такой задачи.

Пока для меня наиболее возможным, но не оптимальным, видится ведение всей статистики в Excel.

Есть ли более "изящное" решение? Можно ли "допилить", например, bugzilla под нужные требования малыми затратами?

А чем CRM не угодил? Годные коммерческие CRM умеют все перечисленное + дружить с багтрекерами/контролем версий.
В принципе все то же можно сделать и в багтрекере. Я тут не понимаю аргумент "слишком сложны и избыточны". Дефекты же вы где-то храните? Почему не вводить с ними и эти данные а уж как вы будете данные потом обрабатывать вообще дело десятое.

Конкретно по вопросу: можно подыскать нужный аддон. В JIRA так вообще, насколько я помню, изначально довольно неплохие системы по сбору статистики и созданию репортов.
Собственно, где в данный момент создаются и хранятся баг-репорты? Переводить всю команду на новый баг-трекер из-за такой мелочи было бы излишеством.

P.S. Если не слишком секретно, в какой фирме такая оценка работы тестировщиков? :)

Проблема в том, что внедрение такой системы нужно провести минимальными силами. В идеале это вообще должен быть "коробочный" продукт.

Мы занимаемся тестированием разработанных нами же веб-сайтов. Внутренний портал в компании собственной разработки. Дефекты сейчас — .doc файлы с багрепортами на сетевом диске в папке проекта. Передача задач на исправления дефектов (с ссылками на репорты) между программистом и тестировщиком осуществляется в портале.

При использование багтрекера придется дублировать информацию уже находящуюся в портале, появится параллельный порталу "оборот" дефектов между сотрудниками.

P.S. Если не слишком секретно, в какой фирме такая оценка работы тестировщиков? :)

секрет :)

Как-то странно получается.. нормального баг-репортинга нет (извините, но док-файлы я за таковой не считаю), а делать метрики зачем-то надо.

так как у вас решение целиком и полностью собственное, то и какое-то универсальное коробочное решение найти будет очень сложно.

лучше все же поставить баг-трекинговую систему, которая пригодится в ближайшем будущем.

Как-то странно получается.. нормального баг-репортинга нет (извините, но док-файлы я за таковой не считаю), а делать метрики зачем-то надо.

Согласен. Просто назрела необходимость.

так как у вас решение целиком и полностью собственное, то и какое-то универсальное коробочное решение найти будет очень сложно

Пришел к тому же выводу.

Лучше все же поставить баг-трекинговую систему, которая пригодится в ближайшем будущем.

Видимо, будущее — это внедрение в портал системы багтрекинга.

Если ставить готовую систему (видимо это будет, bugzilla, если мы решимся), то насколько затратно будет кастомизировать под требования изложенные в первом посте?

да, любит начальство вводить метрики... тоже пришлось придумывать метрики с количеством выполненных тестов и найденных багов...причем тесты в QC под одним аккаунтом на 10 чел, дефекты в Rally...
подарите начальству http://www.geraldmwe...t_Software.html

Если ставить готовую систему (видимо это будет, bugzilla, если мы решимся), то насколько затратно будет кастомизировать под требования изложенные в первом посте?

Если уж и внедрять подобную системы, то я бы вам рекомендовал поставить DEVPROM, в котором нужный функционал есть и вся информация для нужных Вам метрик собирается. Правда там нет готовых отчетов, которые Вам нужны. С другой стороны, инструмент активно развивается и, думаю, разработчикам будет полезно реализовать такой функционал, кажется я что-то такое там видел. Можете им отправить предложение сделать такую доработку (Добавить доработку), в любом случае это будет быстрее и дешевле для вас, чем самим допиливать bugzilla.

Если ставить готовую систему (видимо это будет, bugzilla, если мы решимся), то насколько затратно будет кастомизировать под требования изложенные в первом посте?

Как уже писалось, стоит посмотреть готовые дополнения к багтрекерам и выбрать подходящий. Самим допиливать будет довольно затратно, чужой продукт, нужно разбираться как все устроено, уйдёт порядком времени.

секрет :)

Ну что же Вы так, Николай. Нас (компаний с тестировщиками) в провинции и так по пальцам можно пересчитать :)

Попробуйте Qualify (Original Software), по своему опыту знаю, система позволяет добавить какие угодно параметры к bug report и, соответственно довольно легко вести статистику по любому из параметров или группе параметров.
Успехов!

Попробуйте Qualify (Original Software), по своему опыту знаю, система позволяет добавить какие угодно параметры к bug report и, соответственно довольно легко вести статистику по любому из параметров или группе параметров.
Успехов!

А где можно посмотреть этот продукт? Зашел на официальный сайт — не нашел ни ссылок на демо, ни описания как скачать/купить

Попробуйте Qualify (Original Software), по своему опыту знаю, система позволяет добавить какие угодно параметры к bug report и, соответственно довольно легко вести статистику по любому из параметров или группе параметров.
Успехов!

А где можно посмотреть этот продукт? Зашел на официальный сайт — не нашел ни ссылок на демо, ни описания как скачать/купить

Пишите им письмо, если действительно интересует. Original вообще очень неохотно даёт демки -- сначала выспрашивают долго, кто да зачем.

Но вообще-то практически любая система учёта дефектов позволяет добавлять свои атрибуты, каждая вторая позволяет делать отчёты, но всё равно чаще всего этих средств генерации отчётов не хватает, приходится статистические данные загружать в Excel и обсчитывать там :)

но всё равно чаще всего этих средств генерации отчётов не хватает, приходится статистические данные загружать в Excel и обсчитывать там :)

И это в двадцать первом-то веке...
То есть я понимаю что репортинг продукты не профильные, но SQL-то вроде знаем.

Окончательно принял решение об использовании готового трекера — видимо, это будет bugzilla. Средства для создания отчетов там есть в стандартной поставке. "Избыточность" функционала (как я думал) оказалось как раз таки нужной и полезной. Посмотрю в тестовом режиме, наполняя данным для реальных проектов и буду внедрять.

Вопрос о разработке собственного продукта или "глубокой" кастомизации существующих решений руководством даже не рассматривается.

Спасибо за советы.

но всё равно чаще всего этих средств генерации отчётов не хватает, приходится статистические данные загружать в Excel и обсчитывать там :)

И это в двадцать первом-то веке...
То есть я понимаю что репортинг продукты не профильные, но SQL-то вроде знаем.

Всё верно -- сначала средствами SQL вытаскиваем данные в табличку (ну или кое-где бывает кнопка Экспорт, тоже годится), а потом -- Excel. Там и статистики разные можно посчитать, и графики-диаграммы красивые нарисовать.

Ненене. Я про Reporting Services (с подпиской халявный идет, кажется) и так далее) Плюс у некоторых багтрекеров (графики по нагрузкам у тех же яндексов мы с вами вроде видели) довольно богатый инструментарий для отчетности, только допиливается он через одно место.

Ненене. Я про Reporting Services (с подпиской халявный идет, кажется) и так далее) Плюс у некоторых багтрекеров (графики по нагрузкам у тех же яндексов мы с вами вроде видели) довольно богатый инструментарий для отчетности, только допиливается он через одно место.

Ну, ясное дело, что при желании можно даже какой-нибудь BI-тул прикрутить, но надо ли такой огород городить, чтобы просто дефекты посчитать? :)

Ну чтобы просто дефекты посчитать и Excel как правило не нужен)

Ну чтобы просто дефекты посчитать и Excel как правило не нужен)

А красивые графики-диаграммы в отчёт начальству? :)

Багтрекеры умеют).
Но про репортинг тулы я заикнулся как раз в контекте юзабельных и красивых графиков (пиу-пиу Crystal Reports Dashboard). Там это куда лучше чем в Excel получается.