Перейти к содержимому

Автоматизация функционального тестирования
онлайн, начало 5 марта
Логи как инструмент тестировщика
онлайн, начало 1 марта
Тестирование REST API
онлайн, начало 1 марта
Погружение в тестирование. Jedi point
онлайн, начало 21 марта
Фотография

Система для сбора статистики по тестированию


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 19

#1 sekretarev

sekretarev

    Новый участник

  • Members
  • Pip
  • 10 сообщений
  • Город:Ярославль

Отправлено 11 января 2011 - 07:17

Здравствуйте!

В компании мне необходимо внедрить систему учета и оценки тестирования

Должны учитываться показатели:
а) Общее количество дефектов в проекте (по стадиям проекта)
б) Количество находимых дефектов в единицу времени (по каждому тестировщику)
в) Количество находимых дефектов на 1 час производства (по каждому тестировщику)
г) Структура нахождения ошибок по степени тяжести (по каждому тестировщику)

Каждый дефект должен иметь атрибуты:
а) Кто нашел
б) Привязка к задаче проекта
в) Привязка к стадии проекта
г) Затрачено времени на поиск ошибки
д) Тип ошибки (критическая, средняя и т.д.)

В компании уже есть собственный внутренний CRM-портал. Нужна отдельная система сбора статистики с ручным вводом данных.

Посмотрел системы багрекинга (bugzilla, mantis) — думаю, они слишком сложны и избыточны для такой задачи.

Пока для меня наиболее возможным, но не оптимальным, видится ведение всей статистики в Excel.

Есть ли более "изящное" решение? Можно ли "допилить", например, bugzilla под нужные требования малыми затратами?
  • 0

#2 OVA

OVA

    Опытный участник

  • Members
  • PipPipPipPip
  • 405 сообщений
  • ФИО:Высоцкий Сергей Павлович
  • Город:Новосибирск

Отправлено 11 января 2011 - 07:47

А чем CRM не угодил? Годные коммерческие CRM умеют все перечисленное + дружить с багтрекерами/контролем версий.
В принципе все то же можно сделать и в багтрекере. Я тут не понимаю аргумент "слишком сложны и избыточны". Дефекты же вы где-то храните? Почему не вводить с ними и эти данные а уж как вы будете данные потом обрабатывать вообще дело десятое.
  • 0

#3 stmark

stmark

    Опытный участник

  • Members
  • PipPipPipPip
  • 404 сообщений
  • ФИО:Докучаев Сергей
  • Город:Ярославль


Отправлено 11 января 2011 - 07:58

Конкретно по вопросу: можно подыскать нужный аддон. В JIRA так вообще, насколько я помню, изначально довольно неплохие системы по сбору статистики и созданию репортов.
Собственно, где в данный момент создаются и хранятся баг-репорты? Переводить всю команду на новый баг-трекер из-за такой мелочи было бы излишеством.

P.S. Если не слишком секретно, в какой фирме такая оценка работы тестировщиков? :)
  • 0

#4 sekretarev

sekretarev

    Новый участник

  • Members
  • Pip
  • 10 сообщений
  • Город:Ярославль

Отправлено 11 января 2011 - 09:27

Проблема в том, что внедрение такой системы нужно провести минимальными силами. В идеале это вообще должен быть "коробочный" продукт.

Мы занимаемся тестированием разработанных нами же веб-сайтов. Внутренний портал в компании собственной разработки. Дефекты сейчас — .doc файлы с багрепортами на сетевом диске в папке проекта. Передача задач на исправления дефектов (с ссылками на репорты) между программистом и тестировщиком осуществляется в портале.

При использование багтрекера придется дублировать информацию уже находящуюся в портале, появится параллельный порталу "оборот" дефектов между сотрудниками.

P.S. Если не слишком секретно, в какой фирме такая оценка работы тестировщиков? :)

секрет :)
  • 0

#5 Freiman

Freiman

    Гуру

  • Members
  • PipPipPipPipPipPip
  • 1 582 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 11 января 2011 - 09:33

Как-то странно получается.. нормального баг-репортинга нет (извините, но док-файлы я за таковой не считаю), а делать метрики зачем-то надо.

так как у вас решение целиком и полностью собственное, то и какое-то универсальное коробочное решение найти будет очень сложно.

лучше все же поставить баг-трекинговую систему, которая пригодится в ближайшем будущем.
  • 0

#6 sekretarev

sekretarev

    Новый участник

  • Members
  • Pip
  • 10 сообщений
  • Город:Ярославль

Отправлено 11 января 2011 - 09:48

Как-то странно получается.. нормального баг-репортинга нет (извините, но док-файлы я за таковой не считаю), а делать метрики зачем-то надо.

Согласен. Просто назрела необходимость.

так как у вас решение целиком и полностью собственное, то и какое-то универсальное коробочное решение найти будет очень сложно

Пришел к тому же выводу.

Лучше все же поставить баг-трекинговую систему, которая пригодится в ближайшем будущем.

Видимо, будущее — это внедрение в портал системы багтрекинга.

Если ставить готовую систему (видимо это будет, bugzilla, если мы решимся), то насколько затратно будет кастомизировать под требования изложенные в первом посте?
  • 0

#7 VASya

VASya

    Опытный участник

  • Members
  • PipPipPipPip
  • 364 сообщений


Отправлено 11 января 2011 - 10:11

да, любит начальство вводить метрики... тоже пришлось придумывать метрики с количеством выполненных тестов и найденных багов...причем тесты в QC под одним аккаунтом на 10 чел, дефекты в Rally... :crazy:
подарите начальству http://www.geraldmwe...t_Software.html
  • 0

#8 saveug

saveug

    Новый участник

  • Members
  • Pip
  • 33 сообщений
  • ФИО:Савицкий Евгений

Отправлено 11 января 2011 - 10:18

Если ставить готовую систему (видимо это будет, bugzilla, если мы решимся), то насколько затратно будет кастомизировать под требования изложенные в первом посте?


Если уж и внедрять подобную системы, то я бы вам рекомендовал поставить DEVPROM, в котором нужный функционал есть и вся информация для нужных Вам метрик собирается. Правда там нет готовых отчетов, которые Вам нужны. С другой стороны, инструмент активно развивается и, думаю, разработчикам будет полезно реализовать такой функционал, кажется я что-то такое там видел. Можете им отправить предложение сделать такую доработку (Добавить доработку), в любом случае это будет быстрее и дешевле для вас, чем самим допиливать bugzilla.
  • 0

#9 stmark

stmark

    Опытный участник

  • Members
  • PipPipPipPip
  • 404 сообщений
  • ФИО:Докучаев Сергей
  • Город:Ярославль


Отправлено 11 января 2011 - 11:09

Если ставить готовую систему (видимо это будет, bugzilla, если мы решимся), то насколько затратно будет кастомизировать под требования изложенные в первом посте?


Как уже писалось, стоит посмотреть готовые дополнения к багтрекерам и выбрать подходящий. Самим допиливать будет довольно затратно, чужой продукт, нужно разбираться как все устроено, уйдёт порядком времени.

секрет :)


Ну что же Вы так, Николай. Нас (компаний с тестировщиками) в провинции и так по пальцам можно пересчитать :)
  • 0

#10 ilankoy

ilankoy

    Новый участник

  • Members
  • Pip
  • 2 сообщений

Отправлено 12 января 2011 - 08:53

Попробуйте Qualify (Original Software), по своему опыту знаю, система позволяет добавить какие угодно параметры к bug report и, соответственно довольно легко вести статистику по любому из параметров или группе параметров.
Успехов!
  • 0

#11 sekretarev

sekretarev

    Новый участник

  • Members
  • Pip
  • 10 сообщений
  • Город:Ярославль

Отправлено 13 января 2011 - 08:34

Попробуйте Qualify (Original Software), по своему опыту знаю, система позволяет добавить какие угодно параметры к bug report и, соответственно довольно легко вести статистику по любому из параметров или группе параметров.
Успехов!


А где можно посмотреть этот продукт? Зашел на официальный сайт — не нашел ни ссылок на демо, ни описания как скачать/купить
  • 0

#12 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 853 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 13 января 2011 - 09:36


Попробуйте Qualify (Original Software), по своему опыту знаю, система позволяет добавить какие угодно параметры к bug report и, соответственно довольно легко вести статистику по любому из параметров или группе параметров.
Успехов!

А где можно посмотреть этот продукт? Зашел на официальный сайт — не нашел ни ссылок на демо, ни описания как скачать/купить

Пишите им письмо, если действительно интересует. Original вообще очень неохотно даёт демки -- сначала выспрашивают долго, кто да зачем.

Но вообще-то практически любая система учёта дефектов позволяет добавлять свои атрибуты, каждая вторая позволяет делать отчёты, но всё равно чаще всего этих средств генерации отчётов не хватает, приходится статистические данные загружать в Excel и обсчитывать там :)
  • 0

Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium


#13 OVA

OVA

    Опытный участник

  • Members
  • PipPipPipPip
  • 405 сообщений
  • ФИО:Высоцкий Сергей Павлович
  • Город:Новосибирск

Отправлено 13 января 2011 - 09:45

но всё равно чаще всего этих средств генерации отчётов не хватает, приходится статистические данные загружать в Excel и обсчитывать там :)

И это в двадцать первом-то веке...
То есть я понимаю что репортинг продукты не профильные, но SQL-то вроде знаем.
  • 0

#14 sekretarev

sekretarev

    Новый участник

  • Members
  • Pip
  • 10 сообщений
  • Город:Ярославль

Отправлено 13 января 2011 - 10:06

Окончательно принял решение об использовании готового трекера — видимо, это будет bugzilla. Средства для создания отчетов там есть в стандартной поставке. "Избыточность" функционала (как я думал) оказалось как раз таки нужной и полезной. Посмотрю в тестовом режиме, наполняя данным для реальных проектов и буду внедрять.

Вопрос о разработке собственного продукта или "глубокой" кастомизации существующих решений руководством даже не рассматривается.

Спасибо за советы.
  • 0

#15 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 853 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 13 января 2011 - 10:09


но всё равно чаще всего этих средств генерации отчётов не хватает, приходится статистические данные загружать в Excel и обсчитывать там :)

И это в двадцать первом-то веке...
То есть я понимаю что репортинг продукты не профильные, но SQL-то вроде знаем.

Всё верно -- сначала средствами SQL вытаскиваем данные в табличку (ну или кое-где бывает кнопка Экспорт, тоже годится), а потом -- Excel. Там и статистики разные можно посчитать, и графики-диаграммы красивые нарисовать.
  • 0

Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium


#16 OVA

OVA

    Опытный участник

  • Members
  • PipPipPipPip
  • 405 сообщений
  • ФИО:Высоцкий Сергей Павлович
  • Город:Новосибирск

Отправлено 13 января 2011 - 10:34

Ненене. Я про Reporting Services (с подпиской халявный идет, кажется) и так далее) Плюс у некоторых багтрекеров (графики по нагрузкам у тех же яндексов мы с вами вроде видели) довольно богатый инструментарий для отчетности, только допиливается он через одно место.
  • 0

#17 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 853 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 13 января 2011 - 11:59

Ненене. Я про Reporting Services (с подпиской халявный идет, кажется) и так далее) Плюс у некоторых багтрекеров (графики по нагрузкам у тех же яндексов мы с вами вроде видели) довольно богатый инструментарий для отчетности, только допиливается он через одно место.

Ну, ясное дело, что при желании можно даже какой-нибудь BI-тул прикрутить, но надо ли такой огород городить, чтобы просто дефекты посчитать? :)
  • 0

Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium


#18 OVA

OVA

    Опытный участник

  • Members
  • PipPipPipPip
  • 405 сообщений
  • ФИО:Высоцкий Сергей Павлович
  • Город:Новосибирск

Отправлено 13 января 2011 - 12:07

Ну чтобы просто дефекты посчитать и Excel как правило не нужен)
  • 0

#19 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 853 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 13 января 2011 - 12:26

Ну чтобы просто дефекты посчитать и Excel как правило не нужен)

А красивые графики-диаграммы в отчёт начальству? :)
  • 0

Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium


#20 OVA

OVA

    Опытный участник

  • Members
  • PipPipPipPip
  • 405 сообщений
  • ФИО:Высоцкий Сергей Павлович
  • Город:Новосибирск

Отправлено 13 января 2011 - 18:52

Багтрекеры умеют).
Но про репортинг тулы я заикнулся как раз в контекте юзабельных и красивых графиков (пиу-пиу Crystal Reports Dashboard). Там это куда лучше чем в Excel получается.
  • 0


Школа Тест-Аналитика
онлайн
Организация автоматизированного тестирования
онлайн
Школа тест-менеджеров v. 2.0
онлайн
Тестирование юзабилити (usability)
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале