Home

Оригинальная публикация

Каждый проект уникален и у каждой команды свои запросы. Однако всех нас объединяет желание работать с качественными инструментами, которые экономят время и позволяют QA-специалистам тестировать качественнее и быстрее, в идеале чтобы TMS могла в автотесты.

Мы вновь проанализировали проверенные временем и новые системы управления тестированием, которые сейчас популярны на рынке. Выбрали функции, которые должны быть в Test Management System нашей мечты, сравнили возможности продуктов и изучили отзывы пользователей. Делимся списком инструментов, один из которых точно подойдёт вашей команде.

Здесь нет рейтинга, у каждого инструмента есть свои преимущества и недостатки. В основном инструменты тест-менеджмента платные, однако у каждой из них есть бесплатная пробная версия.

Что мы хотим от удобной Test Management System?

Пользователь TMS ожидает увидеть следующее:

• Удобная установка и поддержка.
• Удобный и понятный интерфейс.
• Создание и управление проектами.
• Создание пользователей и проектных ролей для пользователей.
• Удобная интеграция с автоматическими тестами.
• Создание тест-плана.
• Создание тест-кейса.
• Создание чек-листа.
• Создание общего шага
• Версионирование тест-кейса/чек-листа.
• Создание пользовательских атрибутов/конфигураций.
• Прогон тест-кейса/чек-листа.
• Понятная система отчётности.
• Встроенная система баг-трекинга.
• Возможность оповещения коллег внутри и вне системы.
• Возможность интеграции с другими инструментами.

Зачем нужна TMS?

Решить задачу создания единой TMS для работы со всей документацией проекта можно несколькими способами:

1. Самый дешёвый способ — не заморачиваться и выбрать Google Docs для матрицы трассируемости, а дефекты вести в open-source баг-трекере.
2. Другой способ — использовать одну из популярных TMS-ок, интегрированную с баг-трекером компании.
3. Next-level способ — выбрать Test Management System, исходя из специфики проектов, объемов задач, типов документации и используемых видов тестирования.

Очень важно подойти к вопросу выбора TMS ответственно, ведь для компании цена ошибки может оказаться высокой.

Популярные системы управления тестированием на 2020 г

• ALM Octane
• Test IT
• TestRail
• Zephyr
• Allure EE
• TM4J
• Qase
• PractiTest
• Testuff
• Azure
• MTM TFS
• Kualitee

Рассмотрим выбранные инструменты подробнее:

1. ALM Octane

ALM Octane — долгожитель среди систем управления и жизненным циклом продукта, и его тестировании. Инструмент позволяет осуществлять планирование, создание, тестирование и контроль на всех этапах разработки. Сложен в первоначальном освоении, но незаменим для компании крупной руки, где особое внимание уделяется деталям производства. Поддержана функциональность общих шагов. Работа с автоматизированными тестами. Фактические время прохождения для каждого тестового сценария. Реализована функциональность вебхуков.
Присутствует внутренний баг-трекер. Удобная система конструирования отчетов.

Именно потому, что продукт уже обкатан, в интернете есть великое множество мануалов и видеогайдов по настройке и использованию.



Возможности:

• Общий доступ к библиотекам требований и ресурсов
• Подробные сведения о коде, тестировании, управлении рисками и их оценке, а также о соответствии требованиям
• Быстрый доступ к показателям, например к данным о не устранённых дефектах
• Быстрая настройка лабораторной среды для устранения ошибок конфигурации в средах Agile
• Работа с автоматизированными тестами
• Вебхуки
• Удобная система отчетов
• Создание требований и отслеживание их выполнения на всех этапах жизненного цикла приложения
• Аналитика на любой вкус и цвет: гибко настраиваемые отчёты
• Интеграция с 50+ инструментами

Бесплатная пробная версия: 30 дней
Ссылка на скачивание

2. Test IT

Test IT — TMS, которую создают тестировщики для тестировщиков. Этот инструмент отличает продуманный и понятный интерфейс. Внутри системы можно создавать проекты и вести для каждого структурированную библиотеку тестовых случаев и чек-листов, часто повторяющиеся операции выделяются в общие шаги. Инструмент гибкий — в каждом проекте создаются дополнительные пользовательские атрибуты/конфигурации, распределяются проектные роли и права, что упрощает настройку TMS под процессы вашей компании. Test IT помогает руководителям групп тестирования равномерно распределять нагрузку между тестировщиками и контролировать исполнение работ с помощью пользовательских запросов и отчётов. Также в рамках самой системы есть возможность общаться с коллегами, не используя сторонние мессенджеры.

Разработчики приложения уделяют большое внимание автоматизированному тестированию, каждый тестовый случай в библиотеке тестов можно линковать с автотестами по API. Правильно настроенная интеграция с автотестами позволяет следить за прогонами и их результатами прямо из TMS в режиме реального времени. Вы сможете видеть, какие автоматические тесты в процессе выполнения, анализировать их результаты и просматривать исходный код прямо из Test IT. При необходимости можно создать тест-ран вне системы и заполнить его своими автотестами без линка с тестовыми сценариями.

Test IT активно развивается, берет фичареквесты от своих пользователей и забивает ими 40% беклога, есть грамотная техподдержка.



Test IT активно развивается, берет фичареквесты от своих пользователей и забивает ими половину беклога, есть грамотная техподдержка на русском.

Возможности:

• Управление тест-планами, тест-кейсами и чек-листами
• Общие шаги для повторяющихся действий
• Создание пользовательских атрибутов/конфигураций
• Автоматическое распределение тестов на QA инженеров
• Интеграция автоматических тестов с помощью API
• Создание тест-ранов вне системы с дальнейшим управлением состояния
• Аналитика как по автоматическим, так и по ручным тестам
• Внутренний чат и вебхуки во внешние системы
• Ролевая модель и персонализация
• Геймификация
• Двусторонняя интеграция с JIRA
• Расширенная функциональность API
• Импорт из других систем управления тестированием

Бесплатная пробная версия: Открытая демо-версия на сайте
Ссылка на скачивание

3. TestRail

Это программное обеспечение удобно как для команд QA, так и для разработки. План тестирования можно выстроить как по сценарию гибкой методологии, так и для более традиционного подхода. Инструмент позволяет получить представление о ходе тестирования в реальном времени. Вы можете строить конфигурированные отчеты по необходимым вам метрикам. В новых версиях появилась интеграция с Assembla. Так же была поддержана функциональность внутреннего чата и оповещений во внешнюю систему.



Помимо возможности разложения своих тестовых сценариев по тест-ранам с их дальнейшим помещением в тест-планы, вы можете использовать такую сущность как Milestone, которая позволит удобно настроить процесс прохождения тестирования.

Можно настроить типизации проекта для ведения в нем тестовой документации.

Возможности:

• Отслеживание состояния и результатов отдельного теста
• Сравнение результатов нескольких тестов, конфигураций и этапов
• Типизация проектов для ведения тестовой документации
• Внутренний чат и оповещения во внешнюю систему
• Отслеживание рабочей нагрузки команды для корректировки задач и ресурсов
• Развёрнутые отчёты и метрики
• Широкие возможности настройки, облачные или локальные варианты установки
• Интеграция с JIRA, Redmine, YouTrack, GitHub, Jenkins, Selenium и Visual Studio
• Удобный REST API

Бесплатная пробная версия: 30 дней
Ссылка на скачивание

4. Zephyr

Zephyr — это плагин для всем известной JIRA, который интегрирует тестирование в проектный цикл, позволяя вам отслеживать качество программного обеспечения и принимать решения в стиле go / no-go. В новых версиях была поддержана работа с автоматизированными тестами.



Тест кейсы могут создаваться, выполняться и отслеживаться так же, как и любые другие задачи в JIRA. Для более оптимальной фиксации процесса тестирования есть интеграция с инструментами управления качеством, автоматизации, непрерывной интеграции и аналитики. Присутствует возможность создания пользовательских атрибутов. Кроме того, у продукта быстро отвечающая техподдержка.

Возможности:

• Ссылка на user-stories, задачи, требования, дефекты
• Конфигурации деплоя: в облаке, на сервере, в дата-центре
• Расширенная информация на дашбордах аналитики и DevOps
• Интеграция с JIRA, Confluence, Selenium, Jenkins и Bamboo
• Автоматизированные тесты
• Создание пользовательских атрибутов
• Понятная система отчетов.

Бесплатная пробная версия: 30 дней
Ссылка на скачивание

5. Allure EE

Allure – это фреймворк для создания простых и понятных отчётов автотестов (для любого языка), представляет из себя инструмент, позволяющий внести прозрачность в процесс создания и выполнения функциональных тестов. Красивые и понятные отчёты Allure помогают команде решить многие проблемы и начать наконец разговаривать на одном языке. Allure Enterprise стал логичным продолжением подхода automation first и поддерживает обновление тестовой документации из кода автотестов. У инструмента есть множество интеграций с фреймворками тестирования и разными языками программирования.


Возможности

• Легкая интеграция с automation tools
• Компиляция кода в кейсы
• Расширенные отчеты по автотестам
• Проработанный UX
• Совмещение работы с мануальными и автоматизированными кейсами
• Многопоточность автотестов
• Пользовательские атрибуты
• Тайм-менеджмент (TimeLine)

Бесплатная пробная версия: 30 дней
Ссылка на скачивание

6. TM4J

TM4J он же Adaptavist – это приложение для управления тестированием в JIRA, позволяет вести тестовую документацию в JIRA. Линкование тестовых сценариев и issue непосредственно в JIRA. Поддержана работа с автоматизированными тестами. Возможность объединения повторяющихся шагов в общий шаг.



Возможности:

• Линкование тестовых сценариев и issue не выходя из JIRA
• Работа с автоматизированными тестами
• Внутренний багтрекер
• Понятная система отчетов
• Использование общего шага
• Фактическое время прохождения теста
• Экспорт данных в Excel

Бесплатная пробная версия: 30 дней
Ссылка на скачивание

7. Qase

Qase это облачная TMS, которая поможет вашей команде повысить производительность и организовать удобный флоу тестирования программного обеспечения. Поддержана функциональность объединения постоянно повторяющихся действий в общий шаг, импорт данных из других TMS. Управление ролями и разрешениями для пользователей системы. В новой версии была доработана система отчетов.



Возможности:

• Тестовый репозиторий: выстраивание тестов в логические группы
• Составление шагов для кейсов, установка приоритета и серьёзности
• Запуск тестовых прогонов с трекингом времени по каждому тест
• Хранение документации по проекту
• Автоматическое заведение дефектов в интегрированные трекеры
• Интеграция с JIRA, Redmine, YouTrack и Slack
• Объединение результатов автотестов с REST API

Бесплатно для небольших компаний
Ссылка на скачивание

8. PractiTest

PractiTest — это комплексное средство управления тестами. Оно дает полную картину процесса тестирования и более глубокое понимание результатов тестирования. Этот инструмент поможет организовать тест-сьюты в соответствии с вашими циклами и спринтами. Тестовые наборы можно формировать по различным критериям, таким как компоненты, версии или типы. Тул заточен на Agile-тестирование, регрессионное тестирование, тестирование микросервисов и DevOps.



В новых версиях была доработана функциональность работы с автоматизированными тестами.

В техподдержке работают обученные QA-сотрудники, которые могут быстро понять вашу проблему.

Возможности:

• Лёгкое добавление тестов новых фич в регрессионное тестирование
• Группировка тестов на основе микросервисов, которые они охватывают, даже кросс-сервисные
• Различное отображение информации для разных групп пользователей
• Дашборды в реальном времени показывают состояние тестов, прогонов на этапах разработки и при деплое на прод
• Интеграция с JIRA, Redmine, Jenkins, GitLab и Slack

Бесплатная пробная версия: 14 дней
Ссылка на скачивание

9. Testuff

Команда Testuff делает действительно удобный инструмент, данная TMS старается объединить в себе все методы тестирования, начиная от waterfall model и заканчивая black box testing.
Разработчики Testuff отдельно выделили свой продукт как единственную TMS, которую можно использовать на любом девайсе: смартфоны, планшеты и т.д



В данном решении есть все необходимое для TMS: классный интерфейс, понятный и удобный способ ведения тестовой документации, конфигурации и пользовательские атрибуты, два способа интеграции с любым существующим баг-трекером, а также добавили видеорекордер.

Возможности:

• Планирование тестов
• Интуитивный drag-n-drop интерфейс
• Наглядные отчёты с подробными графиками
• Два способа интеграции со сторонними инструментами баг-трекинга
• Возможность тестировать с любого девайса

Бесплатная пробная версия: 30 дней
Ссылка на скачивание

10. Azure DevOps Server

Это мощный инструмент работы с тестами и автотестами, за счет своей комплексности вы можете настроить своё рабочее пространство, как вам необходимо. Работайте напрямую со своими CI/CD сервисами, интегрируйте свои репозитории прямиком в Azure, ведите тестовую документацию по спринтам, которые будете раскладывать по бордам, делайте максимально детальные отчеты по вашей тестовой документации и результатам её прохождения.



Отдельно стоит упомянуть возможность интеграции с IDE от компании Microsoft, вы можете редактировать и настраивать свой код прямиком через Azure и интегрироваться со всевозможными системами от компании Microsoft.

Возможности:

• Интеграция с любым продуктом компании Microsoft
• Нативный интерфейс
• Интеграция с любым CI/CD
• Ведение удобных Dashboards
• Работа с автотестами
• Пользовательские атрибуты

Бесплатная пробная версия: 30 дней
Ссылка на скачивание

11. MTM TFS

Team Foundation Server (TFS) — комплексное решение от Microsoft, которое включает в себя систему управления версиями, сбор данных, построение отчетов, отслеживание статусов и изменений по проекту.

Microsoft Test Manager — часть этого продукта и требует установки Visual Studio. Такое сочетание дает возможность связать задачи, которые поставлены перед тестировщиком, с заведенными дефектами и отчетами о затраченном на работу времени.



Планы и результаты тестирования сохраняются на сервере Team Foundation Server.
МТМ включает в себя тест-план, тест-кейс и конфигурации.

Сам TFS является проприетарным ПО, лицензия — коммерческая. Работает на трех уровнях: клиентский уровень, прикладной уровень и уровень данных, в зависимости от чего возможна работа или через web, или через десктоп-приложение. МТМ работает только на прикладном уровне, поэтому требуется установка на сервер (если сервер удаленный, работа проводится через VPN).

Возможности:

• Исследовательское тестирование
• Планирование и выполнение ручных тестов
• Кроссплатформенные конфигурации тестов (разные версии одного теста для разных платформ/релизов)
• Диагностика прохождения теста (логи, видео и т. п.)
• Импорт-экспорт тестов
• Межпроектный импорт-экспорт тестов
• Запись и воспроизведение ручных тестов (рекордер)
• Автоматизация тестов

Бесплатная пробная версия: 30 дней
Ссылка на скачивание

12. Kualitee

Kualitee — продукт Kualitatem, компании по тестированию программного обеспечения и информационной безопасности, специализирующейся на обеспечении безошибочной работы приложений повсюду.



Kualitee предлагает функции управления проектами, управления тестированием, управления дефектами с интеграцией с баг-трекерами. Гибкая система пользовательских атрибутов позволяет очень точно настроить необходимое рабочее пространство. Дополнительно есть возможность глубокой настройки профилей пользователя и его прав доступа.

Возможности:

• Управление проектами
• Управление дефектами
• Управление тестовой документацией
• Персональная панель инструментов
• Продуманная настройка пользователей

Бесплатная пробная версия: 30 дней
Ссылка на скачивание

Понравился пост? Не забудьте поделиться им!
И помните, только тестировщик стоит между багами и клиентом! :)

Обсудить в форуме