Home

Оригинальная публикация

Быстрое развитие IT-сферы провоцирует рост нагрузки на QA-команду, увеличивается число сотрудников, задачи усложняются. Для обеспечения конкурентного темпа работы при высоких требованиях к качеству необходимо создавать особую IT-инфраструктуру и привлекать современные удобные инструменты, способные при этом подстроиться под запросы конкретной QA-команды.

Мы снова провели срез-анализ рынка старых и новых TMS-решений, выбрали основные функции, которые хотели бы видеть в системах управления тестированием, сравнили их возможности и цены. Не было цели составить рейтинг, так как у каждого инструмента есть свои плюсы и минусы. Делимся свежим списком тулзов для тест-менеджмента, один из которых точно вам подойдёт.

Что должна уметь хорошая Test Management System?

1. Устанавливаться просто, иметь техподдержку или комьюнити (в случае с опенсорсом)

2. Позволять вести и управлять проектными областями и пользователями

3. Интегрироваться с внешними сервисами и системами

4. Позволять управлять версиями тестовых артефактов, давать возможность откатиться назад

5. Возможность работать с автотестами и мануальными тестами из единого интерфейса

6. Простой UX, освобождающий от придумывания костылей

7. Уметь создавать отчеты по метрикам итерационного тестирования, проекта и времени затраченному на процессы тестирования

8. Давать возможность кастомизировать тест-планы, параметры тестов и что угодно

9. Возможность чатиться с коллегами в рамках системы

10. Иметь гибкую ролевую политику, в том числе по уровням доступа в систему

Зачем нужна подобная система?

В первую очередь, TMS-система решает проблему ведения тестовой модели и взаимодействия членов команд или отделов между собой. Но работать со всей документацией проекта можно несколькими способами:

• Самый дешёвый способ — взять Google Docs для матрицы трассируемости, а дефекты вести в open-source баг-трекере.

• Другой способ — использовать одну из популярных TMS-ок, интегрированную с баг-трекером компании.

• Next-level способ — выбрать Test Management System, исходя из специфики проектов, объемов задач, типов документации и используемых видов тестирования.

И хотя тестирование не добавляет ценности продукту и стоит денег, этот этап является важнейшим, так как предотвращает ошибки на продакшене и последующие серьёзные репутационные и финансовые убытки.

Популярные системы управления тестированием на 2021 год:

(Попытались сделать якорное меню, но оно сработало не на всех устройствах)

• Azure DevOps

• ALM Octane

• Test IT

• TestRail

• Qase

• Allure TestOps

• Zephyr Scale

• Zephyr Squad

• Tricentis qTest

• Kiwi TCMS

Рассмотрим выбранные инструменты подробнее:

Azure DevOps

Azure DevOps (он же Team Foundation Server) – это продукт компании Microsoft, предлагающий мощный и понятный в освоении инструмент для создания, хранения и прохождения тестовой документации. Azure воплощает более чем 15-летний опыт создания инструментов для разработки программного обеспечения. Также данная система представляет собой комплексное решение, есть возможность использовать только необходимую функциональность под конкретную задачу, не переплачивая.

Azure DevOps позволяет совмещать ручное\автоматическое тестирование, в нём также удобно вести и отслеживать метрики по своим тестовым сценариям, настраивать рабочие процессы, собирать или строить необходимое покрытие требований к разработке систем и многое другое.

Отдельно стоит упомянуть возможность интеграции с IDE всё от той же компании Microsoft, так что вы можете редактировать и настраивать свой код прямиком через Azure и интегрироваться со всевозможными системами из зоопарка Microsoft.

Возможности:

• Простая установка и сопровождение системы

• Интеграция с любым продуктом компании Microsoft

• Комплексное решение, управление тестированием является лишь одним из инструментов

• Мануальные\автотесты из единого интерфейса

• Расширенные метрики по отчётности

• Кастомизация интерфейса\пользовательских атрибутов

• Кастомизация и последующее использование параметров

• Наличие читабельной документации

• Наличие внутреннего баг-трекинга

Цены: от $52 в месяц за базовую функциональность + тест планы

Ссылка на скачивание

ALM Octane

ALM Octane — это давно обкатанный в боях и достаточно мощный инструмент, который позволяет оптимизировать и наблюдать за своими рабочими процессами, объединить мануальное и автотестирование, управлять и настраивать релизные циклы. Продукт сложный в освоении, однако его функциональность закрывает потребности больших компаний со сложной внутренней структурой разработки. Система масштабируема в рамках компании что позволяет добавлять в базу знаний всё новых и новых пользователей в том числе делиться с ними уже наработанными данными. Также есть возможность вести требования напрямую в продукте.

Всю систему можно кастомизировать под свои потребности\нужды, гибкий функционал по разработке и ведении тестов позволяет существенно сократить время и силы затрачиваемые на повышение качества выпускаемых продуктов компании.

ALM Octane

Возможности:

• Давно проверенный на рынке инструмент с большой базой уроков\материалов по изучению и способам работы с продуктом

• Общий доступ к библиотекам требований и ресурсов

• Подробные сведения о коде, тестировании, управлении рисками и их оценке, а также о соответствии требованиям

• Быстрый доступ к показателям, например к данным о не устранённых дефектах

• Масштабируемая среда разработки и ведения тестовой документации

• Работа с мануальными и автоматизированными тестами в едином интерфейсе

• Настраиваемый интерфейс и шаринг базы знаний в рамках компании

• Создание требований и отслеживание их выполнения на всех этапах жизненного цикла приложения

• Расширенные данные по аналитике процессов тестирования и трудозатрат

• Интеграция с 50+ инструментами

Цены: от $28 в месяц

Бесплатная пробная версия: 30 дней

Ссылка на скачивание

Test IT

Test IT — российская система управления тестированием, которую создают тестировщики для тестировщиков. Данный продукт быстро набирает обороты и постоянно расширяет свои функциональные возможности. Умеет в мануальное\автотестирование в рамках единого интерфейса, поддерживает гибкую ролевую политику, кастомизацию.

Присутствуют расширенный возможности по ведению, оформлению и прохождению тестовых артефактов, в том числе в связке с параметрами тестов и используемых конфигураций. Благодаря простым и кастомизируемым отчётам возможно собрать всю необходимую информацию как о мануальных, так и об автотестах. Система подходит как для небольших команд от 3-х тестировщиков, так и для крупных команд.

Test IT

Систему отличает приятный дизайн, оперативная техподдержка, частые релизы и обратная связь от разработчиков данного решения.

Возможности:

• Удобное управление, оптимизация и выполнение тестовых артефактов

• Работа с мануальными и автотестами из единого интерфейса

• Расширенный анализ автоматизированных тестов и тест-ранов

• Кастомизация интерфейса и пользовательских локальных\глобальных атрибутов

• Работа с параметрами\конфигурациями в рамках системы

• Полноценное версионирование тестовых артефактов

• Кастомизируемые дашборды, которые позволяют вывести всю необходимую информацию по процессам тестирования

• Внутренний чат и вебхуки во внешние системы

• Гибкая ролевая политика как доступа к системе, так и к проектным областям

• Двусторонняя интеграция с JIRA\Azure DevOps

• Расширенный функционал публичного API

• Игровой элемент

Test IT

Цены: от 3-х лицензий 2121 рублей в месяц

Бесплатная пробная версия: на 30 дней для 25 юзеров

Ссылка на скачивание

TestRail

За последний год TestRail приобрёл своего конкурента Xray (плагин для Jira), что позволило им покрыть пользователей, которые плотно работают в Jira. Система одна из самых старых на рынке, поэтому эксплуатирует отточенные методологии тестирования, поддержана функциональность внутреннего чата и оповещений во внешнюю систему, есть возможность удобно настраивать свои рабочие процессы и за последние 2-3 релиза была существенно расширена документация API.

TestRail

Возможности:

• Широкие возможности настройки, облачные или локальные варианты установки

• Большая база знаний по работе с продуктом

• Отслеживание состояния и результатов отдельного теста

• Расширенный REST API

• Типизация проектов под специфику продукта

• Наличие внутреннего чата и нотификаций

• Достаточно широкие отчётные метрики по проектным и тестовым областям

• Интеграция с JIRA, Redmine, YouTrack, GitHub, Jenkins, Selenium и Visual Studio

Цены: от $36 в месяц

Бесплатная пробная версия: 14 дней

Ссылка на скачивание

Qase

Qase достаточно удобен для небольших и средних размеров команд. Продукт отличается широкими возможностями кастомизациии при аскетичностьи интерфейса. Удобная система отчётов и выполнения тестовых артефактов в совокупности с настройками интерфейса позволяют достаточно быстро и точно настроить свои рабочие процессы.

Qase

Возможности:

• Тестовый репозиторий: выстраивание тестов в логические группы

• Оповещения во внешние сервисы об изменениях в тестах

• Удобный интерфейс и расширенной кастомизацией

• Хранение документации по проекту

• Автотрекинг дефектов в интегрированные TTS

• Удобный и простой REST API

• Расширенные возможности интеграций с внешними системами

• Гибкая ролевая политика

Цены: до 3 юзеров бесплатно, далее от $24 в месяц

Бесплатная пробная версия: 30 дней

Ссылка на скачивание

Allure TestOps

Allure TestOps – платформа управления качеством ПО, построенная с фокусом на автоматизацию, DevOps-процессы и гибкий цикл разработки. За счёт гибкости системы и большого количества клиентских библиотек и фреймворков её легко интегрировать с уже используемыми инструментами автоматизации тестирования.

Allure TestOps

Система преимущественно направлена на работу с автоматизированным тестированием, присутствует и мануальное, что позволяет вывести новый путь разработки тестовой документации: от автотеста – к тесту. Можно вести свои тестовые артефакты в коде, синхронизировать шаги мануального и автотеста и анализировать расширенный отчёты по автоматизированному тестированию.

Allure Test Ops

Возможности:

• Клиентские библиотеки

• Легкая интеграция с automation tools

• Хранение мануальных тестов в коде

• Кастомизируемые отчёты по автотестам

• Совмещение работы с мануальными и автоматизированными кейсами

• Многопоточность автотестов, отложенные запуски автотестов

• Кастомизация интерфейса\пользовательские атрибуты

• Тайм-менеджмент (TimeLine)

Allure TestOps

Цены: Allure TestOps стоит от $30 за пользователя в месяц

Бесплатная пробная версия: 30 дней по запросу

Ссылка на скачивание

Zephyr Squad (Zephyr For Jira)

Zephyr Squad — простой, лёгкий в освоении и настройки плагин для Jira, который позволяет создавать, настраивать и проходить свои тестовые сценарии в Jira, предназначена для небольших команд с последующим масштабированием на другие продукты компании SMARTBEAR. Плагин отлично подходит для команд, у которых пока что нет сложных процессов тестирования или потребности в сложных структурах, есть всё необходимое в отчётности и приятные возможности по кастомизации сущностей наследуемые от интерфейса Jira.

Zephyr Squad

Возможности:

• Простая установка и настройка плагина

• Кастомизация интерфейса\пользовательские атрибуты

• Простая и понятная система отчётов в Jira

• Масштабируемость под команду

• Ведение, отслеживание и покрытие дефектов и требований в Jira

• Большое количество видео-уроков, документации

• Интеграция с внешними сервисами

Цены: от $10 в месяц за облачную версию

Бесплатная пробная версия: 30 дней

Ссылка на скачивание

Zephyr Scale (TM4J)

TM4J он же Adaptavist, за последний год был приобретен компанией SMARTBEAR и переименован в Zephyr Scale.

Zephyr Scale

Zephyr Scale – это масштабируемое, решение для управления тестовыми артефактами, релизами и отчётностью по тестам внутри Jira с расширенными функциями планирования тестирования и повторного использования. Предназначена для среднего размера команд и небольших компаний с возможностью переноса своих исторических данных с Zephyr Squad.

Продукты компании SMARTBEAR на данный момент позиционируют себя так:

Zephyr Squad – для небольших команд

Zephyr Scale – для среднего размера команд и небольших компаний

Zephyr Enterprise – для больших команд и среднего\большого размера компаний

Zephyr Scale

Возможности:

• Покрытие требований, релизных циклов и ведение отчётности напрямую в Jira

• Ведение, отслеживание и покрытие дефектов в Jira

• Простой в освоении UI

• Расширенные дашборды в Jira

• Масштабируемость под команду

• Широкие возможности кастомизации проектов\тестовых артефактов

• Большое количество видео-уроков, документации

• Интеграция с внешними сервисами

Цены: от $10 в месяц за облачную версию

Бесплатная пробная версия: 30 дней

Ссылка на скачивание

Tricentis qTest

Tricentis qTest — это простое в использовании, масштабируемое решение для управления тестами, которое позволяет тестировщикам централизовать и ускорить управление тестами. Система предоставляет возможности отслеживания, управления, организации и отчётности для тестирования программного обеспечения и управления тестовыми сценариями. Также продукт управляет требованиями и тест-кейсами, выполняет тесты, отслеживает дефекты и сообщает о тестовых данных. Есть интеграция с JIRA, Rally и VersionOne, а также с другими популярными инструментами автоматизации.

Tricentis qTest

Возможности:

• Легко интегрируется с инструментами Agile и DevOps

• Создание значимых отчётов с данными из Jira

• Централизует управление и автоматизацию тестирования

• Интегрируется с любым открытым или проприетарным инструментом автоматизации тестирования

• Идёт зачастую в связке с Tricentis Tosca, что позволяет покрыть и мануальное и авто тестирование

• Работа с параметрами и конфигурациями тестов

Tricentis qTest

Цены: Tricentis не указывает свои цены напрямую, запрос можно отправить по этой ссылке

Бесплатная пробная версия: 14 дней

Ссылка на скачивание

Kiwi TCMS

Kiwi TCMS – бесплатная система управления тестовыми сценариями, написанные на Python и Django. У данной системы достаточно мощных и полезных функций, к примеру интеграция с Bugzilla и JIRA, быстрый план тестирования и выполнения умного поиска, настраиваемый контроль доступа для каждого тест-плана, выполнения теста и прочих артефактов, а также API-интерфейсы и XML-RPC.

Kiwi TCMS

Система отлично подходит под небольшие команды\продукты и предназначена помочь тестировщикам сделать их работу более организованной, прозрачной и подотчётной для всех членов команды.

Kiwi TCMS

Возможности:

• Линкование тестовых сценариев и issue не выходя из JIRA

• Работа с автоматизированными тестами

• Внутренний баг-трекер

• Понятная система отчетов

• Использование общего шага

• Фактическое время прохождения теста

• Экспорт данных в Excel

 Цена: Бесплатная система с открытым исходным кодом, но есть платные планы за донейшен или подписку

Ссылка на сайт

Понравился пост? Не забудьте поделиться им!

И помните, только тестировщик стоит между багами и клиентом! :)

Обсудить в форуме