Home

Оригинальная публикация

Импортозамещение и уход иностранных вендоров заметно повлияли на отечественный рынок IT. С одной стороны, госкомпании и ключевые организации, включая банки, обязали переходить на отечественное ПО. В то же время продолжается исход зарубежных систем, последней из них стала Qase TMS, которая объявила о прекращении работы на российском рынке и блокировке аккаунтов по IP. Эти изменения сильно ускорили развитие российского ПО и его популярность.

На фоне этих событий мы подготовили мини-обзор систем управления тестированием, которые сейчас доступны в России. Это не рейтинг или рекомендация, а скорее ревью.

Зачем нужна система управления тестированием

Системы управления тестированием или TMS (Test Management System) из управленческого класса систем. Они позволяют: 

• Организовать и контролировать процессы проведения тестирования;

• Структурировать и хранить тестовую документацию и тестовые модели;

• Собирать результаты разных видов тестирования воедино и строить отчетность.

Восемь систем в текущей подборке

Коммерческие

1. Test IT

2. ТестОпс

3. DoQA

4. FireTMS

5. DevpromALM

Опенсорсные

1. TestLink

2. TestY

3. KiwiTCMS

Test IT

Test IT — полностью российская TMS. Философия ее разработки заявлена как «От тестировщиков для тестировщиков», и основное внимание уделяется развитию системы на основе запросов и пожеланий пользователей. 

Одно из ключевых достоинств Test IT — возможность объединить ручное и автоматизированное тестирования в едином пространстве, что особенно ценят пользователи.

Система выглядит удобнее и привычнее для мануальных тестировщиков, что заметно по богатому арсеналу соответствующего модуля, но в последние годы все популярнее становится автотестирование и Test IT тоже адаптировалась. В системе активно совершенствуется специальный модуль для работы с автотестами.

Test IT подходит для разных команд. Недавно в облачной версии появился бесплатный тариф Lite, который ориентирован на маленькие команды с ограниченным бюджетом. Также у Test IT есть активное комьюнити в Telegram и техподдержка, которая даже на базовом уровне оперативно помогает решать проблемы. 

Достоинства Test IT

• Объединяет ручное и автоматизированное тестирование

• Строит подробную отчетность

• Работает с популярными тестовыми фреймворками

• Масштабируется на любые команды QA

• Отзывчивая поддержка

• Входит в реестр отечественного ПО

Цены

• Enterprise (серверная) версия за 3 лицензии  — 114 860 руб. в год.

• Standart (облачная) версию за 1 лицензию — 26 828 руб. в год.

• Lite-тариф доступен до 5 пользователей, он бесплатный, с ограниченной функциональностью. 

ТестОпс

ТестОпс — российская версия Allure TestOps от Qameta Software. Разработчики вложили в свою систему принципы DevOps-подхода — объединение и конвейерную непрерывность всех используемых процессов. 

В ТестОпс можно работать как с автоматизированными, так и с мануальными тестами, но изначально систему создавали для команд QA с акцентом на автотестирование. 

Пользователи отмечают удобную интеграцию с CI/CD-системами, которая позволяет загружать пайплайны автотестов и получать результаты в TMS,  плагины для популярных IDE помогают упростить написание автотестов и их выгрузку в систему.

Также ТестОпс стал развиваться и в сторону ручного тестирования, добавляя функциональность, которая упрощает работу мануальных QA-инженеров. 

Из-за связи российской ТестОпс с зарубежной Allure TestOps у пользователей могут возникать сложности. Например, документация российской системы не охватывает все аспекты работы с продуктом, и в результате приходится обращаются к документации Allure TestOps на английском языке, что не всем и не всегда удобно. 

Достоинства ТестОпс

• Хорошая интеграция с популярными CI/CD

• Наличие плагинов для популярных IDE

• Построение отчетов с помощью AQL

• Управление ручным и автотестированием

• Состоит в реестре отечественного ПО

• Масштабируется под разные команды

Цены

Серверная версия за 5 лицензий — 173 940 руб. в год

Облачная версия за 1 лицензию — 31 200 руб. в год

DoQA

DoQA — TMS от российской компании IT Test (не путать с Test IT), которая появилась на фоне ухода большинства зарубежных вендоров с российского рынка ПО в связи ростом потребности в отечественных решениях. Это ненагруженная система с базовыми функциями для работы команды тестирования.

С недавних пор в DoQA добавили модуль автотестирования, теперь с системой можно интегрироваться по API и загружать в нее результаты автотестов, которые запускаются в CI/CD либо в среде разработки.

 На данном уровне развития DoQA идеально подходит небольшим командам — особенно тем, которые еще не использовали подобное ПО. В системе есть базовая функциональность и нет ничего лишнего, QA-иженерам будет легко разобраться и настроить процессы.

Достоинства DoQA

• Достаточная базовая функциональность

• Ненагруженность системы

• Приятный UI/UX

• Возможность работы с автотестами

Цены

Облачная версия за 1 пользователя — 9 480 руб. в год

Серверная версия без обновлений за 10 пользователей — 180 000 руб. в год

FireTMS

Еще одним новичком на российском рынке TMS стала FireTMS.  Ее разработка началась недавно, но система уже включает необходимые функции, в том числе выбор тестируемого окружения.

В FireTMS есть модуль для заведения и работы с дефектами, который позволяет хранить их в отдельном репозитории и отслеживать изменения. Благодаря интеграции с другими системами задачи на исправление багов можно передавать в популярные багтрекеры. 

Также отметим персональный пользовательский рабочий стол, с его помощью можно управлять задачами вне проектов и настраивать отображение информации по индивидуальным запросам.

Несмотря на достаточно широкую функциональность, у FireTMS есть несколько недостатков. Первый — отсутствие модуля по работе с автотестами, что важно учитывать на фоне роста популярности автоматизации тестирования. Ведь сейчас автотесты внедряют как в крупных, так и в маленьких командах, а в некоторых автоматизация полностью заменяет ручное тестирование.

Второй недостаток — отсутствие серверной версии, что может стать критичным для компаний с развитой политикой безопасности. Например, для организаций из финансового сектора. 

Достоинства FireTMS

• Развитый модуль ручного тестирования

• Отдельный рабочий стол тестировщика

• Интеграция с популярными багтрекерами

Цены

Облачная версия за 1 пользователя — 18 360 руб. в год

DevpromALM

DevpromALM — платформа для управления рабочими процессами, которая состоит из модулей, адаптированных под разные команды. Поэтому и управление тестированием представлено как подключаемый компонент, а не отдельная система с большим набором функций.

Тем не менее DevpromALM предлагает базовую функциональность для управления процессами и командой QA. Модуль для тестирования напоминает ушедший с российского рынка Zephyr, который интегрировался с Jira. 

Удобно, когда блок для тестирования встроен в ALM: можно заводить баги, строить графики и собирать отчетность в одном инструменте.

Базовая функциональность DevpromALM включает возможность загружать результаты автотестов в виде XML-отчетов. При этом система разработана с философией полной кастомизации — пользователи могут самостоятельно разработать и внедрить необходимые фичи. 

При всех достоинствах DevpromALM пользователи отмечают недружелюбный интерфейс и UI/UX, в котором сложно разобраться. 

Достоинства DevpromALM

• Возможность самостоятельной доработки системы

• Мобильное приложение

• Плотная интеграция с системой баг/таск-трекинга

• Возможность построения любых графиков и отчетов

Цены

Стоимость системы зависит от выбранных модулей. Есть как серверная, так и облачная версии.

TestLink

TestLink — одна из самых популярных бесплатных систем по управлению тестированием. Позволяет создавать и поддерживать проекты, планы, наборы тестов и тесты. Связывать их между собой, а также формировать отчеты и вести статистику выполненной работы.

Пользователи считают TestLink достаточно функциональной TMS. Она поддерживает как ручное, так и автоматизированное тестирование и интегрируется с популярными системами баг-трекинга: Jira, Redmine и другими.

Недостатком является устаревший и неинтуитивный интерфейс, что вызывает трудности на начальном этапе. Это опенсорс-решение и, вероятно, не подойдет командам с высокими требованиями к информационной безопасности.

Достоинства TestLink

• Бесплатная  

• В свободном доступе

• Масштабируется на любую команду

• Есть базовые функции для тестирования

TestY

TestY — отечественная система, которую компания YADRO создавала для внутреннего использования. Со временем разработчики решили сделать ее доступной и выложили исходные файлы в публичный репозиторий.

Поскольку у YADRO большой штат тестировщиков, систему разрабатывали под запрос выдерживать большие нагрузки и быть отказоустойчивой, что является ее важным преимуществом. 

TestY можно дорабатывать самостоятельно, добавляя плагины с необходимой функциональностью. Также разработчики предусмотрели возможность миграции из других TMS, таких как TestRail или Excel. 

Базово система TestY обладает необходимой функциональностью для работы небольших и средних команд. Позволяет вести тестовую документацию, создавать тест-планы и запускать тестовые прогоны. Поддерживает парсинг Allure-отчетов с помощью отдельного плагина.

Достоинства TestY

• Бесплатная

• Периодические обновления и поддержка, так как разработчиком выступает крупная компания

• Возможность внедрять собственные доработки в систему

• Предусмотрены миграторы из TestRail и Excel

KiwiTCMS

KiwiTCMS — опенсорсная в базовом тарифе система управления тестированием, на рынке с 2017 года. В первую очередь подойдет для небольших команд с небольшим количеством проектов и запросов по функциональности.

В Kiwi можно работать с автотестами, строить отчеты и создавать отдельные баги, отслеживать их историю появления и решение. Система имеет открытый исходный код, а значит ее можно дорабатывать под конкретные потребности. 

В Kiwi TCMS можно подключать багтрекеры и настраивать ролевую модель доступа. Также у системы есть обширная документация, которая отвечает на большинство вопросов по использованию и администрированию, но только на английском языке.

Хоть Kiwi и опенсорсное решение, его разработчики предоставляет платные версии с дополнительной функциональностью и услугами. 

Достоинства KiwiTCMS

• Бесплатная, но есть платные тарифы

• Полнота документации

• Возможность самостоятельных доработок

• Возможность работы с автотестами

Как избежать ошибок при выборе TMS

Как можем видеть, на российском рынке достаточно собственных инструментов для управления тестированием, как платных, так и бесплатных. Некоторые из них превосходят ушедшие зарубежные аналоги по функциональности, но могут оказаться проблемными при внедрении или дальнейшем масштабировании.

Основные трудности возникают при переезде из одной TMS в другую с большим объемом легаси-данных. Особенно если в новой системе нет подходящих инструментов для автоматической миграции и нужно разрабатывать собственные скрипты. 

Еще одной сложностью пользователи отмечали отсутствие технической поддержки у систем с открытым исходным кодом. При внедрении, миграции и пилотировании едва ли удастся обойтись без поддержки, но для опенсорсных решений она предоставляется редко. 

Также стоит учесть разную степень зрелости российских решений. Многие из локальных систем появились недавно и еще не успели развить достаточную функциональность. Поэтому выбирать решение нужно под конкретные задачи и с прицелом на масштабируемость.

Обсудить в форуме