Home

Автор: Хотенов Артём, hotenov.com

Несмотря на колоссальные возможности современных табличных редакторов, для многих команд разработки рано или поздно встает вопрос о внедрении специализированных инструментов (систем) для управления процессом тестирования в своих проектах. Какой же из них выбрать?



Такой вопрос в моей практике задавался не раз. Это подтолкнуло меня на создание этой обзорной статьи. Чтобы в будущем сэкономить немного времени себе и всем тем, кто также столкнется с этим вопросом. И пусть даже в конце статьи на него не будет ответа (извините за спойлер), но ваше подсознание, скорее всего, определится уже сейчас и в нужный момент на определенном проекте подскажет ответ.

В своих поисках я натыкался на множество аналогичных статей (в одной из которых я позаимствовал структуру сравнительной таблицы), но все они скупо перечисляют функции с сайтов этих систем и 1-2 скриншота интерфейса и зачастую содержат скрытую или открытую рекламу одного из таких инструментов. Мне же захотелось испытать каждую систему “на себе” и непредвзято поделиться увиденным, рассказать о своих ощущениях.

Дисклеймер

Ниже приведена итоговая сравнительная таблица (кликабельная), после неё читатель, не спешащий на встречу, найдет несколько слов о каждой системе.

Платные инструменты:

TestRail
QA Touch
Test Collab
qTest Manager
PractiTest
Zephyr Standalone
TestLodge
EasyQA

Open Source инструменты:

TestLink
Squash TM
Kiwi TCMS

Важно:
Скриншоты интерфейсов кликабельны и спрятаны под спойлер. Еще больше скриншотов вы найдете на моём сайте. Никто не любит саморекламу, поэтому если есть примеры статей или способ как быстро и удобно добавить в статью на Хабре подобные галереи изображений, подскажите в комментариях или в личном сообщении. Постараюсь переделать и затем убрать эту ремарку.

TestRail

Сайт: www.gurock.com/testrail
Разработчик: Gurock Software GmbH
Цена: TestRail Cloud $30 за юзера / месяц (1-20 пользователей)

Радует: удобный и понятный интерфейс; быстрая вставка изображений; Markdown разметка текста; добавление пользовательских полей; настройка порядка отображения полей кейса; возможность назначить каждый кейс (или тестран) на отдельного пользователя; быстрое копирование и перемещение кейсов; группировка нескольких тестранов в тестовый план; быстрые интеграции с багтрекерами (по URL трекера или используя плагины); экспорт как кейсов, так и отчетов в XML и CSV форматы; широкие возможности API для интеграции с вашими внутренними системами (синхронизация информации в кейсах, сохранение результатов автотестов и т.д); наглядные отчеты; аккуратные печатные формы; при создании проекта можно выбрать три типа структуры для хранения тест кейсов (одна из которых позволяет разделять кейсы на ветки, соответствующие разработке).

Не радует: нет встроенных требований; нет своего багтрекера; цена довольно высокая (особенно для небольших компаний).

Скриншоты интерфейса:

QA Touch

Сайт: www.qatouch.com
Разработчик: DCKAP
Цена: Professional $69 за 50 юзеров / месяц

Радует: широкие имеющиеся и планируемые возможности при адекватной цене; приятный UI; встроенные багтрекер и требования; интеграция с внешними багтрекерами JIRA, GitHub, GitLab; релизное планирование тестранов; есть возможность создания пере-прогона (re-run) с кейсами определенного статуса; голосовой набор и автодополнение текста заголовка кейса и бага; переиспользуемые шаги кейса.
К сожалению, не смог опробовать и сделать скриншот некоторых компонентов продукта, т.к. они доступны только в платных планах.

Не радует: составляющие кейса (основные поля, шаги, вложения) разнесены на вкладки при редактировании; нет форматирования текста; картинку хоть и можно добавить к отдельному шагу, но только к одному и как скачиваемый файл; нет версионности кейса; текстовые области шагов и ожидаемых результатов, при изменении их размера вручную, сбиваются во время редактирования (не на одной линии); форма выбора кейсов для тестрана немного разная при создании и при редактировании его; список кейсов и багов включает только их название и ID (для быстрого обзора списка дополнительные настраиваемые поля были бы не лишними); отметка статуса при прогоне также вынесена на отдельную вкладку от общей информации кейса; есть небольшие косяки в отображаемых данных (общее количество кейсов на дашборде и странное поле «Assigned to» — списываю это на то, что я зарегистрировался еще в том году, с тех пор вендор существенно его дополнил).

Скриншоты интерфейса:

Test Collab

Сайт: testcollab.com
Разработчик: Test Collab
Цена: Startups от $25 за юзера / месяц (свыше 50 пользователей — $10)

Радует: широкая настройка почтовых уведомлений (с возможностью редактировать шаблоны писем); объединение тестранов в тест-планы; приятный интерфейс с подсказками (которые можно отключить); функция повторного использования шагов (reusable steps); возможность комментирования кейса при редактировании; тэги; выбор типа форматирования текста (Markdown, HTML/WYSIWYG, Plain Text); добавление пользовательских полей; настраиваемые шаблоны для выборки кейсов в тестран; встроенные требования; цена (для небольших проектов есть бесплатный план с 200 кейсами и 400 выполненными кейсами).

Не радует: нельзя редактировать системные поля (в частности Priority); нет возможности сохранить отображаемые поля в списках (при обновлении страницы сбрасываются по умолчанию); есть небольшие огрехи в отображении элементов UI; нет печатных форм ни для кейсов ни для отчётов (наверное, сейчас их редко используют, но другие инструменты предлагают такую функцию); данные на общем дашборде обновляются с задержкой; экспорт кейсов только для одного тестового набора (при этом вложенные наборы обрабатывает только экспорт в XML); неудобная вставка изображений в шаги кейса (через ссылку); нет своего багтрекера.

Скриншоты интерфейса:

qTest Manager

Сайт: tricentis.com
Разработчик: Tricentis (приобрела QASymphony в 2018)
Цена: от $99 за юзера / месяц (цена приблизительна и зависит от количества пользователей)

Радует: настройка системных и добавление пользовательских полей к различным объектам (с возможностью предпросмотра этого объекта и даже изменения цвета для статуса прогона); информативная история изменения кейса; встроенный HTML-редактор в текстовых полях кейса; комментирование отдельного кейса; можно подписаться на отдельный кейс и получать уведомления на почту об изменениях; интересная реализация авто-версионирования кейса (с мажорной и минорной составляющей); функция быстрого прогона кейса (без выставления статуса каждому шагу); встроенные требования с привязкой кейсов и указанием целевой сборки, также имеется встроенный багтрекинг; переиспользуемые кейсы; настраиваемые конфигурации тестранов; широкие возможности по интеграции как с багтрекерами, так и CI/CD сервисами; API для еще более гибкого взаимодействия; хранимые запросы поиска по кейсам, требованиям и т.д.; разнообразные отчеты; гибкая настройка на стороне администратора (пользователи, уведомления, права, группы и т.д.); встроенный проект со всеми данными для ознакомления с возможностями продукта; планы тестирования.

Не радует: нет печатных форм кейсов; экспорт кейсов только в Excel формате (но зато он имеет читаемый вид); немного неудобный просмотр картинок в шагах кейса при прогоне; на сайте нет информации о цене продукта (нужно делать отдельный запрос) и она внушительная.

Скриншоты интерфейса:

PractiTest

Сайт: www.practitest.com
Разработчик: PractiTest
Цена: ENTERPRISE $49 за юзера / месяц (минимум от 3 пользователей)

Радует: возможность комментирования кейса (теста); теги (ключевые слова) для теста; быстрый переход по номеру теста; генерация перестановок тестранов (для разных тестировщиков, версий); использование параметров в шагах кейса (с возможностью изменить значение при каждом прогоне); включение шагов (call to test) одного кейса в другой (иногда это действительно нужно и не надо прыгать по ссылкам на другие кейсы); двусторонняя интеграция с Jira и YouTrack (с помощью создания API токена); добавление пользовательских полей; канбан доска по статусам для кейсов; свои багтрекер и требования (но не сделал скриншоты с ними).

Не радует: сложный UI/UX в целом (в частности разделение структуры кейса на вкладки: описание и шаги на разных вкладках); скудная, непрезентабельная печатная версия как самих кейсов так и отчетов; хоть и есть поддержка markdown разметки, но картинки к шагам добавляются только как вложения; нельзя изменить статус всего кейса, если какой-то шаг не прошёл (это и правильно, но иногда нужно «озеленить» весь тест); пользовательскому списку нельзя задать приоритет сортировки (сортирует по алфавиту); цена (завышена, даже учитывая уникальные функции); виджет чата поддержки на каждой странице.
Сайт компании на момент публикации был недоступен с российского IP, при этом веб-платформа открывалась.

Скриншоты интерфейса:

Zephyr Standalone

Сайт: www.getzephyr.com
Разработчик: SmartBear Software
Цена: от $50 за юзера / месяц (цена взята из прошлого, сейчас не указана на сайте)

Радует: привлекательное планирование стадий тестирования (на подобии диаграммы Ганта) с добавлением и настройкой различных работ по тестированию; встроенные требования и багтрекинг, которые при наличии JIRA бесшовно интегрируются с ней (с возможностью поиска и просмотра тикетов напрямую из Zephyr); есть возможность добавлять пользовательские поля к объектам (проекту, кейсам, требованиям), изменять название и цвет статусам прогона (всего кейса и отдельного шага); можно добавить виджеты для проекта с различными характеристиками (диаграммами), которые будут обновляться через заданное время; экспорт кейсов в HTML и PDF формат с указанием необходимых полей.

Не радует: непривычный интерфейс, к UX/UI надо привыкать какое-то время; нет прямой ссылки на отдельный кейс (только через поисковый запрос можно сформировать URL для него); плашка с виджетом помощи внизу не убирается; нельзя менять системные поля; картинки к шагам кейса можно добавить только как вложения ко всему кейсу; заточенность только под JIRA; цену нужно узнавать по запросу (и только по телефону, в электронном сообщении эту информацию не предоставляют).

Скриншоты интерфейса:

TestLodge

Сайт: www.testlodge.com
Разработчик: TestLodge Limited
Цена: Basic $49 за 600 кейсов / месяц (подписка по количеству данных)

Радует: лаконичный интерфейс; создание и выбор конфигурации при создании тестрана; быстрая интеграция с популярными баг-трекерами; создание тест-плана (с шаблоном по умолчанию); матрица покрытия (если требования вести внутри продукта); модель подписки по количеству данных (для некоторых проектов это плюс); экспорт набора в HTML (она же печатная форма).

Не радует: нет разделения кейса на отдельные шаги; пользовательские поля нельзя переместить выше системных; картинку можно вставить только как вложение или ссылку на нее; экспорт кейсов только каждый набор в отдельности; тестовый набор можно указать только для одного тест-плана; нет своего багтрекера.

Скриншоты интерфейса:

EasyQA

Сайт: geteasyqa.com
Разработчик: ThinkMobiles
Цена: $10 за юзера / месяц

Радует: возможности для мониторинга и тестирования мобильных сборок (APK и IPA файлы), интегрируясь с GitHub или GitLab репозиториями; свой багтрекер с возможностью добавить плагин для интеграции с другими системами (GitHub, GitLab, YouTrack, JIRA, RedMine, Pivotal Tracker, Trello); простота в обращении (иногда это плюс) с тестовыми объектами (планы, тестраны, тест-кейсы, отчеты); наглядное сопоставление полей при экспорте кейсов из CSV файла (но требует внимания, можно уйти в бесконечный цикл экспорта).

Не радует: нет возможности хоть как-то кастомизировать объекты; нет ожидаемого результата для каждого шага кейса; в кейсах нельзя форматировать текст и прикладывать картинки; есть вопросы к UI в некоторых местах (особенно при отображении таблиц); не получил письма с приглашением для второго участника на почту с личного домена; нельзя менять права для ролей (+ не смог сменить роль проекта для неподтверждённого пользователя).
Судя по активности в социальных сетях и блоге на сайте, они приостановили разработку.

Скриншоты интерфейса:

Бесплатные системы многих привлекают отсутствием ежемесячной платы. Но определенных затрат они, безусловно, потребуют. Во-первых, аренда хостинга (вычислительные ресурсы). Во-вторых, трудозатраты системного администратора по установке, настройке и поддержке работоспособности системы. Но сервер (или небольшая виртуальная машина) у вас уже может быть, а наличие готовых Docker-образов упрощает развертывание, поэтому запуск бесплатной системы “с нуля” может оказаться проще регистрации в платной системе (утрирую, конечно, но в каждой шутке есть доля шутки). Добавим к этому тенденцию “полного контроля” над данными, и продукты с открытым исходным кодом становятся всё более привлекательными для внедрения. Я взял на обзор три таких системы: TestLink, Squash TM и Kiwi TCMS.

TestLink

Сайт: testlink.org
Язык разработки: PHP

Радует: встроенные требования и отслеживание их через кейсы; разнообразные текстовые отчеты; возможность добавить пользовательские поля; гибкая настройка ролей пользователей; интеграция с багтрекерами (JIRA, YouTrack, GitLab, Bugzilla и др.); тестлид может дополнительно установить срочность (urgency) для каждого кейса в тестране, что повлияет на порядок выполнения кейсов; управление списком тестируемых платформ; инвентарный список хостов (мелочь, но приятно); HTML-редактор с возможностью вставлять картинки, ссылки, таблицы, списки; по-моему, самый популярный Open Source инструмент со множеством инструкций и статей по настройке и использованию; наличие ресурса разработки на языке PHP позволяет изменить продукт под свои потребности (если стандартных функций покажется недостаточно или они окажутся не такими удобными).

Не радует: интерфейс, требующий небольшого привыкания; придется повозиться с настройкой некоторых компонентов для полноценной работы (точечная настройка конфигурационных файлов, отправка почты, интеграция с багтрекером); в текстовых окнах HTML-редактора не работает стандартная проверка орфографии браузера; нельзя редактировать системные поля и порядок их отображения на форме кейса; ручная смена порядка шагов (приходится вводить цифры, вместо перетаскивания); назначение кейсов для тестрана (билда) после платных инструментов покажется неудобным.

Скриншоты интерфейса:

Squash TM

Сайт: www.squashtest.org
Язык разработки: Java

Радует: управление требованиями с привязкой к тест-кейсам; HTML-редактор; использование параметров в шагах кейса и предусловиях; возможность создать тест кейс с Gherkin сценарием (BDD); UI функция сворачивания содержания шагов кейса; есть режим прогона кейсов с отображением во фрейме тестируемого веб-сайта (в большинстве случаев уже не актуально, но возможность такая есть); использование существующего кейса (Call a test case); добавление пользовательских полей к объектам; цветовое разграничение компонентов продукта, также показался удобным цветовой индикатор статуса в библиотеке кейсов; плагины для интеграции с багтрекерами JIRA и Mantis; есть подробная документация (правда, некоторые разделы не в том порядке).

Не радует: чтобы прикрепить картинку во вложении, нужно сначала добавить расширения для таких файлов в белый список системных настроек (по умолчанию png и jpg отсутствуют); нельзя редактировать системные поля (категория и приоритет); нельзя редактировать имеющиеся семь ролей прав доступа (однако, 7 уровней этого зачастую достаточно); не смог сгенерировать некоторые отчеты (из логов узнал, что проблема с инициализацией класса); необычная терминология для тест-планов и тестранов (тут они названы Campaign и Iteration); разбиение UI на вкладки.

Скриншоты интерфейса:

Kiwi TCMS

Сайт: kiwitcms.org
Язык разработки: Python

Радует: гибкая настройка прав групп пользователей; интеграция с багтрекерами JIRA, Bugzilla, GitHub and GitLab; быстрая работа системы; Markdown разметка текста с возможностью быстрого предпросмотра; возможность подключить плагины (некоторые, правда, только в планах на разработку) для сбора результатов автотестов; внешний API; подробная документация по продукту; активная разработка новых фич и планы на будущее.

Не радует: в тесте нет деления на отдельные шаги; некоторые счетчики в UI не обновляются, после совершения действия (необходимо обновлять страницу); своя подсветка орфографии в текстовом редакторе; один отчет по созданным кейсам (но в планах добавить еще несколько); нет деления на проекты внутри системы.

Скриншоты интерфейса:

Заключение

Это лишь малая часть доступных на рынке систем. Однако, обзор уже получается довольно длинным. Не вошли в него плагины для JIRA (TM4J, Zephyr, Xray, TestFLO и др.), т.к. это птицы разного полёта. JIRA хоть и используется сейчас на многих проектах, но всё-таки она не панацея. Поэтому это тема для отдельной, не меньшей статьи. Также под прицел не попала Test IT, но она вышла совсем недавно, когда основная часть этой статьи уже была написана. Возможно, за это время “родились” еще системы или есть уже существующие, достойные обзора — напишите в комментариях. Кажется, люди любят сериалы — напишем продолжение!

А пока предлагаю поучаствовать в обсуждении “Какая система управления тестированием у вас на проекте?”.

(Понимаю, что не всегда это есть “желаемая” система, тогда поделитесь вашей болью: с какой работаете, и с какой хотели бы работать.)

Обсудить статью в форуме