Сообщений в теме: 20

[baranceva]

Автор: Хотенов Артём, hotenov.com

 

Несмотря на колоссальные возможности современных табличных редакторов, для многих команд разработки рано или поздно встает вопрос о внедрении специализированных инструментов (систем) для управления процессом тестирования в своих проектах. Какой же из них выбрать?



Такой вопрос в моей практике задавался не раз. Это подтолкнуло меня на создание этой обзорной статьи. Чтобы в будущем сэкономить немного времени себе и всем тем, кто также столкнется с этим вопросом. И пусть даже в конце статьи на него не будет ответа (извините за спойлер), но ваше подсознание, скорее всего, определится уже сейчас и в нужный момент на определенном проекте подскажет ответ.

В своих поисках я натыкался на множество аналогичных статей (в одной из которых я позаимствовал структуру сравнительной таблицы), но все они скупо перечисляют функции с сайтов этих систем и 1-2 скриншота интерфейса и зачастую содержат скрытую или открытую рекламу одного из таких инструментов. Мне же захотелось испытать каждую систему “на себе” и непредвзято поделиться увиденным, рассказать о своих ощущениях.

 

Читать статью полностью...

[ChitaevK]

На самом деле было бы интересно услышать + и - работы в test it. Кажется достаточно перспективным проектом, за меньшие средства, чем тот же реил. И какие еще системы доступны в серверном варианте, кроме реила и it не подскажите?

[hotenov]

На самом деле было бы интересно услышать + и - работы в test it. Кажется достаточно перспективным проектом, за меньшие средства, чем тот же реил. И какие еще системы доступны в серверном варианте, кроме реила и it не подскажите?

 

Добрый день. Спасибо за комментарий.

 

Test IT вышел уже после того момента, когда большая половина эта статьи была написана. И не попала в моё поле зрения. В комментариях Хабра про нее тоже упомянули.

Если вы видите, что продукт хороший. Вам уже проще: достаточно посмотреть только его и решить подходит он вам или нет. Найдите время, своя оценка гораздо лучше, чем мнение автора всевозможных статей. 

По поводу второго вопроса о "серверном варианте". Если вы имели ввиду возможность установки системы на свой сервер, то часть из перечисленных мной обладают такой возможностью (пройдитесь по ссылкам тарифов в таблице, думаю на сайте разработчика вы найдете нужную информацию. Но цены вас вряд ли обрадуют, если вы ищите "за меньшие средства"). Как минимум все бесплатные системы можно развернуть у себя.

 

Если вы имели ввиду с доступом к системе через web-интерфейс. То здесь перечислены только такие системы (десктопных продуктов нет).

[Bobunov]

Пропущено много стоящих продуктов. И не совсем ясны критерии по которым выбирались тулы. Для большого бизнеса будут одни критерии, для стартапа будут совсем другие критерии.

 

К примеру, не всем стартапам нужны монстры которые могут все и за большие деньги. На начальном этапе возможно обойтись инструментами по типу testpad, qase или hiptest.

[hotenov]

Пропущено много стоящих продуктов. И не совсем ясны критерии по которым выбирались тулы. Для большого бизнеса будут одни критерии, для стартапа будут совсем другие критерии.

 

К примеру, не всем стартапам нужны монстры которые могут все и за большие деньги. На начальном этапе возможно обойтись инструментами по типу testpad, qase или hiptest.

 

Спасибо за отзыв.

 

Несомненно вы правы. Это лишь 3 см вершины айсберга. Описывать их все и жизни не хватит (по крайней мере моей). Поэтому я взял те, что чаще всплывали в других обзорах и поиске на тот момент времени (год назад).

Если бы тот же qase уже был в широком доступе, тогда я бы, скорее всего, его включил. Платные системы старался брать примерно в одном диапазоне (порядке) из них сильно выбивается "qTest Manager". Но его включил, потому что он популярен среди компании покрупнее и побогаче.

 

Многие люди считают, что вообще все эти инструменты не нужны и лучше таблиц пока ничего не придумали. Поэтому цель этой статьи была (и есть) чуть-чуть сократить время на обзор всех инструментов, кто всё же их хочет использовать у себя. Ключевой особенностью моей статьи являются многочисленные скриншоты "живого" продукта, с данными, который я сам вносил. Не просто ужатый, пережатый единственный скрин с сайта разработчика.

 

Извините, если статья только отняла у вас время, а не помогла сузить поиск решения 

[Spock]

 

 

Многие люди считают, что вообще все эти инструменты не нужны и лучше таблиц пока ничего не придумали. 

да, видимо все эти инструменты устарели с появлением скрама и развитием автоматизации тестирования. Ну может и кое-кому они действительно нужны, но это только 1% от всех

[hotenov]

 

 

 

Многие люди считают, что вообще все эти инструменты не нужны и лучше таблиц пока ничего не придумали. 

да, видимо все эти инструменты устарели с появлением скрама и развитием автоматизации тестирования. Ну может и кое-кому они действительно нужны, но это только 1% от всех

 

 

Смелое утверждение. Даже мой опрос на хабре показывает, что примерно только 1/5 не использует специализированные инструменты. У вас, наверное, есть более широкие статистические данные. Поэтому, возможно, вы тоже правы 

[Spock]

 

 

Смелое утверждение. Даже мой опрос на хабре показывает, что примерно только 1/5 не использует специализированные инструменты. У вас, наверное, есть более широкие статистические данные. Поэтому, возможно, вы тоже правы  

а можно ссылку на опрос? ну я действительно не видел чтобы в 4х из 5ти компаний были бы установлены и активно использовались тулы типа тестрейла (ну или 4 из 5ти тестировщиков, зависит как считали. Но тоже не видел такой массовости)

[hotenov]

 

 

 

Смелое утверждение. Даже мой опрос на хабре показывает, что примерно только 1/5 не использует специализированные инструменты. У вас, наверное, есть более широкие статистические данные. Поэтому, возможно, вы тоже правы  

а можно ссылку на опрос? ну я действительно не видел чтобы в 4х из 5ти компаний были бы установлены и активно использовались тулы типа тестрейла (ну или 4 из 5ти тестировщиков, зависит как считали. Но тоже не видел такой массовости)

 

 

Пожалуйста https://habr.com/ru/post/463333/#poll  

В конце статьи есть на него ссылка. 

[Spock]

 

Пожалуйста https://habr.com/ru/post/463333/#poll   

В конце статьи есть на него ссылка. 

ошибка в том, что результаты этого опроса нельзя экстраполировать на отрасль

 

ведь опрос проводился не среди компаний разработки - а только среди читателей статьи "Выбор системы управления тестированием в 2019"

 

то есть например если 90% компаний и сотрудников не используют эти тулы, то вот эти оставшиеся 10% и пойдут читать статью, ведь остальным 90% статья будет не актуальна и не интересна, они даже и не откроют её

 

и эти 10% будут голосовать, и естественно по этому опросу процент использования тулов получится высоким, несмотря на то, что по отрасли этот процент низкий

[hotenov]

 

 

Пожалуйста https://habr.com/ru/post/463333/#poll   

В конце статьи есть на него ссылка. 

ошибка в том, что результаты этого опроса нельзя экстраполировать на отрасль

 

ведь опрос проводился не среди компаний разработки - а только среди читателей статьи "Выбор системы управления тестированием в 2019"

 

то есть например если 90% компаний и сотрудников не используют эти тулы, то вот эти оставшиеся 10% и пойдут читать статью, ведь остальным 90% статья будет не актуальна и не интересна, они даже и не откроют её

 

и эти 10% будут голосовать, и естественно по этому опросу процент использования тулов получится высоким, несмотря на то, что по отрасли этот процент низкий

 

 

Всё верно. Но пока это единственная выборка, которая есть у меня. Опроса всех компаний разработки у меня нет. Поэтому, про 1% вполне может быть реально. Но я верю только свои глазам и ушам. Наверняка, есть опросы с более широкой выборкой. Но как настоящий параноик, я оставлю за собой право им не верить    Всё покупается и опросы тоже    (на самом деле я так немного утишаю себя, что не зря потратил несколько месяцев своей жизни на эту статью :)

[Spock]

 

 

Всё верно. Но пока это единственная выборка, которая есть у меня. Опроса всех компаний разработки у меня нет. Поэтому, про 1% вполне может быть реально. Но я верю только свои глазам и ушам. Наверняка, есть опросы с более широкой выборкой. Но как настоящий параноик, я оставлю за собой право им не верить     Всё покупается и опросы тоже     (на самом деле я так немного утишаю себя, что не зря потратил несколько месяцев своей жизни на эту статью :)

ошибка с экстраполяцией не единственная ошибка в опросе

 

есть ещё ошибка с интерпретацией выбора "Другая" плюс отсутствие выбора "Не используем никакую", и это дополнительно значительно завысило использование тулов

 

многие просто слили туда свои голоса, "ну типа что-то мы используем, ну или не особо", те которые не используют ничего тоже туда слили голоса, те которые просто тестируют по тикетам в Джире тоже туда проголосовали

 

зато эти все голоса были добавлены в группу "используют специализированные средства"

[hotenov]

 

 

 

Всё верно. Но пока это единственная выборка, которая есть у меня. Опроса всех компаний разработки у меня нет. Поэтому, про 1% вполне может быть реально. Но я верю только свои глазам и ушам. Наверняка, есть опросы с более широкой выборкой. Но как настоящий параноик, я оставлю за собой право им не верить     Всё покупается и опросы тоже     (на самом деле я так немного утишаю себя, что не зря потратил несколько месяцев своей жизни на эту статью :)

ошибка с экстраполяцией не единственная ошибка в опросе

 

есть ещё ошибка с интерпретацией выбора "Другая" плюс отсутствие выбора "Не используем никакую", и это дополнительно значительно завысило использование тулов

 

многие просто слили туда свои голоса, "ну типа что-то мы используем, ну или не особо", те которые не используют ничего тоже туда слили голоса, те которые просто тестируют по тикетам в Джире тоже туда проголосовали

 

зато эти все голоса были добавлены в группу "используют специализированные средства"

 

 

Да, в статистике, вижу, вы разбираетесь. (в отличии от меня  )  Но пока факт о том, что опрос этот не подходит, чтобы делать какие-то выводы, не дает уверенности (лично мне), что ваше предположение тоже не взято с потолка. Нас окружают разные компании и в разных мы работаем. В моем опыте, по большей части используют такие или подобные инструменты. За вас только можно порадоваться, если вы их встречали (-ете) редко. Значит это были компании с хорошо организованными процессами, которым не нужны эти дополнительные инструменты для управления и контроля на проектах.

[ChitaevK]

 

 

 

Многие люди считают, что вообще все эти инструменты не нужны и лучше таблиц пока ничего не придумали. 

да, видимо все эти инструменты устарели с появлением скрама и развитием автоматизации тестирования. Ну может и кое-кому они действительно нужны, но это только 1% от всех

 

У меня скорее совсем обратное впечатление. Почти все компании, что я видел, используют какие-то тмс. А те кто не используют или используют "гуглодоки" хоте ли бы использовать, но либо руки не доходят, либо показать как это делать некому, либо хотят бесплатно, но "тестлинкнепредлагать"

[hotenov]

У меня скорее совсем обратное впечатление. Почти все компании, что я видел, используют какие-то тмс. А те кто не используют или используют "гуглодоки" хоте ли бы использовать, но либо руки не доходят, либо показать как это делать некому, либо хотят бесплатно, но "тестлинкнепредлагать"

 

 

Просто мы с вами варимся в 1% сами знаете чего    (извините, если шутка не смешная)

[Spock]

 

 

Значит это были компании с хорошо организованными процессами, которым не нужны эти дополнительные инструменты для управления и контроля на проектах.

да не нужны никакие процессы и контроль - ведь зачем организовывать какое-то крупное ручное тестирование с использованием тулинга если есть автотесты которые запускаются на каждый пуш?

 

это ведь очень дорого - создавать, поддерживать и выполнять эти ручные тесты

 

ведь за эти же деньги можно создать нормальную автоматизированную инфраструктуру тестирования

[hotenov]

 

 

 

Значит это были компании с хорошо организованными процессами, которым не нужны эти дополнительные инструменты для управления и контроля на проектах.

да не нужны никакие процессы и контроль - ведь зачем организовывать какое-то крупное ручное тестирование с использованием тулинга если есть автотесты которые запускаются на каждый пуш?

 

это ведь очень дорого - создавать, поддерживать и выполнять эти ручные тесты

 

ведь за эти же деньги можно создать нормальную автоматизированную инфраструктуру тестирования

 

 

Даже в 2k19 не всё можно автоматизировать. Автоматизация не панацея, иногда дешевле поддерживать ручные тесты, особенно, где доступна дешевая рабочая сила. Да и порог вхождения меньше для ручных тестов (особенно для их поддержки и написания новых). Сейчас глупость скажу, но CI тоже с натяжкой можно отнести к TMS т.к. вы по любому тесты маркируете, группируете и запускаете в нужное время, собирая затем статистику. Управлять нужно даже автотестами, как это не дико звучит 

[Bobunov]

да, видимо все эти инструменты устарели с появлением скрама и развитием автоматизации тестирования. Ну может и кое-кому они действительно нужны, но это только 1% от всех

 

Скрам.. такое себе...
Но я считаю что с развитием автоматизации тулы по типу TMS стали ещё актуальнее...
Ведь это реально удобно завести в таком туле описание ТК, собрать все ТК в тест ран и нажать кнопку на прогон. Потом тул по апи дает команду в CI/CD на запуск определенного пула тестов. При прогоне тесты автоматически, по апи, шлют свой статус в этот тул, где проставляется Passed/Failed and etc

 

Получается код отдельно, доки отдельно, тест резалты отдельно и все рады)  

 

Аналогично если тесты гонятся по мерджу. Просто инициализатором создания тест рана является уже код а не тул.

[Spock]

 

Скрам.. такое себе...

Но я считаю что с развитием автоматизации тулы по типу TMS стали ещё актуальнее...
Ведь это реально удобно завести в таком туле описание ТК, собрать все ТК в тест ран и нажать кнопку на прогон. Потом тул по апи дает команду в CI/CD на запуск определенного пула тестов. При прогоне тесты автоматически, по апи, шлют свой статус в этот тул, где проставляется Passed/Failed and etc

 

Получается код отдельно, доки отдельно, тест резалты отдельно и все рады)  

тут непонятно зачем что-то собирать руками и нажимать на кнопку запуска

 

если у Вас будет несколько десятков разработчиков - кто будет эту кнопку постоянно жать?

[Bobunov]

 

тут непонятно зачем что-то собирать руками и нажимать на кнопку запуска

 

если у Вас будет несколько десятков разработчиков - кто будет эту кнопку постоянно жать?

Вопрос не в том кто будет жать, а именно в возможности это сделать. 
Как я понимаю мы говорим немного о разных вещах. 

И интересно, вы на каждый мердж гоняете все тесты? Включая ui (мобилки, сайты, пофиг что), долгие интеграционные?

 

Также хочу оговориться что все очень сильно зависит от проекта. Я ни в коем образе не категоричен. И мне реально интересно ваше мнение и ваш подход.