Результаты опроса о Pairwise testing

Некоторое время назад мы проводили опрос о Pairwise testing ( http://software-test...ise-testing/ ).

Мы закончили анализ результатов и предлагаем вашему вниманию статью о трендах использования Pairwise Testing.

qatrends.com/...results-pairwise-testing

Спасибо за сбор статистики!

" Pairwiser и Hexawise, которые замыкают пятерку лидеров. Эти инструменты подойдут тем людям, которые не умеют программировать. Главными их преимуществами является удобный UI и возможность генерировать наборы тестовых данных не только с парами зависящих значений, а и с тройками, четверками и т.д...

..платным является только Hexawise"

1) Разве программировать надо уметь для пользования другими инструментами, у которых интерфейс командной строки?

2) Почему считаете, что тройки и т.д. их преимущество? 

3) "Hexawise is available for free to schools, open source projects, other non-profits, and teams of up to 5 users from any kind of company"

И вам спасибо за интерес :)

1. Совсем другими инструментами или вы говорите только о pairwise инструментах? Если другими - то нет конечно же. Для многих таких нужно понимать как работает командная строка. Для использования тех инструментов, о которых говорилось в статье - то скорее всего да, нужны хоть какие-то базовые понятия о программировании, потому что, например, зависимости подаются в них как условные конструкции. Вот прекрасный и самый простой пример файла c параметрами и условиями для PICT. 

Конечно же, может кто-то вообще не пользуется заданием зависимостей между параметрами. Я предполагаю, что есть и такие. Только в этом случае навыки программирования не важны. 

2. Это их особенность и преимущество, которое отличает их от остальных 41, а может и больше инструментов. Если попробовать другие самые популярные инструменты, то мало в каких вы найдете возможность провести не только 2-way, но и n-way генерацию тестовых данных. А вот вся остальная функциональность будет примерно одинаковой. Я знаю есть такие продукты, в которых очень важно именно 3-way тестирование (даже в одном обсуждении нашей статьи на facebook человек яросно отзывался об pairwise и говорил, что его даже уволили, потому что он тестировал пары значений, а надо было тройки...  ) 

3. Моя история с Hexawise достаточно интересна. Может конечно у кого-то была более удачной, тогда напишите как это произошло) 
На работе есть много коллег, которые программировать не умеют, в консоли им не понравилось работать (PICT), вручную писать наборы данных - долго, поэтому я изучала и пользовалась некоторое время Hexawise, чтобы оценить его и предложить своим коллегам. Зарегистрироваться у них на сайте с почты типа .gmail, .yahoo, .yandex нельзя. Форма регистрации эти почты отвергает: "только корпоративную почту". Я зарегистрировалась на корпоративную почту и пользовалась trial периодом, а потом он закончился... Зная об их "Hexawise is available for free to schools, open source projects, other non-profits, and teams of up to 5 users from any kind of company" я связалась с ними, потому что даже доступ в кабинет, где остались сгенерированные тестовые наборы был закрыт. Они увидели в какой компании я работаю (это далеко не open source и school) и указали цену для моей компании, которая была неоправданно высока для нужд моей команды тестирования...

Спасибо за сбор статистики!

 

" Pairwiser и Hexawise, которые замыкают пятерку лидеров. Эти инструменты подойдут тем людям, которые не умеют программировать. Главными их преимуществами является удобный UI и возможность генерировать наборы тестовых данных не только с парами зависящих значений, а и с тройками, четверками и т.д...

..платным является только Hexawise"

 

1) Разве программировать надо уметь для пользования другими инструментами, у которых интерфейс командной строки?

2) Почему считаете, что тройки и т.д. их преимущество? 

3) "Hexawise is available for free to schools, open source projects, other non-profits, and teams of up to 5 users from any kind of company"

1) Хорошее уточнение.

2) Связку "удобный UI и возможность генерировать наборы тестовых данных не только с парами" можно считать особенностью. Но отдельно тройки нельзя считать особенностью. Поскольку тройки умеет PICT, набравший львиную долю голосов:

/o:N    - Order of combinations (default: 2)

Правда более 6 на моём железе PICT за сутки сгенерить не смог для 13 параметров по 3-4 значения в каждом (3-way дал три сотни кейсов для файла модели). Впрочем, стресс-тест бесполезный, поскольку на 6-way мало дураков.  Ожидается, что мильён кейсов утилита командной сроки умеет генерить для автотестов - жаль не было в опросе вопросика о % применения для генерации автотестов/ручных.

2) Надо же, какие интересные подробности. Не за всяким обзором софта такой опыт.

PS. Яростно отозвавшегося уволили? Или героя притчи? Вы знаете что-то помимо этого коммента ниже?

клиент выбрал одновременно три значения,( а вы проверяли только пару), и клац, клиент из этого выбора получает баг, приговаривая, wat the fck, и отказывается от системы стоимость в 100к$. выходит: "мы вас увольняем, но вы держитесь, здоровья вам и хорошего настроения"