Выбор инструмента автоматизированного тестирования

Добрый день.
Наша фирма занимается разработкой ПО достаточно давно. Но отдел по тестированию открыли только несколько месяцев назад. За это время мы достигли успехов в ручном тестировании. Своим клиентам мы предлагаем следующие виды тестирования:
конфигурационное тестирование;
функциональное тестирование;
тестирование интерфейса;
тестирование пользовательской документации;
нагрузочное тестирование;
регрессионное тестирование;
тестирование удобства использования (usability test).
Теперь перед нами встали 2 вопроса:
1. Необходим такой вид теста как: "тестирование поведения ПО на каналах связи с различными характеристиками". Т.е. нужно менять пропускную способность канала связи, по возможности контролировать задержки и зашумленность. Какие возможны пути решения данной задачи? Существует ли какой-либо инструментарий для этого???
2. Необходимо автоматизировать процесс тестирования. Какой из продуктов, на ваш взгляд является наиболее универсальным? Ведь тестить приходится самое разнообразное ПО, написанное на разных языках и т.д. Есть ли смысл использовать для этого (хотя бы на начальном этапе) бесплатный инструментарий и какой?

1. Необходим такой вид теста как: "тестирование поведения ПО на каналах связи с различными характеристиками". Т.е. нужно менять пропускную способность канала связи, по возможности контролировать задержки и зашумленность. Какие возможны пути решения данной задачи? Существует ли какой-либо инструментарий для этого???

Добрый день. Вы бы не могли уточнить как Вы контролируете задержки и зашумленность сейчас. С помощью интерфейса или у Вас сложные взаимосвязи, которые действуют на регулировку задержек и зашумленности.
Если все делается через интерфейс пользователя, тогда можете взять TestComplete - не скажу что он намноооооооого лучше, но есть преимущества перед Rational и Mercury которые мне импонируют больше (поддержка стандартных скриптовых языков (правда QTP вроде как тоже уже на стандартные перешла, однако "кто первый встал того и тапки" :-))), не так теряются контролы как в Rational. Хотя повторюсь - это моё личное мнение.
Если же у вас все зашито в логике, то тут лучше разработать свой личный test framework.

На данный момент этот вид тестирования никак не реализован. Мы ищем пути возможного решения.

На данный момент этот вид тестирования никак не реализован. Мы ищем пути возможного решения.

Даже ручного нет?

2. Необходимо автоматизировать процесс тестирования. Какой из продуктов, на ваш взгляд является наиболее универсальным? Ведь тестить приходится самое разнообразное ПО, написанное на разных языках и т.д. Есть ли смысл использовать для этого (хотя бы на начальном этапе) бесплатный инструментарий и какой?

Бесплатный инструментарий не бывает универсальным, ибо создание и поддержка универсального инструмента требует серьезных затрат. Если ваша компания готова (материально и морально) к автоматизации тестирования универсальных сред, то надо смотреть на серьезные коммерческие продукты.

Если вы обрисуете хотя бы приблизительно диапазон требуемой универсальности для инструментов функционального тестирования (приложения созданные в каких средах предполагается тестировать) и инструментов нагрузочного тестирования (по каким протоколам работают тестируемые системы), то тогда будет возможно конкретизировать набор подходящих инструментов, из которых можно будет выбирать.

правда QTP вроде как тоже уже на стандартные перешла, однако "кто первый встал того и тапки" :-)))

Вы о чем вообще? VBScript изначально в AQT/QTP был. Еще когда никакого TestComplete вместе с AQA и в проекте не было. Какие тапки?