Ivanych

Привет!
Вы говорите UP, но все-равно не очень понятно, что вы хотите тестировать.
Вы работаете на сотовго оператора и вам надо тестировать биллинговые системы?
Или ваша компания как-то сотрудничает с сотовыми операторами и предоставляет свои сервисы, которые совершаются с помощью SMS, MMS, USSD запросов?

Вы пишете, что надо тестировать не ПО, а тарифы - но ведь за тарификацию отвечает какое-то ПО. Есть ли у вас тестовая лаборатория, эмулирующая работу системы? Надо вам делать эксперимент в рамках такой лаборатории или надо проводить его в настоящих "боевых" условиях?
Как много вам надо протестировать? Т.е. насколько цена автоматизации оправдана.

Сейчас у вас есть ручные сценарии. Т.е. вы с помощью чего-то (сотовые телефоны, наверное) это тестируете. Какое вы хотите оборудование? Которое иммитировало бы работу телефона или которое позволило бы автоматизитировать коннекции с конкретных сотовых телефонов?

Я работаю на сотового оператора и мы проводим тестирование именно тарифов на мобильную связь (звонки, SMS, MMS, GPRS, Premium Calls). Это тесты по проверке корректности тарифа во всех предлагаемых тарифных пакетах оператора (около 30 различных тарифных пакетов). Потому это не проверка ПО, а проверка самого продукта.
Тесты проводятся, как Вы хорошо подметили, в настоящих "боевых" условиях. Мы делаем проверку уже заведенного тарифа для каждой тарифной модели. Тоесть берется карточка, делается с неё прозвон во всех направлениях, отправка SMS, MMS и т.д. Через пару часов в биллинговых системах появляется информация о длительости и стоимости совершенного события. И мы эту информацию сравниваем с заведенным тарифом (по предварительно присланным сценариям), проверяя правильно или нет протарифицировалось событие. Практически вся проверка проводится вручную и занимает не мало времени.
Потому необходимо оборудование способное иммитировать работу мобильного телефона, естественно подключаемое к компьютеру на котором будет стоять программа контролирующая процесс тестирования, что-то на подобии BillingCheck. Например, прибор подключаемый через USB или COM, что-то типа GSM-модуля, вставляется в него SIM-карта, потом в программе выбирается сценарий тестирования и запускается тест. Прибор производит все необходимые операции, заданные в сценарии, в точной последовательности. И мы получаем результат, напрм., в виде Excel-файла. После этого программа производит сверку полученного результата с ожидаемым и выводит информацию о наличии или отсутствии ошибок.
Вывод: необходимо оборудование и программа корректно работающая с этим оборудованием и контролирующая процессы тестирования.

up

Абсолютно не очевидно что вы подразумеваете под тестированием тарифов: корректность оценки тарифов в разных случаях, сбалансированность нового предлагаемого для запуска тарифа или нечто ещё иное?

То есть без более подробного описания задачи, в каком виде получаются входные данные, как обрабатываются, что ожидается в конце - тяжело что-то ответить.

Требуемая функциональность:
- автоматическое совершение звонков, отсылки SMS, MMS, USSD запросов
- автоматическая сверка результатов тестирования, а также сверка GPRS событий по точке доступа (проверка корректности тарифов)
- администрирование сценариев и тарификации событий