Сообщений в теме: 10

[Ivanych]

Всем доброго дня!

Я занимаюсь тестированием тарифов (именно тарифов, а не ПО). А именно, тарифов на услуги мобильной связи.
До недавнего времени, в основном, все тестирование проводилось вручную. Сейчас стал вопрос об автоматизации тестирования. Но в сети какой-либо толковой информации о нужном оборудовании не нашел :(

Потому хочу задать такие вопросы:
что именно можно использовать для проведения тестов тарифов?
если существует разное оборудование, то что именно Вы бы посоветовали?
и, конечно же, какова стоимость таких вот девайсов? (если такие данные есть)

[JimR]

Абсолютно не очевидно что вы подразумеваете под тестированием тарифов: корректность оценки тарифов в разных случаях, сбалансированность нового предлагаемого для запуска тарифа или нечто ещё иное?

То есть без более подробного описания задачи, в каком виде получаются входные данные, как обрабатываются, что ожидается в конце - тяжело что-то ответить.

[Ivanych]

Абсолютно не очевидно что вы подразумеваете под тестированием тарифов: корректность оценки тарифов в разных случаях, сбалансированность нового предлагаемого для запуска тарифа или нечто ещё иное?

То есть без более подробного описания задачи, в каком виде получаются входные данные, как обрабатываются, что ожидается в конце - тяжело что-то ответить.

Требуемая функциональность:
- автоматическое совершение звонков, отсылки SMS, MMS, USSD запросов
- автоматическая сверка результатов тестирования, а также сверка GPRS событий по точке доступа (проверка корректности тарифов)
- администрирование сценариев и тарификации событий

[Ivanych]

up

[Green]

Абсолютно не очевидно что вы подразумеваете под тестированием тарифов: корректность оценки тарифов в разных случаях, сбалансированность нового предлагаемого для запуска тарифа или нечто ещё иное?

То есть без более подробного описания задачи, в каком виде получаются входные данные, как обрабатываются, что ожидается в конце - тяжело что-то ответить.

Требуемая функциональность:
- автоматическое совершение звонков, отсылки SMS, MMS, USSD запросов
- автоматическая сверка результатов тестирования, а также сверка GPRS событий по точке доступа (проверка корректности тарифов)
- администрирование сценариев и тарификации событий

Ivanych,

сам я не силен в мобильных технологиях, так что готовых решений дать не могу. Вроде бы у Меркури (теперь НР) были какие-то разработки для мобильных систем.

Но, честно говоря, не думаю, что тестирование мобильных систем сильно отличается от тестирование систем вообще и программного обеспечения в частности. Если нет готовых средств, то используйте принципы системного подхода, разбейте задачи на подзадачи. выявите ключевые точки и т.п. Уверен, что Вы и так это прекрасно представляете, если занимаетесь ручным тестированием этих систем. Далее, для каждой точки нужно просто искать средство мониторинга, так как автоматизировать значительно проще, чем потом в потоке событий выявить и отследить конкретное событие. Если есть средства мониторинга, то и средства тестирования тоже найдутся. Как правило все производители систем предусматривают механизмы хотя бы простейших проверок. Воспользуйтесь средствами программного интерфейса, что бы получить программный доступ к средствам тестирования и мониторинга и Вы сможете создать свой фрэймворк.

В свое время (лет эдак 7-8 назад) я руководил проектом по тестированию системы рассылки авто-СМС сообщений для разных групп подписчиков. Автоматизация делалась стандартными программными средствами. Кажется, это был WinRunner. Проверялась вся программная часть до формирования очереди в системе рассылки. Дальше работал эмулятор системы, предоставленный заказчиком. Попробуйте и Вы делить весь путь на участки, которые могут быть автоматизированны стандартными средствами.

Если Вам не ответили на этом форуме, значит Ваше сообщение не увидели те, кто разбирается в данном вопросе. Поищите по форумам сходные темы и напишите личные сообщения участникам. Может быть Вам повезет.

[LeshaL]

up

Привет!
Вы говорите UP, но все-равно не очень понятно, что вы хотите тестировать.
Вы работаете на сотовго оператора и вам надо тестировать биллинговые системы?
Или ваша компания как-то сотрудничает с сотовыми операторами и предоставляет свои сервисы, которые совершаются с помощью SMS, MMS, USSD запросов?

Вы пишете, что надо тестировать не ПО, а тарифы - но ведь за тарификацию отвечает какое-то ПО. Есть ли у вас тестовая лаборатория, эмулирующая работу системы? Надо вам делать эксперимент в рамках такой лаборатории или надо проводить его в настоящих "боевых" условиях?
Как много вам надо протестировать? Т.е. насколько цена автоматизации оправдана.

Сейчас у вас есть ручные сценарии. Т.е. вы с помощью чего-то (сотовые телефоны, наверное) это тестируете. Какое вы хотите оборудование? Которое иммитировало бы работу телефона или которое позволило бы автоматизитировать коннекции с конкретных сотовых телефонов?

[Ivanych]

Привет!
Вы говорите UP, но все-равно не очень понятно, что вы хотите тестировать.
Вы работаете на сотовго оператора и вам надо тестировать биллинговые системы?
Или ваша компания как-то сотрудничает с сотовыми операторами и предоставляет свои сервисы, которые совершаются с помощью SMS, MMS, USSD запросов?

Вы пишете, что надо тестировать не ПО, а тарифы - но ведь за тарификацию отвечает какое-то ПО. Есть ли у вас тестовая лаборатория, эмулирующая работу системы? Надо вам делать эксперимент в рамках такой лаборатории или надо проводить его в настоящих "боевых" условиях?
Как много вам надо протестировать? Т.е. насколько цена автоматизации оправдана.

Сейчас у вас есть ручные сценарии. Т.е. вы с помощью чего-то (сотовые телефоны, наверное) это тестируете. Какое вы хотите оборудование? Которое иммитировало бы работу телефона или которое позволило бы автоматизитировать коннекции с конкретных сотовых телефонов?

Я работаю на сотового оператора и мы проводим тестирование именно тарифов на мобильную связь (звонки, SMS, MMS, GPRS, Premium Calls). Это тесты по проверке корректности тарифа во всех предлагаемых тарифных пакетах оператора (около 30 различных тарифных пакетов). Потому это не проверка ПО, а проверка самого продукта.
Тесты проводятся, как Вы хорошо подметили, в настоящих "боевых" условиях. Мы делаем проверку уже заведенного тарифа для каждой тарифной модели. Тоесть берется карточка, делается с неё прозвон во всех направлениях, отправка SMS, MMS и т.д. Через пару часов в биллинговых системах появляется информация о длительости и стоимости совершенного события. И мы эту информацию сравниваем с заведенным тарифом (по предварительно присланным сценариям), проверяя правильно или нет протарифицировалось событие. Практически вся проверка проводится вручную и занимает не мало времени.
Потому необходимо оборудование способное иммитировать работу мобильного телефона, естественно подключаемое к компьютеру на котором будет стоять программа контролирующая процесс тестирования, что-то на подобии BillingCheck. Например, прибор подключаемый через USB или COM, что-то типа GSM-модуля, вставляется в него SIM-карта, потом в программе выбирается сценарий тестирования и запускается тест. Прибор производит все необходимые операции, заданные в сценарии, в точной последовательности. И мы получаем результат, напрм., в виде Excel-файла. После этого программа производит сверку полученного результата с ожидаемым и выводит информацию о наличии или отсутствии ошибок.
Вывод: необходимо оборудование и программа корректно работающая с этим оборудованием и контролирующая процессы тестирования.

[a66at]

Потому необходимо оборудование способное иммитировать работу мобильного телефона, естественно подключаемое к компьютеру на котором будет стоять программа контролирующая процесс тестирования, что-то на подобии BillingCheck. Например, прибор подключаемый через USB или COM, что-то типа GSM-модуля, вставляется в него SIM-карта, потом в программе выбирается сценарий тестирования и запускается тест. Прибор производит все необходимые операции, заданные в сценарии, в точной последовательности. И мы получаем результат, напрм., в виде Excel-файла. После этого программа производит сверку полученного результата с ожидаемым и выводит информацию о наличии или отсутствии ошибок.

Вы можете некоторые (я думаю, из современных - большинство) телефоны подключить к ПК по USB или BT и создать поверх этого соединения виртуальный COM-порт. По этому порту терминал управляется с помощью AT команд. ATDT - позвонить куда-нибудь или открыть GPRS-сессию, AT+CMGS - послать SMS. Для MMS тоже наверняка что-то есть.

[rlabs]

Я работаю на сотового оператора и мы проводим тестирование именно тарифов на мобильную связь (звонки, SMS, MMS, GPRS, Premium Calls). Это тесты по проверке корректности тарифа во всех предлагаемых тарифных пакетах оператора (около 30 различных тарифных пакетов). Потому это не проверка ПО, а проверка самого продукта.
Тесты проводятся, как Вы хорошо подметили, в настоящих "боевых" условиях. Мы делаем проверку уже заведенного тарифа для каждой тарифной модели. Тоесть берется карточка, делается с неё прозвон во всех направлениях, отправка SMS, MMS и т.д. Через пару часов в биллинговых системах появляется информация о длительости и стоимости совершенного события. И мы эту информацию сравниваем с заведенным тарифом (по предварительно присланным сценариям), проверяя правильно или нет протарифицировалось событие. Практически вся проверка проводится вручную и занимает не мало времени.

Вообще я не очень врубился в описание задачи, но у меня возникло (почему-то) мнение, что тестируете вы не ту часть системы, которая собственно принимает звонки, а ту, которая обрабатые данные об уже принятых.

Если это так, то не заморачивайтесь с имитацией телефонов. Всё, что нужно сделать - это нагенерить программных данных (записей в БД, или чего там) о якобы принятых звонках. Это сильно упростит задачу.

[Rifle]

Как вариант, чтоб автоматизировать именно часть обзвона и рассылки смс, т-е генерацию данных можно попробывать что-то сотворить на Java Mobile или .NET Mobile взависимости от платформы телефона. Т-е программку которая будет выполнять все необходимые действий, сам такого не делал но думаю что вполне возможно и не совсем сложно, поинтересуйтесь в тематических форумах, может вам что-то подскажут по этому поводу программисты мобильных платформ.

[Green]

Коллеги!

Задача оказалась намного проще, чем я подумал вначале.


Есть симка с определенным тарифом. И есть три части работы:
1. совершить набор контрольных действий (звонок, отправка СМС сообщения и т.п.) с телефона по определенному тарифу
2. по телефонному номеру получить из системы тарификации данные о начисленных суммах по каждому из контрольных действий
3. сравнить с контрольными суммами, которые должны были бы получиться, или рассчитать в зависимости от используемого тарифа

Вторая и третья части автоматизируются без всяких проблем. Можно использовать как средства программирования (что, на мой взгляд, будет более эффективно), так и средства автоматизации тестирования.

Вопрос остается с первой частью. Как автоматизировать действия по совершению контрольных действий. Об этом уже написали выше. Можно использовать смартфон с продвинутой операционкой и запрограммировать набор операций.