Автоматизация мобильного тестирования (iPhone,Android). Нужно ли это в

Доброго времени суток Господа!
Я единственный тестировщик на фирме с 14-ю программистам. Наставника нет. Спросить не у кого :( поэтому обращаюсь к Вам...
Сейчас все тестирую вручную (iPhone,Android). Хочу побольше узнать о автоматизации тестирования (именно мобильных приложений) и нужно ли это вообще? Насколько это экономит время и силы? Как Вы пришли к автоматизации или почему не используете? Слышал про Fonemonkey, кто-то этим пользуется? Интересует бесплатные инструменты для тестирования. Буду рад любой информации. Спасибо за внимание.

Доброго времени суток Господа!
Я единственный тестировщик на фирме с 14-ю программистам. Наставника нет. Спросить не у кого :( поэтому обращаюсь к Вам...
Сейчас все тестирую вручную (iPhone,Android). Хочу побольше узнать о автоматизации тестирования (именно мобильных приложений) и нужно ли это вообще? Насколько это экономит время и силы? Как Вы пришли к автоматизации или почему не используете? Слышал про Fonemonkey, кто-то этим пользуется? Интересует бесплатные инструменты для тестирования. Буду рад любой информации. Спасибо за внимание.

Вопрос, насколько это будет для вас трудозатратно....
И что вы тестируете, если игры, то вряд ли.
Хорошая штука mEux
Но дорогая, порядка 10К долларов за лицензию
Вообще была неплохая статься на хабре, поищите получше.
В любом случае изучайте xCode,

Игры - точно нет)

мы не используем потому что на поддержку и актуализацию тестов для автоматизированного тестирования у меня, к примеру, на данный момент уйдет в разы больше времени, чем я протестирую вручную.
Ну и главная причина - не окупает трудозатраты.

Пы.Сы. если вы опытны в автоматизации тестирования - и компания готова выделить на это средства - в принципе можно пробовать.
в моем случае (я не программист и код только учу весьма медленно) это оказалось ни выгодно.
все автоматизировать нельзя, а автоматизировать Х и У оставить на ручной тест - ну как минимум нужно в 3 -4 раза больше времени на работу.
т.е. для автоматизации если у вас 14 программистов и они пишут со скоростью моих - вам нужно еще 1-Х тестировщиков. Один из которых будет заниматься строго автоматизацией.

Доброго времени суток Господа!
Я единственный тестировщик на фирме с 14-ю программистам. Наставника нет. Спросить не у кого :( поэтому обращаюсь к Вам...
Сейчас все тестирую вручную (iPhone,Android). Хочу побольше узнать о автоматизации тестирования (именно мобильных приложений) и нужно ли это вообще? Насколько это экономит время и силы? Как Вы пришли к автоматизации или почему не используете? Слышал про Fonemonkey, кто-то этим пользуется? Интересует бесплатные инструменты для тестирования. Буду рад любой информации. Спасибо за внимание.

Вопрос, насколько это будет для вас трудозатратно....
И что вы тестируете, если игры, то вряд ли.
Хорошая штука mEux
Но дорогая, порядка 10К долларов за лицензию
Вообще была неплохая статься на хабре, поищите получше.
В любом случае изучайте xCode,

Насчет трудозатрат не проблема, целеустремленный, терпеливый, дисциплинированный.
Тестирую все: фото галлереи, игры, редакторы и т.д. и т.п. Я так понимаю Вы эту имеете в виду http://habrahabr.ru/...testing/123026/ Да интересная статья, но хотелось бы узнать, что реально используют тестировщики на практике и почему?
10к - для моей фирмы это круто, нужен бесплатный продукт или хотя бы дешевый.
Xcode не могу изучать т.к. нет пока Мас для тестировщика :(

Игры - точно нет)

мы не используем потому что на поддержку и актуализацию тестов для автоматизированного тестирования у меня, к примеру, на данный момент уйдет в разы больше времени, чем я протестирую вручную.
Ну и главная причина - не окупает трудозатраты.

Пы.Сы. если вы опытны в автоматизации тестирования - и компания готова выделить на это средства - в принципе можно пробовать.
в моем случае (я не программист и код только учу весьма медленно) это оказалось ни выгодно.
все автоматизировать нельзя, а автоматизировать Х и У оставить на ручной тест - ну как минимум нужно в 3 -4 раза больше времени на работу.
т.е. для автоматизации если у вас 14 программистов и они пишут со скоростью моих - вам нужно еще 1-Х тестировщиков. Один из которых будет заниматься строго автоматизацией.

Понятно. Скажите, а Вы один тестровщик в команде или нет? Просто интересно какое должно быть соотношение тестировщиков и программистов в Mobile Development?

Понятно. Скажите, а Вы один тестровщик в команде или нет? Просто интересно какое должно быть соотношение тестировщиков и программистов в Mobile Development?

пока что одна.
соотношение - в идеале 1 к 1
(1 программист на 1 тестировщика)
в реале у меня как и у вас. около 20 разработчиков
вроде как с сентября нас будет 2 -ое) может и больше.

но мы занимаемся не только мобильными, мы уже интегрируем свои игры которые существуют в другой среде - под андроид и прочее.

пока что одна.
соотношение - в идеале 1 к 1
(1 программист на 1 тестировщика)

Это вы идеальное соотношение для Mobile Development пишите? Или в общем для тестирования?

Понятно. Скажите, а Вы один тестровщик в команде или нет? Просто интересно какое должно быть соотношение тестировщиков и программистов в Mobile Development?

пока что одна.
соотношение - в идеале 1 к 1
(1 программист на 1 тестировщика)
в реале у меня как и у вас. около 20 разработчиков
вроде как с сентября нас будет 2 -ое) может и больше.

но мы занимаемся не только мобильными, мы уже интегрируем свои игры которые существуют в другой среде - под андроид и прочее.

На мой взгляд 1 к 1 - это не рациональное соотношение для мобильной разработки, чем будут заниматься эти тестировщики?

Это вы идеальное соотношение для Mobile Development пишите? Или в общем для тестирования?

но мы занимаемся не только мобильными, мы уже интегрируем свои игры которые существуют в другой среде - под андроид и прочее.

нет, естественно.)

На мой взгляд 1 к 1 - это не рациональное соотношение для мобильной разработки, чем будут заниматься эти тестировщики?

см. ответ выше.

для мобильных - может, кстати, и 1 к 1 быть
смотря как и что тестируется. И какие обьемы.

вообще навскидку думаю на указанных 14 разработчиков ( кстати, а в данном количестве ни у кого не возникает вопрос ЧТО они все делают?)
хотя бы 1 к 5 ну 7 максимум.
в реал ворлде думаю вам будет нужно 2 тестировщика + 1 который будет заниматься автоматизацией.

еще раз подчеркну- если эти разработчики пишут с той скоростью, как мои то там 1 к 2-3 - минимум.

Anatoliy, получилось ли у вас что-то автоматизировать? поделитесь результатами...

Да, мне тоже интересно как у вас теперь обстоят дела. Как тестируете приложения? самой надо будет вот уже на днях тестировать приложение на андроиде, не знаю что выбрать. Хочется что-то типа селениума: записывать тесты прям с устройства, чтобы можно было имитировать действия пользователя. но написано, что это невозможно. Есть ли какие идеи, варианты как можно организовать этот процесс?

Всем привет, спрошу здесь, чтобы не создавать новую тему:
Я занимаюсь только ручным тестирование, никогда ничего не автоматизировал. Подскажите пожалуйста софтину, для автоматизации на мобилки, хочу дома научиться, чтобы потом предложить в компании. Спасибо

З.Ы. Anatoliy, как у вас всё получилось, отпишитесь. Интересно ведь :)

Всем привет.
Та же проблема. есть приложение на Ipad
Нужно записать элементарный сценарий .
Кто-нибудь сталкивался.
Какой инструмент более менее легкий в использовании?

Нативное с xcode.

Если нет денег на покупку ПО - то есть два выхода:
1) XCod
2) Robotium

Работа с Xcod имеет три проблемы:

• нужно, чтобы пакет с приложением собирался в дебаг режиме.
• нужно иметь представления об джаваскрипте.
• нужна виртуалка или реальный копм с MAC OS

С Robotium проще. В течении дня можно освоиться и писать тесты. Документации много, описано подробно. Тесты пишутся легко. При этом Java изучать не нужно(хотя иногда это было нужно, например чтобы задать цикл с параметрами). И есть версии для PC и Linux.

П.С. blackberry - получилось сделать автоматизацию установки приложения на эмулятор. На большее его не смог раскрутить. Про автоматизацию написано в документации к эмулятору.

Я боюсь тратить деньги на тот фарш который продают под видом софта для тестирования мобильного софта по меньшей мере нецелесообразно. Robotium и нативные средства iРазработки более чем достаточны для тестирования нативных морд (Fred и т.п. по желанию, но это инжекторы фактически). Для тестирования веба есть относительно нормально работающий WebDriver под обе платформы. Для тестирования вообще всего подноготного есть SL4A на ведроиде + adb консолька (под iPhone хуже, но вроде консолька тоже была какая-то).

Фемтосоты, мониторинг траффика на wi-fi точках (та тащемта местами можно и прямо на мобилках, но тут рутовать надо) и прочие средства адекватного замера производительности over da air по желанию.

Я боюсь тратить деньги на тот фарш который продают под видом софта для тестирования мобильного софта по меньшей мере нецелесообразно. Robotium и нативные средства iРазработки более чем достаточны для тестирования нативных морд (Fred и т.п. по желанию, но это инжекторы фактически). Для тестирования веба есть относительно нормально работающий WebDriver под обе платформы. Для тестирования вообще всего подноготного есть SL4A на ведроиде + adb консолька (под iPhone хуже, но вроде консолька тоже была какая-то).

Фемтосоты, мониторинг траффика на wi-fi точках (та тащемта местами можно и прямо на мобилках, но тут рутовать надо) и прочие средства адекватного замера производительности over da air по желанию.

Вы пробывали хоть один нормальный инструмент для тестирования мобильного софта за деньги?
Я думаю вряд ли. То что стоит своих денег, с задачей справляется на ура. Тот же m-eux

Вы пробывали хоть один нормальный инструмент для тестирования мобильного софта за деньги?
Я думаю вряд ли. То что стоит своих денег, с задачей справляется на ура. Тот же m-eux

Пробовали. Под те же Android и iPhone решения ничем не лучше того же Robotium и UI Automation. Хорошо если не хуже (бывают такие, не спорю). Если напишите чем m-eux лучше - будет о чем поспорить. Я пока никаких преимуществ не вижу (поддержка других платформ - ну оооок, но это out of scope).
+ зачастую платное решение предлагает нам делать для автоматики дополнительную сборку с инжектором, что для ряда тестов (потребление ресурсов, тащемта) неприемлимо.

Ваш m-eux фактически пользуется тем же чем пользуется Robotium и тесты с xcode на UI Automation. Зачем мне за это деньги платить? On-Device запуск на Ведроиде только запустили, а для iOS?
Еще одна проблема - ограничения по рабочей среде. Если работаете в MSVS, QTP или Eclipse - ок. Если нет - ой. В том же eclipse я могу и Robotium фигачить. Тестировать iOS не имея мак под рукой - тоже то еще извращение, имхо.
Нерешенная никем проблема - ненативные контролы. Впилите Android Qt приложение без единого нативного контрола на ведроид и попробуйте его автоматизировать через m-eux.
Третье - головняки с интеграцией своих thirdparty решений. Они будут и так и так, платное решение ничем не поможет.

Единственное, где я вижу смысл в таких решениях на данный момент - нам хочется фигачить в [вставить нужное IDE], но это получается что фактически мы платим деньги за возможность использовать любимую IDE.

Так и не поняла, можно ли автоматизировать тестирование игр (игры казуальные есть тайм менеджменты, есть стратегии, есть квесты)для OS, Android? Можно ли как-то автоматизировать проверку на утечки памяти через Xcod?Как можно проверять утечку памяди на андроиде?