Перейти к содержимому

Автоматизация функционального тестирования
онлайн, начало 13 декабря
Python для начинающих
онлайн, начало 18 декабря
Погружение в тестирование. Jedi point
онлайн, начало 16 декабря
Школа Тест-Аналитика
онлайн, начало 18 декабря
Фотография

Облачные платформы для мобильного тестирования


  • Авторизуйтесь для ответа в теме
В этой теме нет ответов

#1 baranceva

baranceva

    Гуру

  • Admin
  • PipPipPipPipPipPip
  • 3 200 сообщений
  • ФИО:Баранцева Наталья


Отправлено 05 Ноябрь 2019 - 00:14

Оригинальная публикация

 

И вот настало то время, когда нашим нуждам тестирования стало тесно на рабочем столе тестировщика. Душа попросилась в облака. На самом деле нет. Не совсем.

2o7swwlml3ipcdpgc8qzmkyfdja.jpeg

Наши цели и задачи

 

(спешащий читатель, можешь мотать до следующего раздела)

 

Мы занимаемся разработкой финансового приложения для иностранного рынка, которое доступно в разных форматах: для десктоп-браузеров (веб-сайт и расширение для Google Chrome), для мобильных браузеров, а так же в виде гибридного приложения для телефонов. В связи со спецификой приложения, мы особое внимание уделяем тестированию приложения на различных конфигурациях и устройствах. Для нас важна стабильная и безопасная работа приложения как на настольных браузерах наших клиентов, так и на их любых устройствах.

 

Причиной поиска облачной фермы устройств для тестирования для нас стала смена формата работы с офисного на полностью удалённый и распределённый (между городами и странами). То есть, если раньше для тестирования мы могли раньше собрать разные устройства в кучу (в буквальном смысле) и протестировать в ручном режиме за одним столом очередную сборку, то сейчас это стало сделать попросту невозможно.

 

Более того, с ростом функционала, для уменьшения ручной работы, регрессионные наборы важных тестов мы автоматизируем, а значит, после сборки нам нужно иметь возможность позвать тесты на желаемой конфигурации и устройстве, причём лучше это сделать сразу же, как только сборка раскатится на staging.

 

При этом самым простым и очевидным решением является использование эмуляторов для Android и симуляторов для iOS устройств в нашем

DevOps конвеере. Однако, что сравнительно легко реализуется на рабочем компьютере разработчика, для использования в облаке становится сложной и дорогой задачей. Для быстрой работы того же эмулятора Android требуется x86 сервер с поддержкой HAXVM, а для симулятора iOS — только MacOS устройство с xcode. Но, к сожалению, даже решив такую задачу остаётся вопрос с разрывом между поведением программного обеспечения на эмуляторах и реальных устройствах. Например каждый второй релиз мы ловим странные баги на Samsung устройствах, которые не воспроизводятся на эмуляторах. Ну, и, конечно редкие экзотические «китайцы» «радуют» уникальным и багами, которые тоже хотелось бы ловить ещё на этапе разработки.

 

В результате у нас появилось понимание необходимости использования облачной фермы мобильных устройств, на которых мы могли бы быстро прогонять свои тесты и при необходимости производить отладку в ручном режиме. И к которой был бы доступ у всей нашей команды из любой точки мира (мы любим работать даже в путешествиях).

 

tkmv-3efjgaskkz1tbveeo0rh-4.jpeg

Наши тесты написаны на Python 3.7 (далее это будет важно), как стек мы используем tox + pytest + Selenium + Appium, ну и небольшой набор полезных питонячих библиотек. Мы обязательно тестируем машины на Windows и MacOS с браузерами Edge, Firefox, Chrome, Safari, а так же устройства на Android и iOS — с браузерами и приложением. Тестов у нас на каждое устройство не сильно много (меньше тысячи), но при тестировании в один поток на устройствах полный набор выполняется пару часов. Поэтому критерием выбора сервиса для нас будет:

  • Тестирование через API (Selenium/Appium)
  • Устройства iOS, Android
  • Поддержка мобильного браузер-тестирования
  • Поддержка загрузки и тестирования приложений
  • Наличие референсного устройства (GooglePixel (Android 9) и iPhone X (iOS 12+))
  • Ручная отладка
  • Логирование (плюс скриншоты, запись видео прогона)
  • Парк устройств и их доступность
  • Среднее время выполнения теста
  • Цена

Желательно, но не обязательно:

  • Поддержка python на уровне сервиса (что бы это ни значило)
  • Поддержка десктопных устройств \ браузеров

 

Читать статью полностью


  • 0
Наталья Баранцева
Тренинги по тестированию ПО


Инструменты тестировщика: Git
онлайн
Инструменты тестировщика: Консольные утилиты Android
онлайн
Автоматизатор мобильных приложений
онлайн
Тестирование мобильных приложений: начальный уровень
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале