Home

Автор: Кристин Джеквони (Kristin Jackvony)
Оригинал статьи
Перевод: Ольга Алифанова

Я твердо убеждена, что вне зависимости от достоинств виртуальных устройств и автоматических тестов нужно всегда проводить тестирование на реальном физическом устройстве. Однако никто из нас не может позволить себе приобрести все возможные устройства и подключить всех возможных операторов. Поэтому сегодня мы обсудим, как собрать портфолио мобильных устройств, отвечающих минимальным тест-критериям, и как провести тестирование на других физических устройствах. Мы также поговорим о ручных проверках, которые должны быть неотъемлемой частью любого мобильного тест-плана.

Все компании различны и имеют разный бюджет на приобретение мобильных устройств. Вот как я бы решала, какие устройства приобретать, если бы была ограничена десятью. Я живу в США, поэтому рассматриваю американских операторов связи. Я бы убедилась, что у меня есть как минимум один аппарат на AT&T, Verizon, T-Mobile и Sprint. Мне бы также хотелось иметь как минимум одно устройство только на WiFi. Еще мне понадобилось бы хотя бы одно iOS-устройство, и хотя бы одно Android-устройство. Что касается версий ОС, то желательны были бы и самая последняя, и предпоследняя для каждой операционной системы. Для Android я бы предпочла Samsung, LG и Motorola, потому что в США они наиболее популярны. И, наконец, мне понадобятся планшеты на каждой из операционных систем.

Держа это в уме, я создаю примерно такой список устройств:

В представленном портфолио три iOS-устройства и шесть Android-устройств. Представлены все четыре необходимых мне оператора, и имеется устройство, где только WiFi. У нас есть три планшета и шесть смарфтонов, последние и предпоследние версии iOS и Android, а также разнообразные размеры экранов. Такой план по устройствам легко модифицировать, если по какой-то причине устройства недоступны. К примеру, если я пошла закупаться и обнаружила, что Sprint не поставляет iPhone X, я могу легко подправить свой план и купить iPhone X на AT&T, а iPhone 8 Plus – на Sprint.

Преимущество физических устройств в том, что их можно пополнять каждый год в рамках бюджета. Ежегодно можно докупать новый набор устройств с последними версиями ОС и оставлять старые устройства на более пожилых операционных системах, расширяя спектр доступных для тестирования ОС.

Когда портфолио готово, надо убедиться, что в ваши тест-планы встроены хорошие мобильные тесты. Можно добавить, скажем, такие:

• Тестирование приложения в мобильном браузере в дополнение к тестированию нативного приложения.
• Тестирование в портретной и ландшафтной ориентации, переключение между ними.
• Смена сети с LTE на WiFi, на отсутствие связи, и обратно.
• Проверка всех внутренних ссылок и социальных сетей.
• Настройка таймера на срабатывание во время тестирования.
• Отправка СМС или предупреждений о низком заряде батареи во время тестирования.

А как насчет тестирования на десятках устройств, которых у вас нет? С этим помогают фермы устройств. Такие фермы сделаны из множества физических устройств, собранных в одном месте. Доступ к ним можно получить по сети. Прямо с компьютера можно получить доступ к таким функциям, как кнопки "Домой" или "Назад", просвайпать вправо и влево по экрану и покликать по управляющим элементам приложения. Можно даже повернуть устройство или принять звонок! При помощи ферм вы можете расширить спектр тестируемых устройств. Хорошая идея для расширения тест-плана – добавление устройств на более пожилых версиях ОС, а также производителей, отсутствующих в вашем портфолио. В моем случае это может означать добавление HTC и Huawei.

Для тестирования через фермы я пользуюсь Perfecto и вполне довольна. Другие популярные фермы с возможностями для ручного тестирования – это AWS, Sauce Labs, и Browserstack.

Возможно, сейчас вы думаете "ну да, у тебя все круто вышло в США-то, но мои пользователи рассыпаны по всему миру. Как мне убедиться, что все они получат наилучшие впечатления от приложения?" И тут поможет крауд-тестинг! Существуют компании, занимающиеся тестированием и специализирующиеся на использовании тестировщиков со всего света, использующих устройства, привязанные к их локальным операторам. Они могут тестировать ваше приложение в своих временных зонах на устройствах на своем языке. Популярные глобальные компании – это, например, Testlio и Global App Testing. Неплохой ресурс - uTest, который стыкует независимых тестировщиков с компаниями, ищущими возможность протестировать на специфических устройствах в специфических странах.

Когда вы вооружены портфолио устройств, мобильным тест-планом, фермой и крауд-тестинговым сервисом, вы сможете прогнать солидный набор тестов и убедиться, что где бы ни был ваш пользователь, он получит от приложения наилучшие впечатления.

Обсудить в форуме