Что пишут в блогах

Подписаться

Что пишут в блогах (EN)

Разделы портала

Онлайн-тренинги

.
9 инструментов тестирования юзабилити
11.06.2015 14:36

Автор: Ольга Азимбаева, Senior Business Analyst, DataArt

Оригинальная публикация

В мире постоянно развивающихся технологий и небывало высокой конкуренции между сетевыми бизнесами успех часто зависит от интуитивности веб-интерфейсов. У простых и понятных вебсайтов коэффициент конверсии выше, следовательно, доходов он приносит больше.

Юзабилити — это простота использования программных продуктов. Понятие включает следующие нефункциональные аспекты использования ПО:

  • Эффективность (выполнения задач пользователем).
  • Результативность (по времени выполнения).
  • Удовлетворение (опытом пользования) в указанном контексте использования (пользователи, задачи, оснащение и окружения).

Рассмотрим инструменты для измерения юзабилити. Мы использовали три основных критерия оценки:

  • Возможность записи аудио и видео во время тестирования.
  • Качество инструментов постредактирования тестовых сессий.
  • Возможность использования мобильных устройств для тестирования.

После завершения исследования и сравнения девяти популярных инструментов мы пришли к выводу, что у нас до сих пор нет комплексного, полностью интегрированного инструмента тестирования юзабилити для мобильных устройств, который бы соответствовал следующим критериям:

  • Возможность взаимодействия с экраном мобильного устройства.
  • Возможность аудио- и видеозаписи всех действий участников исследования во время работы над поставленной задачей.
  • Возможность проводить тестирование в любом месте и в любое время.
  • Возможность тестирования любого смартфона или планшета (если у них есть камера).

Стриминг экрана и аудио-видео участников исследования в реальном времени.

Инструмент / Функция Аудио-видео запись Возможность редактирования записей Возможна мобильное тестирование Дистанционное немодерируемое тестирование Доступные тестировщики Цена
Ovo Logger v v v x x от $ 3 000
Ovo Solo v (только для ПК) v x x x $ 99
Morae v v x x x $ 1 995
UserTesting v v v v v $ 49 за один тест с возможностью оптовых скидок
Userlytics v v v v v $39 в месяц и выше с возможностью оптовых скидок
Userfeel v x x v v $49 за один тест с возможностью оптовых скидок
OpenHallway v v x v x $49 в месяц и выше в зависимости от плана
UsabilityTools x x x x Да, но платные От $ 300 за месяц. Первые 14 дней бесплатно.
TryMyUI v x x v x $ 35 за один тест с возможностью оптовых скидок

Ovo Logger

Ovo Logger от Ovo Studios создан в основном для студий тестирования юзабилити, которые работают с большими объемами распределенными командами исследователей. Инструмент рассчитан в основном на них, поскольку им нужно надежное средство для захвата, редактирования и обмена результатами.

Ovo Studio также занимаются созданием пользовательских лаборатории проверки юзабилити, и Ovo Logger частично создан для работы в них. Инструмент в целом лучше остальных, но достаточно дорогой.
Плюсы:

  • Ориентирован на предприятия.
  • Записывает несколько входов и отправляет стримы нескольким пользователям сразу.
  • Инструменты редактирования предоставляют анализ тестов в реальном времени.
  • Позволяет сохранять важные моменты при просмотре записи.
  • Позволяет захватывать картинку с невзломанных iPad, iPhone и девайсов на Android с помощью приложения Logger.

Минусы:

  • Разработан специально для крупных фирм с несколькими офисами и/или юзабилити-командами.
  • Требует отдельный компьютер для запуска программного обеспечения.
  • Цена выше, чем у конкурентов.
  • Инструмент основан на ряде источников, связанных с ними требований по лабораториям и т. д.
Аудио-видео запись Возможность редактирования записей Возможна мобильная тестировка Дистанционное немодерируемое тестирование Доступные тестировщики Цена
v v v x x От $ 3 000

Ovo Solo

Ovo Solo — продукт Ovo Studios, разработанный для небольших компаний. Можно даже сказать, что это — лайт-версия Ovo Logger, позволяющая захватывать видео взаимодействия с экраном одновременно с лицами и голосами участников исследования. Простое управление ведения журнала позволяет анализировать получившиеся видео. Однако инструмент поддерживает только Windows, поддержка iOS не предусмотрено. С другой стороны, его демократичная цена делает инструмент грамотным выбором при невысоком бюджете.

Плюсы:

  • Относительно невысокая цена за захват, монтаж и показ сессий юзабилити-тестирования.


Минусы:

  • Нет варианта для Mac.
  • Нельзя напрямую записывать взаимодействие с экраном мобильного устройства.
  • Базовый набор инструментов редактирования, не для продвинутых исследователей.
Аудио-видео запись Тестировщика Возможность редактирования записей Возможна мобильная тестировка Дистанционное немодерируемое тестирование Доступные тестировщики Цена
v v x x x $99

Morae

Morae от Techsmith — первый инструмент, специально созданный для юзабилити-тестирования, и несмотря на возраст, до сих пор один из лучших вариантов. Позволяет записывать, анализировать, редактировать и делиться сессиями.
Morae устанавливается на компьютер (варианта для iOS нет) как приложение и через веб-камеру записывает все взаимодействия с экраном, в том числе, голос и лицо исследователя. В комплекте — вся документация, инструменты редактирования и распространения.

Плюсы:

  • Впечатляющие инструменты захвата и редактирования, подходит для больших проектов.
  • Включает дополнительные инструменты, которые могут отслеживать различные взаимодействия с экраном.
  • Позволяет включать в анализ данные на основе тех. контроля и мнений.
  • Простая и быстрая возможность делиться тест-сессиями с коллегами и результатами тестов с командами.


Минусы:

  • Нет возможности записывать взаимодействие с экраном с мобильных устройств напрямую.
  • Достаточно дорогой вариант.
  • Нет варианта для Mac.
Аудио-видео запись Тестировщика Возможность редактирования записей Возможна мобильная тестировка Дистанционное немодерируемое тестирование Доступные тестировщики Цена
v v x x x $ 1 995

UserTesting

UserTesting предоставляет сеть исследователей, но при необходимости позволяет и проводящему тестирование набирать исследователей самостоятельно. Участник исследования создает список заданий для тестировщиков. Записывается взаимодействие тестировщика с экраном и его голос

UserTesting включает мощные и простые в использовании инструменты видеомонтажа для создания нарезок.
UserTesting также предоставляет тестирования мобильного юзабилити — весьма значимую функцию при постоянном росте количество пользователей подобных устройств, и включает возможность письменных ответов на вопросы.

UserTesting —одно из самых мощных инструментов для удаленного немодерируемого юзабилити-тестирования.

Плюсы:

  • Доступный способ провести дистанционное немодерируемое тестирование юзабилити.
    Аудио- и видеозапись.
  • Простое и быстрое создание нарезок при помощи встроенных функций.
  • Результаты тестирования доступны час-два в зависимости от количества исследователей. Предоставляются инструменты отбора демографий.


Минусы:

  • Поскольку UserTesting предоставляет небольшую плату за каждый тест, результаты тестирования могут оказаться недостаточно качественными из-за недобросовестных тестировщиков.
  • Необходимо следить за результатами всех тестирований и требовать повторное тестирование, если есть сомнения в качестве проделанной тестерами работы (использование своих тестеров может решить эту проблему).
  • Нет возможности записи взаимодействия с экранами мобильных устройств напрямую.
Аудио-видео запись Тестировщика Возможность редактирования записей Возможна мобильная тестировка Дистанционное немодерируемое тестирование Доступные тестировщики Цена
v v v v v $ 49 за тест с возможностью оптовых скидок.

Userlytics

Userlytics предоставляет дистанционное юзабилити тестирование на основе Windows и мобильных девайсов. К сожалению, его нельзя модерировать. Если вам необходимы функции мобильного тестирования, есть возможность апгрейда инструмента до уровня Gold или Enterprise. Тестировщиков можно набирать и с помощью Userlytics, и из своих источников. Есть возможность записи взаимодействий с экраном, голоса тестировщика, видео с вебкамеры и письменные ответы на вопросы после прохождения теста.

Плюсы:

  • Относительно невысокая цена.
  • Прост в установке и обращении.
  • Есть возможность скачивать записи для редактирования и обмена (при апгрейде).


Минусы:

  • Довольно запутанная система набора функций тестов на основе платных апгрейдов, потребуется некоторое время, чтобы во всем разобраться.
  • Есть ограничения (на основе апгрейдов) количества вопросов после исследования.
Аудио-видео запись Тестировщика Возможность редактирования записей Возможна мобильная тестировка Дистанционное немодерируемое тестирование Доступные тестировщики Цена
v v v v v $ 39 в месяц и выше с возможностью оптовых скидок.

Userfeel

Самое значимое преимущество инструмента — возможность предоставления исследователей, говорящих не только на английском. Это очень важно для вебсайтов, предоставляющих услуги в разных странах.

Также есть возможность письменных ответов на послетестовые вопросы. Видео тестов доступны на вебсайте, но нельзя скачать и редактировать их. Зато есть бесплатная возможность “white label”-воспроизведения видео, крайне полезная функция при тестировании на языках, кроме английского.

Плюсы:

  • Качественный инструмент для дистанционного немодерируемого юзабилити-тестирования на разных языках.
  • Есть фильтрация по демографии и языку.
  • Сравнительно невысокая стоимость.
  • Возможность послетестовых вопросов.
  • Бесплатное “white label”-воспроизведение тестов.


Минусы:

  • Исследователи могут пытаться побыстрее закончить тест.
  • Нет продвинутых функций видеомонтажа.
  • Нет возможности скачивать и редактировать видео.
  • Нет возможности мобильного тестирования.
Аудио-видео запись Тестировщика Возможность редактирования записей Возможна мобильная тестировка Дистанционное немодерируемое тестирование Доступные тестировщики Цена
v x x v v $ 39 за тест с возможностью оптовых скидок.

OpenHallway

OpenHallway — инструмент для исследований на основе Windows и Mac. Тестировщиков исследователь набирает сам, но панели управления пользователями в инструменте нет. OpenHallway сам генерирует ссылки на сессии тестирования, когда все готово.

Для его использования не требуется изменение кодов внутри сайта, что делает инструмент крайне полезным для тестирования приложений, вебсайтов и даже сайтов конкурентов. Есть возможность записи голоса и лица тестера, его взаимодействия с экраном при помощи камеры.

Количество места для хранения видео зависит от варианта, который вы используете: Basic, Plus или Premium. На количество сессии ограничения нет, но вот место под хранение видео в какой-то момент может закончиться.

Плюсы:

  • Прост в использовании.
  • Прост в установке.
  • Удобный инструмент для записи немодерируемых дистанционных юзабилити-тестирований.
  • Поддержка Windows и Mac.

Минусы:

  • Не поддерживает мобильные устройства.
  • Без Java инструмент работать не будет.
  • Видео только в формате MP4, скачивание и редактирование возможно только в платных вариантах.
Аудио-видео запись Тестировщика Возможность редактирования записей Возможна мобильная тестировка Дистанционное немодерируемое тестирование Доступные тестировщики Цена
v v x v x $ 49 в месяц и выше с возможностью оптовых скидок.

UsabilityTools

UsabilityTools — набор инструментов для юзабилити, фидбека и отслеживания нажатий, объединенных в один интерфейс. Это упрощает работу с тестами, требующими использования различных инструментов.

Есть две версии: UX Suite и Conversion Suite. Они включают клик-тестинг, веб-тестинг, опросник, кард-сортинг и Persona Creator. Вы можете создать веб-тесты на основе различных сценариев для посетителей сайтов. Они выберут вариант “success” и “abandonment” в зависимости от того, смогли ли выполнить поставленную задачу.

Плюсы:

  • Чтобы полностью понять пользовательский опыт, понадобится несколько дополнительных инструментов.
  • Процесс создания и запуска нескольких тестов инструмента происходит проще и экономичнее в связи с единым клиентским интерфейсом.


Минусы:

  • Отсутствует функция записи аудио и видео тестирования.
  • Мобильные взаимодействия с использованием аудио и видео записей недоступны.
  • Все панели управления тестировщиками платные
Аудио-видео запись Тестировщика Возможность редактирования записей Возможна мобильная тестировка Дистанционное немодерируемое тестирование Доступные тестеровщики Цена
x x x x Да, но в платных вариантах От $ 300 за месяц. Первые 14 дней бесплатно.

TryMyUI

TrymMyUI.com — дистанционный немодерируемый инструмент на основе SaaS. У тестеров есть возможность самим создавать задания. Предоставляются видео, включая захват экрана и голоса тестеров.

Плюсы:

  • Несколько дешевле многих других немодерируемых инструментов.
  • Предоставляется аудио и видео записи тестирования.


Минусы:

  • Отсутствует функция редактирования видео.
  • Отсутствует возможность мобильного тестирования.
Аудио-видео запись Возможность редактирования записей Возможна мобильная тестировка Дистанционное немодерируемое тестирование Доступные тестировщики Цена
v x x v x $ 35 за тест с возможностью оптовых скидок