Home

Автор: Даниил Макаров, Bird Eats Bug

Вас, пожалуй, никогда не интересовал этот вопрос. Именно поэтому мы решили на него ответить:) Второй причиной было то, что у нас как раз была нужная информация, так как наш продукт помогает командам тратить меньше времени на баги. В итоге мы взяли выборку из 3000 отчетов об ошибках, чтобы узнать, сможем ли мы там найти какие-то закономерности.

"Лучшее" время для багов — 2 часа дня

Интересно, что активность растет утром до 9 часов, и потом снова после некоторого спада днем, достигая абсолютного максимума в 14 часов и локального максимума в 5 вечера. Вероятно, некоторые люди завершают рабочий день проверкой того, все ли работает корректно. К слову о рабочем дне - есть ли вообще такое понятие, как стандартные часы работы в среде разработки софта?

Оказывается - не совсем. Мы сравнили, сколько сообщений о багах происходит в рабочие (с 9 до 17) и нерабочие часы.

Для нас стало весьма неожиданным, что только только половину багов находят в рабочее время. Значит ли это, что у нас стало больше свободы выбирать, в какое время дня работать? Или мы просто работаем больше?

Четверть всех багов находят по вторникам

Честно говоря, мы ожидали, что в пятницу и на выходных пользователи будут менее активны, но в остальные дни недели, мы предполагали, что будет примерно одинаковое количество отчетов.

Две трети багов находят при тестировании и разработке

Исходя из исследования 2009 года, 85% багов находят до того, как новый код "увидят" пользователи. Изменилось ли что-то с тех пор?

Если верить нашим данным, то только 2/3 багов вскрывается при разработке и тестировании. Вероятным объяснением может быть то, что исследование 2009 года проводилось в основном на командах разработки. В нашем же случае все больше людей из других команд (поддержка, маркетинг и т.д.) пользуется продуктом. Во-первых, у этих команд зачастую нет доступа к тестовым средам, и они могут делать отчеты только с production. Во-вторых, даже человеку, который на 100% знаком с продуктом своей компании, не всегда очевидно, является ли описываемое поведение багом, или просто где-то включена определенная малоизвестная настройка.

Нельзя с уверенностью сказать, объясняют ли эти факты разницу в наших цифрах - здесь роль играют множество различных факторов: размер компании в выборке, методология разработки (agile/waterfall), процесс тестирования, сложность бизнес-логики и даже то, что именно в данной компании считается багом.

"Bug" - самое популярное слово в отчетах о багах

Для данного упражнения мы взяли все слова из описания багов и создали из них облако тегов.

Результат оказался довольно предсказуемым. Такие слова, как Bug, Error, Page, Test были самыми популярными. Чего мы не ожидали, так это то, что Collection и Date будут настолько часто встречаться - хотя возможно это просто специфика данной выборки.

Затем мы убрали 7 наиболее популярных слов из облака, чтобы лучше понять остальную часть. Во втором эшелоне стали появляться прилагательные и глаголы. Несмотря на это, большинство слов - все-так существительные.

Интересно и то, какие слова НЕ попали на вершину списка. Из личного опыта мы знаем, что часто люди описывают баги очень общими фразами, как например: "Ничего не работает" или "Все сломалось". Несмотря на это, в нашей выборке такого, к счастью, обнаружено не было.

Большинство отчетов о багах сделаны с macOS

Несмотря на рыночную долю в 17%, большинство всех отчетов о багах пришло с macOS - больше, чем с Window и Linux вместе взятых. Если считать по количеству наших пользователей, то macOS и Windows пользуются примерно равной популярностью.

За последние 2 месяца macOS Mojave была наиболее используемой. В последнее время больше активности мы все же видим с последней версии - Catalina.

По Windows у нас гораздо меньше данных. Можно только сказать, что почти все отчеты были сделаны на Windows 10.

Пользователи быстро переходят на свежие версии Chrome

На данный момент наш продукт официально доступен только для Chrome, поэтому мы не стали включать в исследование информацию с других браузеров. Мы можем только сказать, что 80% трафика нашей главной страницы приходится на Chrome.

Самым ранним отчетам в нашей выборке всего 2 месяца, и тем не менее все они сделаны на версиях Chrome не старше 4 месяцев. Google достаточно быстро переводит своих пользователей на свежие версии. Это отличная стратегия, так как она не только помогает в отладке и поиске багов, но и приводит к более однородной пользовательской базе, что положительно сказывается в том числе на технической поддержке.

Bug error. Test collection date issue.

Чтобы подвести итог, мы решили собрать все данные в один отчет, который по статистике вы должны были увидеть этой осенью с наибольшей вероятностью :)

Встречайте:

●     Описание: Bug error. Test collection date issue.

●     Время: Вторник, 2 часа дня

●     Среда: Staging

●     Операционная система: macOS 10.14.6

●     Производитель устройства: Apple

●     Браузер: Chrome 77

●     Размер экрана: 1920x1080

●     Размер окна: 1920x798

●     Регион: en-US

PS

PS №1: самым популярным регионом был en-US, но на втором месте был ru-RU. Ура, товарищи!

Обсудить в форуме