AlexeyBocharov

Итак отчет.

Тестовую сессию мы проводили в воскресенье. День выдался отличный — прохладный и ясный. Видимо, отчасти это объясняет довольно низкую явку: и так было не слишком много желающих воскресный день провести на чужой работе, а тут еще такая чудесная погода. В итоге пришло всего 10 человек. Нам рассказали о продукте, который предстояло тестировать — это оказался сервис Yota Play — сказали, какого рода дефекты интересуют в первую очередь, выдали все ссылки и пароли и мы приступили к работе.

В первую очередь интересовало тестирование безопасности сервиса. Увы, ни одного профессионала или хотя бы любителя в этой области не нашлось, все пришедшие специализировались в функциональном тестировании. В основном фиксировались незначительные или уже исправленные в более новой версии, проходящей внутреннее тестирование, функциональные дефекты и неочевидные для пользователя решения. Критичных дефектов найдено не было. Большое спасибо компании Yota — очень серьезно подошли к организации мероприятия: было выделено несколько специалистов, работающих над этим продуктом, которые изучали баг-репорты по мере поступления, перепроверяли, запрашивали дополнительную информацию, отвечали на вопросы. Было видно, что наша работа для них важна, это очень ценно!

Закончили тестировать уже вечером, после подведения итогов поблагодарили всех участников и вручили приз — Samsung Galaxy Tab P1010 — Яну Юшину за наибольшее количество сообщений об ошибках и предложений по улучшению, а так же за широкий спектр находок. Традиционные посиделки в баре устраивать не стали, все спешили по домам.

Итоги тестовой сессии:
блин получился довольно сыроватый и комковатый — не удалось привести специалистов с нужной квалификацией, не получилось организовать командную работу пришедших, низкая посещаемость. Выводы сделаны, в следующий раз будем учитывать недоработки. Большое спасибо компании Yota за приветливость и инициативу, интерес к экспериментам, всем участникам — за то, что не пожалели выходного и приняли посильное участие.

Мы будем рады всем отзывам и предложениям!
До новых встреч!

как по мне статичный инструмент будет фейком.
нажали кнопку получили результат и этот результат не будет отражать реального положения.
не получится. все оценки вырастают из статистики на конкретном проекте, специфики, постоянности/непостоянности ресурсов.
и внутренняя оценка предложенная Яном, всего лишь один из критериев.

Оценка может быть собрана лично. как и критерии в зависимости от проекта, команды и проч.
из разных параметров от качественного выполнения тестов, до качественности кода написанного программистом, например количество реопенов тоже критерий, но чем вызван реопен, некачественностью кода, или неправильным формулированием бага.
и так с каждым критерием.
Статичного инструмента не будет. Имхо. Каждый критерий требует причинно следственного анализа. опять же на статистике. и субьективных оценках.

Добавлю
Скайп чат сообщества, где вопросы можно задать и пообщаться
http://bit.ly/ixb5ZE
страница на Facebook

http://www.facebook.com/?ref=logo#!/groups/144775722268599/

Тестовая сессия прошла относительно успешно, специалистов по безопасности обнаружено не было, отделались замечаниями и пожеланиями по функциональности и удобству использования. Фотографии выложены на нашей странице, более развернутый отчет опубликуем в скором времени.

Много пришло?)