Разделы портала

Онлайн-тренинги

.
Алексей Баранцев: «Тестировщику можно и нужно автоматизировать буквально всё, что только в голову придет»
28.12.2009 11:03

Международная конференция для специалистов по обеспечению качества программного обеспечения – SQA Days 2009 — прошла с 28 по 29 октября в Москве в рамках Международной восточно-европейской научно-практической конференции по программной инженерии (для специалистов по разработке программного обеспечения) – CEE-SECR 2009.

Портал Software-Testing.ru представляет серию интервью с участниками прошедшего мероприятия.

Алексей Баранцев, Институт системного программирования Российской Академии Наук (ИСП РАН), отдел технологий программирования, аккаунт-менеджер коммерческих проектов, главный редактор портала Software-testing.ru.

Автоматизация тестирования - это не только «record&play»

На SQA Days я привез доклад «Автоматическая генерация ручных тестов», который написал в соавторстве с моими коллегами из Института системного программирования Российской Академии Наук. Впрочем, правильнее было бы назвать его «Автоматическая генерация тестов, оптимизированных для ручного выполнения».

Существует устойчивый стереотип о том, что можно автоматизировать функциональное тестирование только путем «record&play» - запись определенных скриптов.

Это неправильно.

 Кто виноват в живучести этого стереотипа? То ли Канер, который когда-то написал, что всё, что можно автоматизировать — это только выполнение тестов, то ли разработчики систем для автоматизации тестирования…

В любом случае нужно этот стереотип ломать.

Как вода заполняет пространство? Она просто течет туда, куда она может протечь. Нужно, чтобы тестировщики могли автоматизировать именно те части их рабочего процесса, которые легко поддаются автоматизации, а не те, которые «хотелось бы автоматизировать».

Я являюсь ярым сторонником тестирования методом свободного поиска. И вместе с тем я большой поклонник автоматизации. Для меня в этом противоречия нет — эти два подхода можно совмещать.

Вопрос в том, как «зарядить» тестировщика, чтобы он:
a)    при тестировании включил фантазию,
b)    и стал думать о том, что нужно и можно автоматизировать буквально всё, что только в голову придет, а не только «как бы нам тестовые скрипты записать, чтобы потом их воспроизводить». Это может каждый, это неинтересно.

После доклада к тебе постоянно подходили люди. За время доклада не удалось рассказать так, чтобы не осталось вопросов?

Это, мне кажется, как раз правильный способ — в течение времени, отведенного на выступление невозможно детально показать все то интересное, что можно показать. На докладе нужно людей заинтересовать, увлечь, а все остальное — в кулуарах.

Создалось впечатление, что практически всю конференцию ты простоял в коридоре, постоянно с кем-то общаясь.

Верно. Я не так много докладов посетил, потому, что я хожу на конференции именно для того, чтобы общаться с людьми. А если я сижу и слушаю доклады, то я лишаюсь этой возможности.

Есть, конечно, такие люди, выступление которых интересно послушать. Вот жаль, что не был на докладе Юлии Нечаевой, потому что позже те, кто там были, сказали, что это было очень интересно. Впрочем, большая часть выступлений звучит не только на одной конференции, а поскольку я на конференции езжу достаточно часто, то многие доклады я просто уже видел и слышал.

Есть доклады, которые представлены спонсорами или организаторами мероприятия, и имеют определенную рекламную направленность. Здесь для меня тоже не очень много интересного, потому что я и так слежу за теми новинками в технологиях и инструментах, которые появляются на рынке. Некоторые инструменты, о которых делают доклады на конференциях, я к этому времени уже успеваю руками пощупать. Например, MS Visual Studio 2010 – люди, которые перед этим были на моем тренинге про этот же инструмент, говорят, что на конференции они уже ничего нового не услышали, а просто увидели «рекламный доклад».

В общем, на конференции я посещаю примерно 20% докладов, остальное время провожу в кулуарах, как и многие другие люди, потому что конференция это перекресток, на котором можно встретиться. Даже если мы работаем в одной отрасли и даже в одном городе, бывает сложно просто встретиться и поговорить. Повод нужен.

Ты входил в программный комитет SQA Days и участвовал в отборе докладов. Можешь оценить уровень докладов в этом году? По каким критериям их отбирали, какова планка «это интересно»?

Уровень докладов примерно такой же, как и раньше. Я бы не сказал, что в этом году, за счет совмещения SQA Days и SECR, качество докладов про тестирование существенно повысилось.

Но есть один несомненный плюс  в такой форме организации — докладам, посвященным тестированию, приходится на общих основаниях конкурировать с докладами, посвященными другим темам в области разработки ПО. Если бы доклады по тестированию были плохими, то их бы вообще не приняли бы. А поскольку они не проиграли, и в общей программе было ощутимо много докладов по тестированию, то, наверное, уровень достаточно высокий.

Отбор проводился методом двойного слепого рецензирования, и на каждый доклад смотрели несколько пар глаз. Не было разделения докладов «это о тестировании» и «это о программировании» - все доклады совмещенной конференции оценивались одинаково.

Из примерно полутора сотен докладов, поданных на рассмотрение, была отобрана примерно треть. Для промышленной конференции это достаточно серьезная планка. Бывает такое, что на некоторые конференции берут все подряд. SECR в этом отношении отличается тем, что требования довольно высокие, высок и конкурс — три доклада на одно место.

Раскрой секрет — как сделать доклад, который попадет на конференцию?

Во-первых, надо выполнить все требования, описанные в формальном предложении на подачу заявок — должно быть написано столько, сколько положено. Если было указано, что надо написать не только тезисы того, о чем вы собираетесь рассказывать, но и относительно связный текст объемом 4-6 страниц, то это и надо сделать. Доклады, которые содержали только тезисы на полстраницы, однозначно проигрывали «развернутым» заявкам.

Иногда, я видел, были поданы в качестве заявки просто презентации, без сопроводительного текста. Это тоже примеры проигрышной заявки.

Второе — поскольку эта конференция не узкопрофильная, то текст доклада должен быть написан так, чтобы в нем было не очень много технических деталей. Они должны быть скрыты «за фасадом», за интересной постановкой задачи и за некоторым «обещанием» того, что  докладчик знает, как эту задачу решить. Если заявка сформулирована именно так, то вероятность того, что доклад «пройдет» весьма высока.

В-третьих, то, что написано в сопроводительной статье в заявке, и то, что потом человек рассказывает во время своего выступления — две большие разницы. Писать надо одно, а рассказывать совсем другое, за исключением тех случаев, когда это рекламный доклад — там тема и форма ясны с самого начала. Вызывать интерес в письменном виде и вызвать интерес в устном виде надо по-разному, используя разные методы.

Вам, устроителям, не было жалко людей, которые попали в категорию «стендовые доклады»? Кажется, в этом году «стедновые доклады» не совсем получились...

Да, это было заметно. Полагаю, что это была организационная накладка, просто не успели их подготовить.

Изначально предполагалось, что каждому участнику будет сделан большой плакат формата А1, с диаграммой или картинкой, который будет висеть на стене, а не текст, набранный мелким шрифтом. Тогда, наверное, получилось бы здорово.

Раньше мы пробовали делать флип-чартные доклады, когда человек стоит у флип-чарта с фломастером в руке и что-то рассказывает. Стендовые доклады должны были стать своеобразным продолжением, потому что сразу выступать у флип-чарта — это сложно. Вот если человек заготовил какой-то плакат, к нему могут подойти те, кому стало интересно. А если человек просто пишет на доске тему, о которой он может говорить — ну, это не очень удобно.

Было мнение о том, что «на конференции слишком много пиджаков», и было мнение о том, что «наконец-то мало праздношатающихся»...

Очень сложно судить... Это единственная конференция по software engineering в СНГ, поэтому ее нельзя никак судить. Другой пока нет. Когда у нее будет конкурент, тогда их можно будет сравнивать и судить о количестве «пиджаков»... Она важна и интересна своей уникальностью.

Отдельный вопрос — кажется ли мне, что в ней что-то неправильно. Тоже трудно судить, поскольку я принадлежу к академическому миру, конечно, мне кажется, что там не хватает связи с академическими учреждениями. С другой стороны, если это случится, то туда могут перестать ездить промышленники, потому что «слишком много академиков». Не знаю...

Следующая конференция SQA Days будет проводиться отдельно, что опять же следует оценивать особо. В этом году слияние произошло в числе прочего по территориальным причинам. Конференция для тестировщиков проводится в разных городах. А SECR проводится каждый год в Москве. Поэтому, когда у нас проведение территориально совпало, мы смогли объединиться.

Возможно, в будущем будут и другие объединения. Есть желание провести конференцию для тестировщиков на востоке России, например, в Новосибирске, потому что там не проходят крупные промышленные конференции по теме software engineering. Академические проходят, промышленные — нет.

Будет ли следующая SQA Days международной? На SECR были Ларс Бак живьем и Гради Буч, пусть и в нелепом виде, однако же...

Может быть, мы еще до этого не доросли, а может быть, и не особо к этому стремимся, но на SQA Days 2010 мы не планировали приглашать видных западных тестировщиков.

У SECR изначально была установка на приглашение известных западных специалистов в какой-то области, и некоторые люди идут на конференцию именно для того, чтобы посмотреть на приглашенных.

Надо, все-таки, упаковать Баха и пригласить...

Это, конечно, было бы интересно. Впрочем, тогда Майкла Болтона надо пригласить, мне кажется, что он интереснее рассказывает.

Но Бах более нагл. Он может создать происшествие, о котором напишут не только на software-testing.ru, но и в таблоидах в разделах криминальной хроники.

Может быть, именно поэтому Болтон лучше — он более спокоен и взвешен.

Какие будут характер и интонация у SQA Days 2010? Это будет что-то тематическое?

Тема еще не выбрана.

Да, для каждой конференции мы выбираем какую-то узкую тему, то есть, не про тестирование ВООБЩЕ, а сконцентрированную на каких-то вопросах, но для следующей конференции это сужение еще не определилось.

В последнее время стало мало отзывов после посещения конференций, поэтому очень трудно судить, насколько интересно была выбрана тематика. О предыдущей конференции SQA Days было не очень много отзывов, о прошедшем SECR тоже пока мало, о конференциях, которые Luxoft проводил летом, о Training Labs, о Testing Labs отзывов тоже практически нет. Это не очень хороший признак — люди ходят, а впечатлениями потом не делятся. Пишут те, кому по штату положено — кто выступал, тот и отписался, а люди, которые просто слушатели, своими впечатлениями не делятся.

Может, их материалами надо снабжать? Я очень удивился, когда на диске с материалами SECR, вместо собственно материалов увидел только тезисы докладов...

Согласен, конечно, надо снабжать. Надо еще и посткоференционную работу проводить, например, предлагать в обмен на отзыв льготное участие в следующей конференции или ещё как-то стимулировать. Мы этого, увы, пока не умеем делать.

Интервью брал Алексей Лупан.

На постсоветском пространстве ежегодная конференция «Software Quality Assurance Days» (SQA Days) считается одним из крупнейших событий в области обеспечения качества программного обеспечения. Сайт конференции: www.it-conf.ru