Перейти к содержимому

Фотография

TOP-13 ошибок тестировщиков: Требования, Тест-кейс


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 16

#1 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 23 июня 2006 - 14:52

TOP 13 ошибок тестировщиков (Часть I. Требования, Тест-кейсы)
Автор: Артём Ваулин
Библиотека / Тестирование

Если вы действительно радеете за результат, то обязательно постарайтесь привлечь к тестированию требований и ваших разработчиков, если самостоятельно они этого не делают, ошибочно полагая, что всем связанным с тестирование должны заниматься вы (т.е. тестировщики), а всем, связанным с требованиями, — консультанты и аналитики. Проанализировав требования с точки зрения внутренний архитектуры системы (программы) и кода, разработчики могут дать множество ценных советов и замечаний относительно того, что в требованиях написано не так или чего там не хватает.
  • 0

#2 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 23 июня 2006 - 15:53

Не читая, рискну добавить 14-ю и самую главную ошибку тестировщика: то, что он стал тестировщиком... Но это уже философия :)
  • 0

#3 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 23 июня 2006 - 16:04

Ошибочка: "...(или исправив очередную ошибку в коже)..."
  • 0

#4 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 23 июня 2006 - 16:09

Не совсем понравились термины "приемочные тест-кейсы" и "приемочное тестирование". У меня это ассоциируется с этапом тестирования, после которого очередная версия продукта передается в отдел продаж.
  • 0

#5 greyver

greyver

    Опытный участник

  • Members
  • PipPipPipPip
  • 358 сообщений
  • ФИО:Вербенко Сергей Анатольевич
  • Город:Москва, Зеленоград


Отправлено 23 июня 2006 - 17:07

На мой взгляд, нижеприведенный кусок немного путает.
А именно. Из рассуждения выводятся некие правила, но сами эти правила теряются в тексте и очень плохо связаны с нумерацией параграфов. Мне кажется, что было бы лучше, если в начале пункта - правило с номером, а далее описание того, из чего оно "выросло".

1. Первое и, на мой взгляд, самое главное — при написании тест-кейсов (а особенно приемочных) тестировщик должен осознать, что данные тест-кейсы предназначены не для него самого, а для другого человека. И писать их, соответственно, необходимо максимально подробно и максимально понятно даже не для посвященного в бизнес-логику приложения человека.

2. Существует два варианта подготовки приемочных тест-кейсов: первый — после подготовки набора тест-кейсов для полного тестирования выбрать из него тест-кейсы дл приемочного тестирования, которые покрывают основной (положительный) путь работы приложения; второй — специально подготовить набор только приемочных тест-кейсов.

Однозначно сказать, какой вариант предпочтительней, не возможно. Все очень сильно зависит от ситуации и от тестируемой функциональности. Одно могу сказать совершенно точно (это и есть следующее правило) — тест-кейсы должны быть составлены таким образом, чтобы они не зависели от тех данных, от тех ситуаций, объектов и т.п., которыми тестировщик оперирует на тестовой системе. Т.е. все необходимые данные, объекты и т.д., необходимые для прогона приемочного тест-кейса, должны быть подготовлены самими разработчиками. Как этого добиться? Написать вспомогательные тест-кейсы (либо же написать вспомогательные действия в том же самом приемочном тест-кейсе), которые позволят сделать все предварительные приготовления для основного тест-кейса. В приемочных тестах для разработчиков нельзя ссылаться на какие-то объекты с тестовой системы. Сами понимаете, разработчик просто может не найти их и, в лучшем случае, постарается разобраться в ситуации, а в худшем — напишет комментарий к этому тест-кейсу и поставит Blocked.

3. Еще один очень важный момент, который приводит в замешательство разработчиков, которые прогоняют приемочные тест-кейсы, и не способствует их качественному выполнению. Кстати, этот пунктик относится не только к приемочным тест-кейсам, а к правилам написания тест-кейсов вообще.

Сокращенно звучит он так — один тест-кейс — одна проверка.


В целом хорошая статья, спасибо. С удовольствием прочту остальные части.
  • 0

#6 greyver

greyver

    Опытный участник

  • Members
  • PipPipPipPip
  • 358 сообщений
  • ФИО:Вербенко Сергей Анатольевич
  • Город:Москва, Зеленоград


Отправлено 23 июня 2006 - 17:11

Не читая, рискну добавить 14-ю и самую главную ошибку тестировщика: то, что он стал тестировщиком... Но это уже философия :)

Просмотр сообщения


Прочитал всё-таки?! :)
  • 0

#7 van

van

    Опытный участник

  • Members
  • PipPipPipPip
  • 475 сообщений
  • ФИО:Ваулин Артем Николаевич
  • Город:Россия, Санкт - Петербург

Отправлено 26 июня 2006 - 07:42

Ошибочка: "...(или исправив очередную ошибку в коже)..."

Просмотр сообщения


Спасибо.
У себя исправил.
Попрошу Славу исправить ошибочку на сервере.
  • 0
Ваулин Артем
КОРУС Консалтинг
Руководитель отдела тестирования

Мой дневник

#8 van

van

    Опытный участник

  • Members
  • PipPipPipPip
  • 475 сообщений
  • ФИО:Ваулин Артем Николаевич
  • Город:Россия, Санкт - Петербург

Отправлено 26 июня 2006 - 07:46

Не совсем понравились термины "приемочные тест-кейсы" и "приемочное тестирование". У меня это ассоциируется с этапом тестирования, после которого очередная версия продукта передается в отдел продаж.

Просмотр сообщения


Я же в самом начале оговорился, что речь идет об одном конкретном проекте, о конкретной ситуации.
Поэтому все определения и термины я рассматривал и описывал через призму этого проекта :)
  • 0
Ваулин Артем
КОРУС Консалтинг
Руководитель отдела тестирования

Мой дневник

#9 van

van

    Опытный участник

  • Members
  • PipPipPipPip
  • 475 сообщений
  • ФИО:Ваулин Артем Николаевич
  • Город:Россия, Санкт - Петербург

Отправлено 26 июня 2006 - 07:49

На мой взгляд, нижеприведенный кусок немного путает.
А именно. Из рассуждения выводятся некие правила, но сами эти правила теряются в тексте и очень плохо связаны с нумерацией параграфов. Мне кажется, что было бы лучше, если в начале пункта - правило с номером, а далее описание того, из чего оно "выросло".

Просмотр сообщения


Ок, спасибо!
Учту на будущее.

А вообще все эти правила, рекомендации, ошибки и т.д. "выросли" из моей конкретной практики, из моего опыта.
  • 0
Ваулин Артем
КОРУС Консалтинг
Руководитель отдела тестирования

Мой дневник

#10 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 26 июня 2006 - 12:29

Поправил и эту ошибку и присланные читателями через ОРФУС (большое спасибо тем, кто ей пользуется!)
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#11 eire

eire

    Новый участник

  • Members
  • Pip
  • 6 сообщений
  • Город:Kiev

Отправлено 27 июня 2006 - 13:51

Статья очень понравилась. Автору спасибо :)

Оказалось, постоянно нарушаю принцип "один тест-кейс — одна проверка".
При прохождении таких кейсов я каждому результату присваиваю значение true или false, а общим результатом теста считаю произведение мелких результатов.

При попытке разделить кейсы на "атомарные" проверки стало ясно, что из-за оформления мелких кейсов увеличится объем тестовой документации и потраченное на нее время (вроде как это и лишнее). Такое вот противоречие.. :(
  • 0

#12 Clauster

Clauster

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 913 сообщений
  • ФИО:Худобородов Валерий
  • Город:Espoo

Отправлено 27 июня 2006 - 15:12

При попытке разделить кейсы на "атомарные" проверки стало ясно, что из-за оформления мелких кейсов увеличится объем тестовой документации и потраченное на нее время (вроде как это и лишнее). Такое вот противоречие.. :(

Просмотр сообщения

Попробуйте использовать что-нибудь для управления тест-кейсами. Например, Excel, Wiki, TestLink и т.п.
  • 0

#13 van

van

    Опытный участник

  • Members
  • PipPipPipPip
  • 475 сообщений
  • ФИО:Ваулин Артем Николаевич
  • Город:Россия, Санкт - Петербург

Отправлено 28 июня 2006 - 05:42

Поправил и эту ошибку и присланные читателями через ОРФУС (большое спасибо тем, кто ей пользуется!)

Просмотр сообщения


Слава, привет!

Напиши пожалуйста, какие еще ошибки были присланы, чтобы я смог их у себя в статье исправить.
  • 0
Ваулин Артем
КОРУС Консалтинг
Руководитель отдела тестирования

Мой дневник

#14 idunin

idunin

    Активный участник

  • Members
  • PipPip
  • 116 сообщений
  • ФИО:Илья Владимирович
  • Город:Москва


Отправлено 26 июля 2006 - 07:41

Спасибо автору за статью! Очень много полезного для себя прочитал! :)

Спасибо, что хоть привычка компилировать еще сохранилась!

Вы знаете, у нас на проекте не то, чтобы выделенное тестирование, но иногда получалось так, что я завожу ошибку, разработчик видит ее, начинает исправлять. Исправляет, заливает исходники на CVS и ставит, что ошибка "На проверке". Сливаю, компилю - ошибка. Разработчик даже не проверил, что проект компилится!!! А вы говорите, привычка сохранилась! :)
  • 0

#15 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 26 июля 2006 - 09:17

Напиши пожалуйста, какие еще ошибки были присланы, чтобы я смог их у себя в статье исправить.

Не храню :( Надо делать дифф по тексту.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#16 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 26 июля 2006 - 09:19

Вы знаете, у нас на проекте не то, чтобы выделенное тестирование, но иногда получалось так, что я завожу ошибку, разработчик видит ее, начинает исправлять. Исправляет, заливает исходники на CVS и ставит, что ошибка "На проверке". Сливаю, компилю - ошибка. Разработчик даже не проверил, что проект компилится!!! А вы говорите, привычка сохранилась! :)

Каждая такая ситуация - ЧП на проекте. Лечится административно (раздачей волшебных "бумбулей" показательно - лучше с депримерованием). Сообщаете ПМ-у что потратили такой-то кусок времени на перепроверку - время по сути выброшено. Разбор полётов нужно провести показательно.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#17 Imbecile

Imbecile

    Постоянный участник

  • Members
  • PipPipPip
  • 156 сообщений

Отправлено 04 сентября 2006 - 14:13

:) А у нас наоборот. Разработчики ну очень просят наш CRC-List (Common Release Control). Это набор тест-кейсов, которые обязан проходить каждый билд, иначе он признаётся нестабильным. Поскольку прохождение CRC занимает значительно времени (разработка скрипта автоматизации всё ещё в начальной стадии), то разработчики долго сидят без важной информации - стабильный билд или нет. Вот так вот.
  • 0
In Test we trust.


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных