Перейти к содержимому

Фотография

Помогите выбрать средство для разработки и хранения тест-кейсов


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 22

#1 oska

oska

    Новый участник

  • Members
  • Pip
  • 47 сообщений
  • ФИО:Мануйлова Ольга

Отправлено 08 июня 2008 - 07:15

Всем привет!
Посоветуйте пожалуйста тулзу для разработки хранения тест-кейсов:


вот что смотрю и думаю:
TestLog;
TestLink;
Mercury Test Director;
TestPlan;
Testrun;
Testuff

Кто чем пользовалься и что может рекомендовать?
тест-кейсы в основном для тестирования гуи - их очень много и нужно структурировать, строить диаграммы

Пока в экселе все делаю, но хочется грамотного подхода :)

заранее благодарю за ответы и советы
  • 0

#2 AxelM

AxelM

    Активный участник

  • Members
  • PipPip
  • 118 сообщений
  • ФИО:Зверев Дмитрий
  • Город:Санкт-Петербург


Отправлено 09 июня 2008 - 08:08

Пользуюсь TestLink
Но, говорят, это на любителя. Любителя дотачивать самостоятельно напильником.
  • 0

#3 rpwheeler

rpwheeler

    Новый участник

  • Members
  • Pip
  • 16 сообщений
  • ФИО:Подолян Роман Николаевич

Отправлено 09 июня 2008 - 12:09

Пробовал:

1) TestLink. Для маленького проекта - пожалуй сойдет. Не понравилось: слишком простая иерархия и функциональность, экспорт только в xml.
2) QaTraq. Сложная система, но какая-то нескладная. Едва ли не по любому действию требует лишнего нажатия на Search. Добавил туда воображаемый продукт, примеры тестплана, test script, test cases - потом не мог ничего из этого удалить. По любой попытке пишет, что запись связана с чем-то еще, не указывая, с чем именно. Надоело, убил.
3) RTH. Этот, пожалуй, понравился больше всего. Задумка мощная (хотя и вид неказистый). Но некоторая функциональность не работает - например, никак не могу определить область тестирования (Test Area) для тесткейсов, что пригодилось бы для их структуризации. Также не нравится их сквозная нумерация - т.е. все тесткейсы получают общий для инсталляции порядковый номер, а хотелось бы чтобы они имели задаваемый префикс.

Смотрел несколько коммерческих решений - ни одно не понравилось, из-за своей монструозности, и, как писали в Jira Wiki, "There is no reasonably priced Test Case Management tool on the market", - цены на них не разумны.

При планировании использую FreeMind. Это написанный на Java опенсорс неспециализированный редактор древовидных диаграмм, который мне помогает легко охватывать план взглядом, и быстро его "перелепливать". По-моему лучше для такой работы, чем Excel, но - дело вкуса.
  • 0

#4 astenix

astenix

    Специалист

  • Members
  • PipPipPipPipPip
  • 906 сообщений
  • ФИО:Лёша Лупан
  • Город:Кишинев


Отправлено 09 июня 2008 - 14:30

FreeMind - он помогает "охватить" всю картину, но он реально заточен для нужд "записать цепочку рассуждений", а не для организации документов в списки, с которыми удобно работать.

Мне он одно время помогал в определении "веток функций" сайта, который я тестировал. Это помогало просто потому, что я тестировал сайт непосредственно с этапа его разработки, и всю "структуру" строил медленно, без спешки. Когда вышла первая версия сайта, вся карта виделась мне логичной и понятной. Но на второй версии карта как-то "отяжелела", и ее обновлением я уже не занимался - времени не было. :focus:

to oska

Перестаньте искать волшебную систему, которая все умеет делать "как надо". Начните с организации документов в любой wiki. Саму wiki поставьте на сервер, который у вас под столом стоит, чтобы все "летало". Любая wiki-система сделает вашу работу с тест-кейсами лёгкой и приятной просто потому, что вы сами организуете документы наилучшим для вас образом. Беда всех систем хранения тест-кейсов в том, что они сделаны "для всех", и у каждой есть собственная логика "внутреннего порядка".

Это как в HTML - проще ведь открыть файл через блокнот и вписать нужный тэг своими указательными пальцами, чем спрашивать на форумах: "Парни, а какой хоткей отвечает в пятом Мегасоздателесайтов Про за вставку тэга noindex? А он в крякнутой версии не вставляется... Как, неужели не вставляется в пятом через хоткей? Да, придется тебе ждать шестую версию..."

Мне год назад из перечисленного в этом обсуждении больше всего понравилась RTH, и я одно время с ней возился, даже в коде копался. Но впоследствии я пришел к тому, что скорость работы с каждым тест-кейсом в отдельности и его доступность для меня важнее, нежели сбор миллиона тест-кейсов в какой-то базе, их сортировка и грамотная каталогизация по проектам...

Вроде бы Mercury Test Director был хорош, но при ежедневной работе это оказалось страшной махиной, работа с которой в какой-то момент стала раздражать неимоверно, и не меня одного. Раздражало не то, что это махина, а то, что невозможно ее "под себя подстроить". Одна только фича "вставлять общие шаги" - она разумна, но предназначена на случай если вы открываете отдельно какой-то тест-кейс и воспроизводите его. А если ежедневно по 50 кейсов содержат какие-то "общие" шаги, и вы не можете их "скипануть", и вынуждены постоянно нажимать на кнопку "Passed" курсором мыши, а не какими-нибудь горячими клавишами...

Если вы уже прошли стадию "работа в excel", и она вас реально не устраивает (проблемы с распределенностью и одновременной работой), если у вас вообще есть куча тест-кейсов, то переходите на wiki, не стесняйтесь и не ограничивайтесь уже "готовыми" системами. Их вроде бы много, но это только видимость выбора, ей-богу.
  • 0

Software Testing Glossary - простыми словами о непростых словах.


#5 greesha

greesha

    Опытный участник

  • Members
  • PipPipPipPip
  • 363 сообщений
  • ФИО:Печёнкин Григорий Михайлович
  • Город:Мытищи

Отправлено 09 июня 2008 - 15:25

Если вы уже прошли стадию "работа в excel", и она вас реально не устраивает (проблемы с распределенностью и одновременной работой)..



Буквально вчера в книге "Джоэл о программировании" наткнулся на врезочку "Что вам следует знать об Excel". Превый же пункт: Листы с совместным доступом. Нужно просто зайти в меню "Сервис -> Доступ к книге" и выставить галочку "Разрешить совместный доступ".

Век живи - век учись. Прямо сейчас и попробую, и что характерно, именно на тестовых планах.
  • 0
Григорий Печёнкин
greesha.ru
жежешечка

#6 oska

oska

    Новый участник

  • Members
  • Pip
  • 47 сообщений
  • ФИО:Мануйлова Ольга

Отправлено 10 июня 2008 - 05:05

спасибо всем за ответы :)

меня вообще устраивает эксель - чес слово и чем больше в нем работаю, тем больше узнаю и лучше получаются те же кейсы :)

ну задача у меня по плану такая- выбрать и внедрить тулзу ....
а задачи я не сама себе ставлю :(
  • 0

#7 astenix

astenix

    Специалист

  • Members
  • PipPipPipPipPip
  • 906 сообщений
  • ФИО:Лёша Лупан
  • Город:Кишинев


Отправлено 10 июня 2008 - 08:32

Буквально вчера в книге "Джоэл о программировании" наткнулся на врезочку "Что вам следует знать об Excel". Превый же пункт: Листы с совместным доступом. Нужно просто зайти в меню "Сервис -> Доступ к книге" и выставить галочку "Разрешить совместный доступ".


У меня большой опыт работы с расшаренными экселевскими файлами. Принципиально все хорошо, но иногда в деталях было ощутимо фигово.

Например, была такая модель работы:
  • все тест-кейсы находятся в Mercury Test Director (печальное, но лицензионное и историческое наследие).
  • тим-лид вносит в листы экселевского файла список всех кейсов, которые следует проверить в текущем релизе, кладет его на сервер и раскрывает полный к нему доступ.
  • каждый тестировщик держит у себя открытой копию этого файла, временами отмечая в нем "своими" десяток-другой кейсов. Затем "Сохранение". Если в это же время кто-то другой отметил какие-то строки "своими", конечно, выходит сообщение о конфликте.

    Такой конфликт решается быстро, даже предварительно можно его решить - перед тем, как "забрать" какие-то кейсы "на себя", жмешь "Сохранить" - файл обновляется, и видно, что и кем уже "занято".
  • сами кейсы запускаются из (глухое ворчание) тест директора, и по прошествии отмечаются в этом самом экселевском файле.
Вариант "отмечать все непосредственно в TD разумнее, но оказался намного затратнее по времени. К тому же, тестировщики за несколько релизов меняются, и пользуются "чужими" аккаунтами для доступа в TD. Поэтому работали через Excel.

Фиговость проявлялась редко, почему-то это было связано с разными операционными системами, из-под которых тестировщики открывали экселевский файл с сервера. Еще это было связано с тем, что мы работали через VPN, и если у кого-то это подключение "слетало" (что бывает нередко), то бывало, что файл на сервере блокировался :clapping: Особенно если слетало подключение у кого-то из-под (глухое ворчание) Windows Vista...
  • 0

Software Testing Glossary - простыми словами о непростых словах.


#8 rpwheeler

rpwheeler

    Новый участник

  • Members
  • Pip
  • 16 сообщений
  • ФИО:Подолян Роман Николаевич

Отправлено 10 июня 2008 - 13:21

В свежей версии Testlink 1.8 (beta) появился префикс для тескейсов проекта, на отсутствие которого в RTH я жаловался выше. Это уже радует.
Баги тоже имеются - подсчет покрытия требований глючит. Но пробовать работать с ним уже приятнее.
Рано или поздно или его или RTH доведут до ума - вот тогда можно будет и плоды пожинать.
  • 0

#9 oska

oska

    Новый участник

  • Members
  • Pip
  • 47 сообщений
  • ФИО:Мануйлова Ольга

Отправлено 11 июня 2008 - 04:28

В свежей версии Testlink 1.8 (beta) появился префикс для тескейсов проекта, на отсутствие которого в RTH я жаловался выше. Это уже радует.
Баги тоже имеются - подсчет покрытия требований глючит. Но пробовать работать с ним уже приятнее.
Рано или поздно или его или RTH доведут до ума - вот тогда можно будет и плоды пожинать.



я скачала тест линк а не могу его настроить - там в сетапе странные файлики ...
помогите пожалуйста
  • 0

#10 rpwheeler

rpwheeler

    Новый участник

  • Members
  • Pip
  • 16 сообщений
  • ФИО:Подолян Роман Николаевич

Отправлено 11 июня 2008 - 11:19

В свежей версии Testlink 1.8 (beta) появился префикс для тескейсов проекта, на отсутствие которого в RTH я жаловался выше. Это уже радует.
Баги тоже имеются - подсчет покрытия требований глючит. Но пробовать работать с ним уже приятнее.
Рано или поздно или его или RTH доведут до ума - вот тогда можно будет и плоды пожинать.



я скачала тест линк а не могу его настроить - там в сетапе странные файлики ...
помогите пожалуйста

Вы в курсе, что это веб-приложение? Чтобы с ним работать, его надо установить на хост или веб-сервер. Инструкция по установке на английском прилагается, у 1.8 - автоматический инсталлятор (не помню, был ли он у 1.7).
  • 0

#11 oska

oska

    Новый участник

  • Members
  • Pip
  • 47 сообщений
  • ФИО:Мануйлова Ольга

Отправлено 18 июня 2008 - 09:02

В свежей версии Testlink 1.8 (beta) появился префикс для тескейсов проекта, на отсутствие которого в RTH я жаловался выше. Это уже радует.
Баги тоже имеются - подсчет покрытия требований глючит. Но пробовать работать с ним уже приятнее.
Рано или поздно или его или RTH доведут до ума - вот тогда можно будет и плоды пожинать.



я скачала тест линк а не могу его настроить - там в сетапе странные файлики ...
помогите пожалуйста

Вы в курсе, что это веб-приложение? Чтобы с ним работать, его надо установить на хост или веб-сервер. Инструкция по установке на английском прилагается, у 1.8 - автоматический инсталлятор (не помню, был ли он у 1.7).


спасибочки за ответ!!!
попробую установить 1.8...а что нибудь нужно для него устанавливать - какую базу он использует?
можно для разных проектов использовать? реально настроить и разграничить права доступа пользователей?
что веб-интерфейс - это здорово!
можно ли удаленную работу с ним настроить? :)
  • 0

#12 oska

oska

    Новый участник

  • Members
  • Pip
  • 47 сообщений
  • ФИО:Мануйлова Ольга

Отправлено 18 июня 2008 - 10:53

Пользуюсь TestLink
Но, говорят, это на любителя. Любителя дотачивать самостоятельно напильником.



AxelM, добрый денЬ!
я - глупый пингвин:( не могу установить тестлинк
помогшите пожалуйста - нужно развернуть веб сервер?
какую базу использует тестлинк?
может ли исполльзоваться для нескольких проектов?

вроде бы он с веб интерфейсом, возможен ли удаленный доступ?

будьте добры ответьте мне :)
спасибо :)
  • 0

#13 oska

oska

    Новый участник

  • Members
  • Pip
  • 47 сообщений
  • ФИО:Мануйлова Ольга

Отправлено 18 июня 2008 - 10:55

Пробовал:

1) TestLink. Для маленького проекта - пожалуй сойдет. Не понравилось: слишком простая иерархия и функциональность, экспорт только в xml.
2) QaTraq. Сложная система, но какая-то нескладная. Едва ли не по любому действию требует лишнего нажатия на Search. Добавил туда воображаемый продукт, примеры тестплана, test script, test cases - потом не мог ничего из этого удалить. По любой попытке пишет, что запись связана с чем-то еще, не указывая, с чем именно. Надоело, убил.
3) RTH. Этот, пожалуй, понравился больше всего. Задумка мощная (хотя и вид неказистый). Но некоторая функциональность не работает - например, никак не могу определить область тестирования (Test Area) для тесткейсов, что пригодилось бы для их структуризации. Также не нравится их сквозная нумерация - т.е. все тесткейсы получают общий для инсталляции порядковый номер, а хотелось бы чтобы они имели задаваемый префикс.

Смотрел несколько коммерческих решений - ни одно не понравилось, из-за своей монструозности, и, как писали в Jira Wiki, "There is no reasonably priced Test Case Management tool on the market", - цены на них не разумны.

При планировании использую FreeMind. Это написанный на Java опенсорс неспециализированный редактор древовидных диаграмм, который мне помогает легко охватывать план взглядом, и быстро его "перелепливать". По-моему лучше для такой работы, чем Excel, но - дело вкуса.


Добрый день :)
нельзя ли поподробнее о FreeMind?
какую базу использует? что нужно установливать для его работы?
веб-интерфейс у него?
возможно ли для многих проектов использовать?

спасибо заранее
  • 0

#14 solnik

solnik

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Зовут Меня Николай

Отправлено 18 июня 2008 - 12:32

Пользуюсь TestLink
Но, говорят, это на любителя. Любителя дотачивать самостоятельно напильником.



AxelM, добрый денЬ!
я - глупый пингвин:( не могу установить тестлинк
помогшите пожалуйста - нужно развернуть веб сервер?
какую базу использует тестлинк?
может ли исполльзоваться для нескольких проектов?

вроде бы он с веб интерфейсом, возможен ли удаленный доступ?

будьте добры ответьте мне :)
спасибо :)


Ставите на локальной машине денвер (ссылки есь в гугле), создаете в его директории папку с тестлинком (формат имя_сайта/www - это две папки типо ;)), прописываете в IE (Opera, Mozila) запуск данного сайта с локальной машины, стартуете денвер, набираете в адресной строке браузера адрес сайта.

ЗЫ: скачал версию 1.7.4 - в ней косяк с кодировками (кракозябры вместо слов). Печально это :(
  • 0

#15 AxelM

AxelM

    Активный участник

  • Members
  • PipPip
  • 118 сообщений
  • ФИО:Зверев Дмитрий
  • Город:Санкт-Петербург


Отправлено 18 июня 2008 - 13:51

Пользуюсь TestLink
Но, говорят, это на любителя. Любителя дотачивать самостоятельно напильником.



AxelM, добрый денЬ!
я - глупый пингвин:( не могу установить тестлинк
помогшите пожалуйста - нужно развернуть веб сервер?
какую базу использует тестлинк?
может ли исполльзоваться для нескольких проектов?

вроде бы он с веб интерфейсом, возможен ли удаленный доступ?

будьте добры ответьте мне :)
спасибо :)


Как-то упустил ваше сообщение.
В качестве тестовой площадки я использовал вот что:
MySql 5.0
Apache 2.2.3

Да, TestLink можно использовать для нескольких проектов. Удаленный доступ производится через web-интерфейс.
  • 0

#16 AxelM

AxelM

    Активный участник

  • Members
  • PipPip
  • 118 сообщений
  • ФИО:Зверев Дмитрий
  • Город:Санкт-Петербург


Отправлено 18 июня 2008 - 13:53

ЗЫ: скачал версию 1.7.4 - в ней косяк с кодировками (кракозябры вместо слов). Печально это :(


Да там кодировка корявая. Ну лучше юзать английский вариант
  • 0

#17 solnik

solnik

    Новый участник

  • Members
  • Pip
  • 36 сообщений
  • ФИО:Зовут Меня Николай

Отправлено 18 июня 2008 - 14:44

ЗЫ: скачал версию 1.7.4 - в ней косяк с кодировками (кракозябры вместо слов). Печально это :(


Да там кодировка корявая. Ну лучше юзать английский вариант


Не, просто надо раскоментировать строчку в lang/ru_RU.php в которой устанавливается кодировка UTF-8 и все будет нормально. Зато с другими косяками столкнулся. В общем-то в ней достаточно много багов :)
  • 0

#18 AxelM

AxelM

    Активный участник

  • Members
  • PipPip
  • 118 сообщений
  • ФИО:Зверев Дмитрий
  • Город:Санкт-Петербург


Отправлено 19 июня 2008 - 11:57

В общем-то в ней достаточно много багов :)


В версии 1.8 готовятся вкусные API. Можно будет писать собственные интерфейсы.
  • 0

#19 joika

joika

    Новый участник

  • Members
  • Pip
  • 72 сообщений

Отправлено 04 мая 2010 - 14:43

и всё таки кто нибудь ещё раз пожалуйста тестлинк или rth? или может быть всё таки есть что то фриверное именно для управления тесткейсами, хранением разных тестпланов, а также какой то менеджмент версионности продукта
  • 0

#20 DrVal

DrVal

    Постоянный участник

  • Members
  • PipPipPip
  • 230 сообщений
  • ФИО:Drozdov V. V.

Отправлено 04 мая 2010 - 15:00

Помогите выбрать между самокатом и велосипедом :-)

В этой паре мы выбрали TestLink.

Версионность продукта обеспечивается билдовой системой. Какое отношение это имеет к тест-планам?


и всё таки кто нибудь ещё раз пожалуйста тестлинк или rth? или может быть всё таки есть что то фриверное именно для управления тесткейсами, хранением разных тестпланов, а также какой то менеджмент версионности продукта


  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных