Сообщений в теме: 31

[DrBlast]

RTH
Для того, что бы этот бесплатный тул заработал, пришлось лазить в код (может сейчас уже и более стабильная версия). Интерфейс достаточно тяже, зато нет таких ограничений как у TestLink-а. В конечном итоге получилась связка - RTH-Word-Jira-Mercury QTP.

А какую версию RTH у вас использовали (или когда)? И какие ограничения TestLink вам так мешали? RTH настолько более гибкий чем TestLink? Чем конкретно он лучше TestLink?

Подниму эту тему, потому как сейчас в компании практически с нуля организуется процесс тестирования и встал вопрос об использовании того или иного ПО. Крайне желательно, чтоб это был opensource или freeware, т.к. компания startup.
На выходных наверное займусь изучением вышеперечисленных линков на различное ПО, но вопрос озвученный в предыдущем посте сейчас для нас актуален :)

В других компаниях писали все в word или excel, но word считаю худшим вариантом для написания тест-кейсов.

Вчера дали ссылочку на TestLink, заинтересовало, но пока сильно в подробности не вдавался.

В компании также стоит sharepoint, но правда им никогда до этого не пользовался, разве что для апдейта документов, так что все равно все придется изучать.

По поводу использования excel у меня есть некоторые наработки и неплохие шаблоны, которые помогают оценить на сколько новый билд протестирован, т.е. сколько тест-кейсов пройдено определенным тестером и каков процент ошибок в билде (контроль изменений ведется в отдельном табе). Но просто интересно, может уже существуют более эффективные средства.

Пару слов по поводу проекта - это сильно разветвленная система, можно построить большой граф для тестирования (много путей прихода к от начальных данных к результату), поэтому мне кажется excel для этих целей подойдет не очень.

Тест-кейсов планируется не менее 300. А то и много больше, т.к. очень много взаимосвязей, которые программировались разными девелоперами и в них могут быть свои баги.

Итак, кто что может посоветовать? Может что новенькое за это время появилось?

[Alfa]

Подниму эту тему, потому как сейчас в компании практически с нуля организуется процесс тестирования и встал вопрос об использовании того или иного ПО. Крайне желательно, чтоб это был opensource или freeware, т.к. компания startup.

Могу посоветовать Bugzilla+Testopia.

Вчера дали ссылочку на TestLink, заинтересовало, но пока сильно в подробности не вдавался.

TestLink мы активно смотрели, не подошел. Пришли к выводу, что Testopia лучше. Так же смотрели RTH, но он жутко сырой и вроде умер в смысле разработки.

В компании также стоит sharepoint, но правда им никогда до этого не пользовался, разве что для апдейта документов, так что все равно все придется изучать.

Был у меня опыт ведения тест кейсов на sharepoint, но что-то мне он не понравился. sharepoint слишком универсальное средство, надо долго думать как его "обрубить/заточить" под ваши нужды.

По поводу использования excel у меня есть некоторые наработки и неплохие шаблоны, которые помогают оценить на сколько новый билд протестирован, т.е. сколько тест-кейсов пройдено определенным тестером и каков процент ошибок в билде (контроль изменений ведется в отдельном табе). Но просто интересно, может уже существуют более эффективные средства.

excel это тот же sharepoint, только без возможности совместного редактирования. Но если у вас уже есть шаблоны и опыт работы с ним, он может быть серьезной альтернативой любому другому средству.

[Oldman]

Перепробовал много продуктов без большого напильника пользоваться ничем нельзя (так чтобы все устраивало)

Остановился на Excel (с шаблонами) + система контроля версий

@DrBlast
Во-первых Excel - не freeware :)
Во-вторых никто не говорит засовывать все тест-кейсы в один файл (например у нас тест-кейсы разбиты по функциональностям и один файл содержит от 50 до 100 тест-кейсов)

P.S. Надумаете посмотреть Test Link посмотрите сюда http://www.alexlobac...link-ustanovka/

[DrBlast]

Перепробовал много продуктов без большого напильника пользоваться ничем нельзя (так чтобы все устраивало)

Остановился на Excel (с шаблонами) + система контроля версий

@DrBlast
Во-первых Excel - не freeware :)
Во-вторых никто не говорит засовывать все тест-кейсы в один файл (например у нас тест-кейсы разбиты по функциональностям и один файл содержит от 50 до 100 тест-кейсов)

P.S. Надумаете посмотреть Test Link посмотрите сюда http://www.alexlobac...link-ustanovka/

Ну это понятно, что Excel не freeware, но он есть в большинстве IT фирм.
Никто и не собирается все в один файл запихивать, есть конечно разделение по функциональности и будет несколько файлов excel ;)
Спасибо за ссылочку, сейчас посмотрю.

[astenix]

2 DrBlast

А не привязывайтесь к определенному тулу, иначе рискуете не управлять процессом, а подлаживаться под технические ограничения и возможности определенного инструмента. Можно кейсы хранить и в Notepad, ей-богу.

У нас была такая ситуация на одном из проектов:

- все кейсы хранятся в Mercury Test Director 8.0 (историческое наследие заказчика).

- заголовки кейсов тимлид экспортировал в Excel, который лежал на внутреннем сервере в расшаренном виде. Там же были колонки для вписывания имен тестировщиков и результатов проверки.

- тестировщики в этом файле самостоятельно и поочередно отмечали "свои" кейсы

- затем логинились в TD, отрабатывали кейсы, и свои результаты моментально отражали в том самом файле Excel.

Аналитика в конце дня основывалась на показаниях файла Excel. При этом "богатый и мощный" TD использовался только как он-лайновое хранилище кейсов. И скажу честно, TD всех нас раздражал.

В другом случае для хранения кейсов отлично подошла система типа Twiki (c большим набором плагинов). Я искал что-то "узкоспециализированное", типа Testlink и RTH, но со стороны посоветовали "не искать что-то специфичное" - и многое прояснилось и упростилось.

Опять же, Twiki сработала именно как он-лайновое хранилище текста, члены команды находились в разных странах. Если бы все сидели в одной комнате, вряд ли мы стали бы морочиться с подобными штуками. Отмечу, что веб-ориентированные системы для хранения кейсов удобны в ЧТЕНИИ, но бывают весьма проблемными в процессе РЕДАКТИРОВАНИЯ текстов, особенно если сервер находится не на вашем столе. Увы.

Если необходимо именно что-то он-лайновое, необходимое для работы географически распределенной команде, я бы отрекомендовал Bugzilla + Testopia. Но рекомендация очень общая.

[LeshaL]

Ну это понятно, что Excel не freeware, но он есть в большинстве IT фирм.
Никто и не собирается все в один файл запихивать, есть конечно разделение по функциональности и будет несколько файлов excel ;)
Спасибо за ссылочку, сейчас посмотрю.

У нас екселя нету :)
Небольшие предостережения:
1) Подумайте, будут ли в вашей компании люди, которые работают не на MS Windows. а на линухе, например. Конечно опенофис умеет открывать файлы екселя, но не всегда все работает как ожидается.
2) Храня тест-кейзы в екселе можете поиметь гемор с параллельным доступом\редактированием файла.
3) Храня тест-кейзы в екселе на простой файловой системе может происходить бесконтрольное обновление файла.
4) Храня тест-кейзы в екселе под системой контроля версий можете забыть об истории изменений - файлы бинарные.

Мы храним тестовые описания в XML, естественно, под системой контроля версий. Отображается через HTTP с помощью XSL трансформации. Обертку делал сам. Есть в ней много недостатков, но есть и один неоспоримый плюс - один и тотже тест-кейз может быть прочитан как человеком (для ручного проведения эксперимента), так и машиной (для автоматизированного тестирования, когда это возможно - есть флажок специальный). Ну а самый большой недостаток - редактирование XML-файлов вручную.

[Guriy]

TestLink
Главный недостаток - javascript-ое дерево, которое начинает заметно тормозить уже при приближении к сотне тест кейсов, тул прост в использовании. Легко разобраться. Можно создавать тестовое workflow. Баги постоянно правятся. Есть форум по тулу (кажется, даже на русском).

Дерево там тормознутое до чертиков из за кривой генерации. Когда количество кейсов переваливает за пару сотен ИЕ начинает память жрать как бегемот веники и соответственно тормозить.

Для 1.6 был патч от Odrick'а - посмотрите на форумах Test Link, возможно в 1.7 уже включили сразу - не смотрел, звыняйте. В тех-же патчах есть возможность организации тесткейсов в сьюты.

[DrBlast]

Пока решили писать в excel. Testopia не подойдет, т.к. у нас баг-трекер другой. Доработал немного свой шаблон в excel, пока оставлю так, а там видно будет.
PS Сейчас появилась новая версия TestLink 1.7.1 (или .2) не помню точно.

[creator_]

Приветствую!

Мы используем TestLink (1.6.2) - вполне устраивает, уже 4-й год как пошел и все это время для одного проекта. Есть, конечно, минусы - написан на PHP, встроеный текстовый редактор иногда подглючивает, но мы давно уже смирились. Вот не было у него статуса выполнения кейса "Warning" - на добавление потратил примерно 20 часов, зато теперь есть и такой статус ;-)

[Oldman]

Приветствую!

... Есть, конечно, минусы - написан на PHP, встроеный текстовый редактор иногда подглючивает, но мы давно уже смирились. Вот не было у него статуса выполнения кейса "Warning" - на добавление потратил примерно 20 часов, зато теперь есть и такой статус ;-)

Сорри за офтоп но ситуация с разными тулзами напоминает: ежики кололись и плакали, но продолжали есть кактус

[LeshaL]

Приветствую!

Мы используем TestLink (1.6.2) - вполне устраивает, уже 4-й год как пошел и все это время для одного проекта. Есть, конечно, минусы - написан на PHP, встроеный текстовый редактор иногда подглючивает, но мы давно уже смирились. Вот не было у него статуса выполнения кейса "Warning" - на добавление потратил примерно 20 часов, зато теперь есть и такой статус ;-)

Добрый день!
Думаю, что у выполненного теста (тесткейза) может быть только 3 статуса и не статусом больше. А именно Passed (тест прошел и не нашел ошибок), Failed (тест обнаружил ошибки), Error (нельзя сделать вывод о результате - ошибка в конфигурации, ошибка в используемом туле и тд). Еще один статус теста (тесткейза) - Not Run (не выполнялся, что к выполненым не относится).
Статус теста Warning, на мой взгляд, нонсенс.
Warning, Error, Fatal Error или Critical, High, Medium, Low или 1,2,3,4... - это уровни найденых тестом проблем. К статусу выполненого теста они, конечно же, имеют отношение. Отношение такое - все зависит от того как вы трактуете условия удачного\неудачного прохождения теста. Пример - tidy, чекалка HTML страничек. Генерит Errors и Warnings. Мы не занимаемся веб-дизайном, и смотрим, что у нас нет Errors - статус теста Passed, несмотря на кучу warning-ов. Те же, для кого эти warning-и важны, будут считать, что тест Failed в данном случае.

Продолжая рассуждения, перейдем к статусам тестируемой функциональности. Вот тут реально, есть место для различных статусов. В том числе, это может быть Warning, говорящий о том, что никаких критических ошибок найдено тестами не было, но тем не менне, какие-то незначительные ошибки присутствуют.
Удивляюсь, что многие люди путают эти статусы. Особенно, когда это делают менеджеры проектов - пугаются, что у тестеров какое-то кол-во тестов не пассед. Неужто, они ожидают, что все запланированные тесты пройдут...

[Izaboo]

Прошло много времени, но хотелось бы услышать коллективный разум и возможно получить помощь. Ситуация запутанная в проекте, есть клиенты, они хранят свою доку в файлах требованиях и файлах тест-кейсах (огромные вордовские простыни, редактировать удобно но пользоваться и искать и обновлять и особенно искать связи тк и требований крайне сложно). Результаты прохождения тк тоже хранились в ворде, но уже перешли на ексель, и шефу понравилось видеть динамику изменений от спринта к спринту. Перейти на хранение тк в экселе не удалось, шеф отказался.
Причина по которой все хранится в ворде - клиенты следуют стандартам ISO и поэтому их инвесторы хотят видеть доку именно так, а не иначе.
Сейчас начинает приниматься решение, перейти на тулзу которая позволит хранить и проводить все виды работ с тк, требованиями, спеками, создавать тест планы, линковать, поддерживать версионность и историю изменений. Для шефа основное - все доки хранить и работать так, что бы всегда было легко их перевести в формат, принятый у инвесторов и ISO, ввести конроль за изменениями и легко видеть что с чем связано, и соответственно когда редактируется один элемент, получить "гарантию" что будет изменен и другой (связанный с ним). Тестлинк не понравился руководству, рассматриваем Contour Jama, но слишком мало отзывывов и неясно что за система, хотя визуально удовлетворяет всем требованиям. И я не очень знаю, что делать, то ли пытаться как-то усовершенствовать текущую систему хранения данных, то ли искать дальше и более дорогие системы, хотя мое мнение - они для совсем больших проектов.
В качестве багтрекера используется TRAC, и меняться он не будет.