Сообщений в теме: 36

[Case]

Сталкивался ли в практике кто-нибудь из коллег (возможно кто-то строил или строит в данный момент) полноценную систему автоматизированного тестирования.
Имеется в виду система сравнимая с DailyBuild, которая на выходе выдаёт полноценные проанализированные логи выполнения всех предусмотренных тестов системы?

[Олешка]

Угу... голубая мечта. А на входе что?

Нам вот нужна система управления тестами, которая будет вызывать внешние тестовые программы типа QuickTest Pro, и пр. для выполнения заданного набора тестов, а также внешние программы для анализа логов, ну и формировать отчеты. Пока нету, так что я сижу и формирую к ней требования.

[doronin]

А можно направить на где почитать про DailyBuild?

[Case]

http://www.positive-g.com/dailybuild/
http://www.visualbuild.com/ - как сумел понять, визуальное средство для построения дэйлибилдилки. (я даже скачал триалку - может что полезное - тогда подулюсь впечатлениями)
http://www.joelonsof...0000000023.html - очень уважаемый мною автор Joel Spolsky, который пишет о том как красиво и безболезненно делать софт. (некоторые его статьи есть в переводах)

Словом Гугл знает своих героев.
Запрос для Гугла

[Case]

2Oleshka:
Почему же мечта?
Канешно руками писать прийдётся многое, но имхо дело решаемое.
Поставить в планировщик выполнение скрипта дэйлибилдилки не проблема, добавить в скрипт, который строит систему вызов через командную строку скажем TestComplete тоже не вопрос.
А как сделать проект для самого тула автоматизации - вопрос именно тула и его освоения. Одним словом я сейчас как раз работаю над системой автоматизированного прогона скриптов.

[Олешка]

Так в ASTRA QuickTest есть специальный модуль для этого - можно написать бат-файл и гонять свои скрипты. Для нас проблема - именно менеджмент, начиная с регистрации требований, и завершая процесс тестовыми планами, скриптами и их запуском.

[Case]

батником не всегда можно обойтись (пример навскидку - создайте из батника пользователя в домене), это раз.
А второе, я не совсем понимаю при чём к теме automated framework системы управления требованиями? :)
Мухи отдельно котлеты тоже :)
automated testing framework - это система автоматизированного выполнения тестовых задач. Управления требованиями, регистрация запросов на изменение, планирование к этому имхо отношения имеют мало.

[Олешка]

батником не всегда можно обойтись (пример навскидку - создайте из батника пользователя в домене), это раз.
А второе, я не совсем понимаю при чём к теме automated framework системы управления требованиями? :)
Мухи отдельно котлеты тоже :)
automated testing framework - это система автоматизированного выполнения тестовых задач. Управления требованиями, регистрация запросов на изменение, планирование к этому имхо отношения имеют мало.

Откуда берется тестовая задача? Выставляется некое требование к системе. Если таких требований сотни - появляется спецификация, далее - тестовый план, потом скрипты (еще и записанные на разных тестовых программах), потом отчеты об их выполнении. Возможно, я не совсем понимаю ваше определение automated framework - вы включаете туда только техническую часть работы?

[meol]

framework - я понимаю как законченный набор средств, позволяющий создать законченое же решение в рамках какой-либо области.
Область у нас - тестирование.
То есть от начала планирования тестовых работ до выполнения тестов и анализа результатов.
Здесь я согласна с Oleshka.

[Sandtod]

есть у нас автоматизированная система выполнения тестпланов. в каждом кейсе - команды для "симулятора тестера" содержатся.
ну и дрянь, скажу я вам... и работает она на удаленном сервере...
руками быстрее все это делается...

[Case]

meol, Oleshka - под automated testing framework я упорно понимаю определения автоматизированного тестирования Michael Silverstein, Mark Foulkrod и других так сказать адептов автоматизации тестирования.
Позволю себе цитату:

The test framework - creates, manages, executes, and reports the results of the test cases.

Это решение, которое автоматизирует создание, выполнение, управление и генерацию отчётов по выполнению тестовых сценариев.

Могу привести ещё несколько ссылок на материалы, которыми я руководствуюсь в определении этого понятия: http://www.sqa-test.com/method.html
А кроме того, есть замечательная статья Keith Zambelich Totally Data-Driven Automated Testing, в которой даётся чёткое определение автоматизированному тестированию как таковому.

"Automated Testing" is automating the manual testing process currently in use

Планирование в этот перечень не входит никак, равно как и другие задачи тестирования. Управление требования, работа с ошибками тоже часть automated testing framework?
То что сейчас мы имеем множество тесно интегрированных с системами управления и планирования инстурментов, по-моему никоим образом не должно изменять суть основых понятий.

[el-step]

Похоже, у нас снова разногласия в терминологии :)

Возможно, проблема в том, что если брать за основу название темы (Automated Framework), то в нем действительно не говорится ничего про ограничение тестовыми задачами, а framework'и бывают, конечно, разные... Но ведь Case еще в самом первом посте вполне однозначно определил интересующую область. В любом случае, раз все сходятся на том, что системы полного цикла (от требований до логов) пока не слишком эффективны, давайте просто договоримся и обсудим именно automated testing framework, а то что ж мы всё о формулировках...

[Case]

Раздел терминологии наверное будет посещаем :)
Вот только как раз по тестирования терминологии пока и нет. Будем перенимать опыт у других проектов. К примеру http://xprogramming.ru ведут руаздел терминологии как отдельный открытый раздел проекта. Глоссарий. - может и нам попробовать организовать такой?

Предлагаю всё таки принять термин automated testing framework как систему автоматиации создания, выполнения и анализа результатов тестовых сценариев (скриптов).

Итак вовращаясь к истокам обсуждения:
Насколько реально построить такую систему хотя бы в каком то приближении?
Личный опыт ценится как никогда. Потому как в теории всё просто замечательно.

[Олешка]

есть у нас автоматизированная система выполнения тестпланов. в каждом кейсе - команды для "симулятора тестера" содержатся.
ну и дрянь, скажу я вам... и работает она на удаленном сервере...
руками быстрее все это делается...

Можно подробнее рассказать? В форуме или по аське.

[Case]

В форуме, если не сложно.

[Guriy]

http://www.positive-g.com/dailybuild/
http://www.visualbuild.com/ - как сумел понять, визуальное средство для построения дэйлибилдилки. (я даже скачал триалку - может что полезное - тогда подулюсь впечатлениями)

Visual Build гораздо навороченней и удебнее имхо, чем DailyBuild

По крайней мере, наличие макросов здорово облегчает жизнь.
А Visual Build Pro - этот вообще вне конкуренции.
Макросы, про которые я говорил, автоинкрименты, запуск сиквел запросов и многое, многое другое.

[Case]

Это уже обсуждение конкретного инструмента, которое как мне кажется стоит вынести отдельной темой. Guriy, было бы очень хорошо, если бы поделились опытом в использовании этого инструмента. Признаюсь до сих пор использовали собственного изготовелния систему построения, и совсем недавно нашли и перешли на Sapient BuildIt, который входит в состав Microsoft Application Blocks for .NET.
Про вижуал билд узнал. когда хотел обьяснить что такое дайлибилд как понятие.

[Guriy]

2:Case: Можно и опытом поделиться, постараюсь выделить время на это, где-то на следующей неделе, а пока, что можно задавать мне вопросы. Постараюсь на все ответить

[Case]

Отдельная тема в форуме инструменты.
Прошу как будет время высказать своё мение, тогда и вопросы будут - я как говорил только сам узнал что для построения билдов есть отдельные средства, даже визуальные.

[Kaluga]

to Case
Не понял, а в чем проблема-то?
Многие вендоры предлагают такие решения (e.g. Rational).
Или вы просто хотите именно сами её написать? Тогда тут чисто разработческие проблемы - все таки даже для небольшой компании система получается довольно большая...