Сообщений в теме: 36

[Case]

Да проблемы нет - я вот просто не так давно узнал что есть уже разработанные и довольно мощные системы построение этих самых билдов - доселе мы делали свой билдер (обычно в виде VBS скриптика), который всё и делал.
Вот и есть желание получить обзор этих самых тулов.

[Kaluga]

См. http://www.stickyminds.com/index.asp
Там есть довольно большой тулзгайд.
Как ты сам понимаешь, за тебя никто составлять этот самый обзор не будет... ;)

[Case]

Угу, а там случайно нет мнений наших коллег? :)
Нет? Мне ведь обзор существующего инстрементария волнует мало - интересует в первую очередь отклики.

[Kaluga]

Какой капризный.
То обзор хочешь, то мнения коллег... :)
Мнение такое, что не стоит 100 % автоматизацию процесса ставить как самоцель. Надо просто автоматизировать те задачи, от автоматизации которых вы получите довольно быстро реальную выгоду. Т.е. если ваш лид успешно раздавал задачи подчиненным устно, то пусть и продолжает так делать. Конечно, если он делал это успешно и вы довольны его работой.
Ну в общем получается обычное создание программки. Надо фичу сделать - делаем, не надо - ну и на фиг её.
Такая общая проблема при работе с тулами других вендоров, что они как правило предлагают какой-то свой процесс. Свою группу вы скажем сможете под него подстроить, а другие отделы могут и отказаться. Глупо же из-за одного тула ломать устоявшийся ход вещей? Тогда надо будет дописывать самим какие-то куски, к примеру, переводящие входную информацию в понятный вашей системе формат и, соответственно, переводящие "выход" в формат удобный другим вашим группам.
Сейчас многие фирмы(Rational, Segue) предлагает решения для всего процесса тестирования. Но... не все они могут вам понравиться. Т.е. некоторые моменты могут показаться усложняющими жизнь, в то время как они должны её облегчать. А вот это чисто субъективно и зависит исключительно от вашей команды.Так что второе мнение - не слушать мнений других, которые могут варьироваться от "полное дерьмо" до "супер", а искать самому, скачивать триал, и оценивать - подходит вам или нет.

[Case]

Калуга - то есть констурктивно вы не можете сказать ничего конкретного?
Ок понятно. Спасибо.

Я ещё раз перечитал топик, где я развёл дисскуссию про всеобщую автоматизацию? Просто спросил кому что нравится.

[Kaluga]

Как это ничего конструктивного?
Я порекомендовал попробовать Rational Suite или Segueвский набор тулов. В них есть набор фич необходимых для тестирования (хранение тестпланов и кейсов, вывод результатов и т.п.).
А вот с конкретным действительно тяжело. Я же не знаю как ваша контора работает. Какой набор документов и т.п. ты получаешь на вход, как рапортуешь... Естественно, что сказать - "Вот, это именно тот тул, что тебе нужен!" - я не могу.

[MarinaK]

А почему вам не нравятся Rational Robot, MI WinRunner, MI Quick Test Professional, MI LoadRunner, MS Web Application Stress Tool как средства Automated Framework?

[Kaluga]

Марина, Робот, к примеру, это тул для тестирования. Это еще не фреймвёк. Вот весь набор входящий в СьютТестСтудию, это фреймвёк. Тоже самое и с МИ тулами, каждый из них предназначен для решения какой-то определенной задачи, но из них можно собрать фреймвёк.

[MarinaK]

Ясно. Тогда как насчет MI Test Director? В нем и требования, и планы, и расписание, и результаты проведенных тестов (ручных, автоматизированных, нагрузочных) с формированием отчетности. Это годится по теме?

[Kaluga]

Неа. :D
Вот ТестДиректор + какой-нить Вин и Лоад Раннер + еще какойнить багтрекинг тул = фреймвек.
ТестДиректор не покрывает все "активити" в тестировочном процессе.

[MarinaK]

BugTracker - часть TestDirector'a (Defects-tab), и без средств выполнения автоматизированных скриптов вполне катит как automated framework. И только если захочется еще и автоматизированные скрипты гонять, понадобится Robot или Win-(Load-)Runner.
Мы пытаемся выяснить существует ли в природе subject?
Или кто-нить поделится имеющимися наработками?

[Kaluga]

Ну не знаю... ты сама с Робота начала... B)

[Mike]

Всё равно не понимаю, чем Rational Studio или TestDirector + WR (и/или QTP) + LR не тянут на framework... Они, в общем, так и рекламируются... Собственно вопрос в том, что с вашей точки зрения обязано входить в framework. Единстенная вещь, которой толком нет ни у MI, ни у Rational - раздача заданий тестерам на основе TestSuiteов, циклов тестирования, или как это ещё называется, система планирования процесса тестирования. То есть есть (Test Lab в TD и TestManager в Rational), но очень слабо юзабельно и малофункционально. В той конторе где я работал тестером, у нас для этого был свой homebrew тул. QA Manager руками вообще не назначал заданий - тул делал это сам на основе информации о перекомпилявшихся продуктах. Год писали, почти доделали запуск оттуда тестов WR, но разработчики разбежались.
Что до анализа логов и прочего... - никогда не будет (и не может быть) системы, которая сама будет правильно failить тесты, заносить баги по результатам автоматизированных тестов, и т.п. Это может делать только человек.

[Kaluga]

to Mike
Ну я в общем-то про то и говорю, что декларируемо, к примеру, Rational Suite TestStudio тянет на фреймвёк. Но чем из него вам реально понравится работать - фиг знает.

[Case]

Определимся с термином automated testing framework?

[Green]

Case:
QUOTE
The test framework - creates, manages, executes, and reports the results of the test cases.

To Case:
Именно под это определение попадает Test Director + (Load)WirRunner. Можно просмотреть его краткое описание, сделанное Mike, в соответствующем разделе настоящего форума.

Он позволяет:
- вносить тест кейсы для ручного тестирования;
- на их базе генерить шаблоны в WinRunner для написания скрипта;
- каждый шаг тест кейса может оцениваться с точки зрения сдан/не сдан, что заноситься в отчет;
- в TD можно задать расписание выполнения каждого скрипта (запуск производиться автоматически);
- там же, можно задать логическую схему запуска скрипта (если скрипт1-сдан, то выполнять скрипт2, если нет - то скрипт3);
- в результате можно просмотреть консолидированный отчет или отчеты по каждому скрипту.

Помимо этого, TD имеет свои возможности по написанию скриптов (без WR), но мне с этим работать не приходилось.

И уж совсем помимо этого :D , он еще позиционируется, как менеджерская система по управлению тест проектом, т.е. позволяет вести учет требований/точек тестирования, в одном месте "складировать" тест кейсы и отслеживать покрытие требования/тест кейсы/выполненные тесты. Поверх этого ложиться система багтрекинга, которая собирает баги и можно проследить их связь с тестом/тест кейсом/требованием.
В завершении, система генерации отчетов.

Ух... Написал, и сам подумал, почему бросил использовать Test Director. :P

[Case]

Это test framework, а не automated test framework.