Сообщений в теме: 10

[galogenIt]

Добрый день коллеги

Имею опыт использования TestComplete чуть больше полугода. Сделано много, понято много, в том числе благодаря форуму.

По мере расширения плана тестирования и автотестов стали возникать проблемы управления запусками в автоматическом режиме.

Сейчас ведется один тестовый набор (testsuite) с тремя проектами (скорее ветками проектов)

Запуск осуществляется всего testSuite ночью по назначеному заданию. Все работает замечательно. Все нравится.

Но возникают определнные проблемы. В частности. Решили перейти к firebird 2.1.x Переход не просто. Системщики сделали свое дело и возникла потребность прогнать все имеющиеся тесты на этой конфигурации.

Сразу возникла проблема как включить новый стенд в общий план тестирования.
TC не позволяет в TestItems TestSuitы добавить скажем копию проект, но с другим параметром. Естественно можно клонировать проект назначив ему другое тестовое приложение. Это сразу создает проблемы хранения набора в SVN и естественно увеличивает затраты на поддержание еще и копии транка. Да и не правильно это на самом деле...

Казалось бы выход может быть найден через создания bat-файла. В котором будут последовательно вызываться нужные тестовые проекты, где в качестве параметра можно будет передавать код тестового приложени

Кстати я уже ранее пытался это сделать, что-то типа такого

REM Запуск имеющихся тестов по релизу 1.1

"C:\Program Files (X86)\Automated QA\TestComplete 6\Bin\TestComplete.exe" "D:\AutoTests\RegressTest\Consultant\Consultant.pjs" /r /p:r-1.1 /e /SilentMode /testapp:0

REM Запуск имеющихся тестов по релизу 1.2

"C:\Program Files (X86)\Automated QA\TestComplete 6\Bin\TestComplete.exe" "D:\AutoTests\RegressTest\Consultant\Consultant.pjs" /r /p:trunk /e /SilentMode /ns /testapp:0

REM Запуск имеющихся тестов по релизу 1.2 (fb2.1.x)

"C:\Program Files (X86)\Automated QA\TestComplete 6\Bin\TestComplete.exe" "D:\AutoTests\RegressTest\Consultant\Consultant.pjs" /r /p:trunk /e /SilentMode /ns /testapp:1

Но беда в том, что первая командная строка исполнялась, а остальные нет.

Забавно, что если я писал только запуск юнитов, они исполнялись, а вот проекты нет

Прошу дать совет, возможно, кто-то сталкивался с подобными проблемаим. Как решили их?
Какие средства управления планами прогонов есть? Лучше free-ware конечно

Спасибо

[Dmitry N]

Здравствуйте.

Попадалась мне на глаза информация о том, что есть тулзятина SpiraTest, которая поддерживает TestComplete. Однако она не бесплатная.

Ну и как крайний вариант написать что-нибудь простое самому, благо ТС предоставляет удобный способ управления собой по COM.

[galogenIt]

Здравствуйте.

Попадалась мне на глаза информация о том, что есть тулзятина SpiraTest, которая поддерживает TestComplete. Однако она не бесплатная.

Ну и как крайний вариант написать что-нибудь простое самому, благо ТС предоставляет удобный способ управления собой по COM.

Спасибо за ответ. Насчет тулзятины, рекомендованной Вами. Если она платная, то не имеет ли смысл рассмотреть родной продукт AQ Build Studio?

И еще, Вы никак не прокомментировали командные строки. Все-таки почему может быть проблема запуска нескольких проектов в таком виде?

Насчет своей примочки наверное это возможно, но пока нет ресурсов на это, но думаю стоит обдумать все это....

[KaNoN]

Здравствуйте.

Попадалась мне на глаза информация о том, что есть тулзятина SpiraTest, которая поддерживает TestComplete. Однако она не бесплатная.

Ну и как крайний вариант написать что-нибудь простое самому, благо ТС предоставляет удобный способ управления собой по COM.

Спасибо за ответ. Насчет тулзятины, рекомендованной Вами. Если она платная, то не имеет ли смысл рассмотреть родной продукт AQ Build Studio?

Если факт платности/бесплатности мало останавливает, то имеет смысл.

Насчет своей примочки наверное это возможно, но пока нет ресурсов на это, но думаю стоит обдумать все это....

На самом деле, вы в нужном направлении копаете. Есть целый ряд решений именно для управления автосборками. Например, Cruise Control, Hudson.
Можно просто ANT из командной строки пускать. К тому же, если нужно и разворачивать тестовую среду, а также скачивать свежие версии файлов из версионки, то это как раз то, что вам нужно. Правда, это надо быть знакомым с такими вещами, как ANT, Java (очень много бесплатного софта именно на Java).

Пример такого взаимодействия описан здесь. Тут строится связка ANT+SVN+TestComplete+Mantis

[Dmitry N]

Здравствуйте.

Насчёт Automated Build Studio. Действительно, с её помощью вы можете гибко настраивать количество и порядок запускаемых тестов, задавать нужные параметры, и даже распараллеливать выполнение тестов (разных проектов, конечно) на несколько компьютеров в процессе сборки без использования фичи Network Suite самого TestComplete'а. Почему я не предложил этот вариант: насколько я понял, вам нужно что-то типа Test Management Tool, которая позволяет отслеживать историю выполнения тестов, собирать различную статистику и т.п. Automated Build Studio это средство для автоматизации процесса сборки (типа CruiseControl, Final Builder или Ant), поэтому управлять тестами так, как это делают Test Management решения, ABS не может. Как, впрочем, и другие средства автоматической сборки.

Насчёт bat файла и выполнения проектов из командной строки. Возможно, это баг. В этом случае надо писать в службу поддержки. А может и не баг ТС. А что в консоли после выполнения этого bat файла?

[galogenIt]

Пример такого взаимодействия описан здесь. Тут строится связка ANT+SVN+TestComplete+Mantis

Спасибо, товарищ, посмотрю :)

Насчёт bat файла и выполнения проектов из командной строки. Возможно, это баг. В этом случае надо писать в службу поддержки. А может и не баг ТС. А что в консоли после выполнения этого bat файла?

В поддержку уже написал.
На самом деле когда я в начале столкнулся с этой проблемой, то я нашел для себ быстрое решение запускать каждый проект с запасом времени. Потом вообще объединил проекты в один тестсьют и сразу его запускал. И на этом пока успокоился, но времена меняются потребности растут.

Самое интересно, что ничего. Отработал 1 проект(1 командная строка) и все тишина.

Причем когда я делал испытания, специально отсавлял по два три теста в проекте и запускал их через бат-файл. Проходят! Когда же я ставил работать тесты на ночь, то первый проходил всегда, второй нет.
Надо конечно еще поэкспериментировать. Правда похожая ситуация у меня возникала и при обновлении стендов. Т.е. также первый стенд отрабатывал, а второй даже не запускался. Проблему решили добавлением команды cmd /c в запуске. Но уже на ТС не пробывали

[Dmitry N]

Здравствуйте.

Возможно, ТС показывает какие-нибудь ошибки, но вы их не видите, так как запускаете его в SilentMode. Информацию об автоматически закрытых диалогах и сообщений об ошибке можно найти в файле 'c:\Program Files\Automated QA\TestComplete 6\Bin\Silent.log'.

[marr]

Самое интересно, что ничего. Отработал 1 проект(1 командная строка) и все тишина.

А ТС не подвисает после выполнения первого теста? У меня была похожая проблема, ТС после первого теста продолжал висеть в процессах, и второй раз уже не запускался..

[galogenIt]

А ТС не подвисает после выполнения первого теста? У меня была похожая проблема, ТС после первого теста продолжал висеть в процессах, и второй раз уже не запускался..

Ситуация очень неоднозначная.

Я обратился в службу поддержки. Мне прислали ряд рекомендаций, которыми мне пока никак не удается воспользоваться.

Действительно после прогона первого тестового набора, второй не запускается. Проблема скорее всего в подвисании ТС. Однако нам не удается поймать этот факт.

Т.е. когда утром приходим, то видно, что второй тестовый набор не запустился. Для анализа ситуации используем WinDbg. Однако в списке процессов ТС нет, нет и подвисшего cmd. Толи сам сервер как-то снимает зависшие процессы, то ли причина в другом.

Вся сложность в воспроизведении ситуации. Когда я делаю эксперимент, я естественно до минимума сокращаю количество тестов в каждом тестовом наборе и командный файл отрабатывает нормально. Однако когда первый тестовый набор отрабатывает, то это занимает очень много времени - мы запускаем три проекта, которые с учетом ошибок и пока плохой оптимизации сброса ошибочных тестов выполняются по 3-5 часов. Итого первый тестовый набор занимает до 9 часов и более. Возможно накапливается какая-то ошибка, которая не дает возможность отработать остановку ТС и соответственно стартовать второму тестовому набора.

При формировании командного файла пробовали разные возможности и сейчас это примерно так:
cmd /c ""path to TC"" строка набора №1 с параметрами
cmd /c ""path to TC"" строка набора №2 с параметрами

Ничего пока не помогает, автоматизировать запуск второго тестового набора не удается

[Paulitto]

Здравствуйте,

Возможно проблема в том что между запуском первого и второго проекта, необходимо некоторое время на закрытие тесткомлита перед тем как открывать его заново. Это ведь не такое и маленькое приложение, и может когда строка "C:\Program Files (X86)\Automated QA\TestComplete 6\Bin\TestComplete.exe" выполняется второй раз TestComplete не может запуститься т к еще висит в процессах не успев закрыться.
Я также использовал cmd файлы для запуска тестов, и хотя время тестов занимало поменьше (примерно 30 мин на один проект), тем не менее у меня тоже запускался всегда только первый набор тестов, пока я не поставил delay 2000 после каждой чтроки.
А еще можно попробовать запускать TestExecute вместо TestComplete с ком строки, он все таки полегче и ему не понадобится столько времени на закрытие.
У меня все работало и с 5 и с 6 TestComplete (и TestExecute)

[Skeeve]

День Добрый !!!

мы писали свое приложение на C# данные о необходимых тестах брались из csv файлов , т.е. какое задание лежит в csv То и выполняется . данные о тестах так же записывались в выходные csv которые потом добавлились автоматически в результирующий эксель файл .

Рассматривали вариант написания клиента для виртуальной машины а данные брать из БД и результаты заносить в БД . Для такого случая после удачной компиляции (используем TeamCity) необходимо только создать строчку в таблице Билд , после этого клиенты просто начинают брать тесты из базы и после выполнения кладут обратно же информацию .

в C# перед запуском теста проверяли какие процессы открыты ... единственное что плохо чтобы посмотреть лог нужно постоянно открывать тест комплит , что не совсем удобно .