Кто что Предпочитает?
#21
Отправлено 25 сентября 2003 - 06:55
Как узнаете насколько достоверны слухи - дайте знать.
Редактор портала www.it4business.ru
#22
Отправлено 25 сентября 2003 - 08:11
Идея этого и ему подобных продуктов заключается в создании централизованного репозитария для хранения, доступа и управления всеми составляющими компонентами тестирования
На счет формирование тест кейсов -
имелось в виду, что нужна среда для создания детального тест плана, включающего manual и automated тест кейсы, для описания, компоновки тест кейсов, отслеживания покрытия требований к ПП тестами. Интеграция с тулами определения требований, разработки, выполнения скриптов, bug tracking, reporting.
Решение об автоматизации тест кейсов не нужно автоматизировать, а вот где-то фиксировать это решение, что данный тест кейс реализован в виде скрипта - нужно.
#23
Отправлено 26 сентября 2003 - 09:32
Скорее тогда тулл у которого кнопка "Написать систему и проверить" :DИначе, если предстваить тул который автоматизирует полную линейку процессов тестирования, то у него будет в принципе одна кнопка "РАБОТАТЬ" :)
Как показывает практика автоматизирование тестирования очень дорогой и продолжительный процесс. Автоматизирование по опреденению вызывает в 5-15 раз большие затраты ресурсов, чем написание собственно кода девелопером.
Ну а насчет автоматизирования, то для моих задач VB.NET/C#.NET + OLE рулит форевер. B)
Для WIN GUI - Test Compleate очень даже неплохое решение.
#24 Гость_Guest_*
Отправлено 01 октября 2003 - 10:22
Продукт, поначалу, достаточно непривычный и специфичный и намного менее "заточен" под конкретную функциональность (как, например, TestDirector), но допускает *очень* широкую настройку, что, в совокупности с возможностью скриптования, дает возможность подстраивать продукт под весьма различные требования.
--
Regards,
Alex
[TeamAQA]
================================
#25 Гость_Guest_*
Отправлено 01 октября 2003 - 10:26
--
Regards,
Alex
[TeamAQA]
================================
#26
Отправлено 01 октября 2003 - 10:37
Зарегистрировавшись вы получите полноценный доступ к возможностям форума.
Ещё вопрос, Алекс, насколько Вам было бы интересно отвечать на вопросы по продукту который вы, как я понимаю, разрабатываете - в отдельном форуме?
Мне например как человеку, который сейчас в команде учится работать с ТестКмоплитом это очень помогло бы.
Редактор портала www.it4business.ru
#27
Отправлено 02 октября 2003 - 10:02
WinRunner 6.01 - 7.5
Нагрузочное
LoadRunner
Баг трэкинг, требования, управление тестированием:
TestDirector ;)
Упреждая вопрос, - продаём мы их ;). Но, WinRunnerом пользовался на прошлом месте работы - тестером (в течении года), и ощущения почти только положительные. Да, глюкав он несколько и мягко говоря дороговат, но очень удобен и имеет огромные функциональные возможности, причём именно то что нужно для тестирования (а не просто для автоматизированного кликанья мышкой/ввода с клавиатуры/etc) - камень в огород TestComplete и Rational.
Майк.
#28
Отправлено 02 октября 2003 - 12:05
Если не сложно, что именно?причём именно то что нужно для тестирования
Я просто ловлю камень в огород тесткомплита :)
Редактор портала www.it4business.ru
#29
Отправлено 02 октября 2003 - 12:31
В Rational есть понятие "baseline" (и verification point), но его реализация (IMHO) недостаточно законченная, чтобы быть verification pointы были действительно удобным инструментом. Baseline - то, с чем мы сравниваем результаты, то есть, Expected Results. В WR, как и в Роботе, это может быть интерфейс (свойства некторого объекта), картинка, файл или что угодно ещё. Только в отличии от робота, в WinRunner "expected results" можно обновлять во время прогона теста - для этого есть режим "Update". Очень много разных типов проверок (чеков) - картинки, текст (причём, любой текст (кроме нарисованного растром) прекрасно захватывается с любых объектов, опять таки, в отличии от Robot с его чудовищным OCR и TestComplete, где этого нет совсем), свойства (как отдельные свойства объектов, так и выборочные свойства группы объектов), файлы... Так как язык довольно гибкий, я писал функции ещё для десятка разных проверок. В TestComplete с чеками (насколько я видел) заметно хуже. Второй важный момент, связанный именно с тестированием - распознавание объектов. Чисто субъективно, в WinRunner это сделано более красиво и гибко чем в других тулзах, которые я видел (впрочем, возможно, это дело вкуса). Ещё - синхронизация. В WR уровень примерно тот же что и в роботе. TestComplete победнее подобными функциями. В целом (опять IMHO), TestComplete - тул скорее для разработчика, а не для тестера. Очень красивая игрушка для разработчика (Delphi script - прочто шедевр), больше заточенная под автоматизацию чем под тестирование (сорри за каламбур). Rational по функционалу где-то и побогаче WinRunner, но в смысле удобства и законченности...
Майк.
#30
Отправлено 03 октября 2003 - 06:28
Хорошая тулса для нагрузочного тестирования. Правда, есть глюки и несоответствия описаниям
#31
Отправлено 03 октября 2003 - 06:42
Не согласен, что ТС заточен на разработчика - это не Девпартнер :)
Вкусы у всех разные, относительно постановки проверок (VP) на определённых моментах - вы просто недосмотрели - скрипт позволяет и проверку сделать и результаты скинуть куда нужно. Как раз ДелфиСкрипт мне не понравился вовсе (опять-таки дело вкуса), а Вам он кажется шедевром.
Нечто более сущетвенное в адресс ТС, чем субьективные заметки на полях привести есть возможным? (ну к примеру делали мы делали, написали полуавтомат прогона всех сценариев, а потом оказалось, что ТС не умеет заголовки окон правильно ловить, или идентификатор процесса не сбрасывает при стоп-старте программы под тестов из скрипта - ошибка придумана на ходу, думаю что мысль донеслась не расплескавшись)
Редактор портала www.it4business.ru
#32
Отправлено 03 октября 2003 - 07:11
Я не говорил что в TestComplete нет VP. Я сказал лишь, что их меньше и, в частности, нет возможности брать текст с объектов и окон, что правда. Почему он мне показался тулом для разработчика - объясню. Потому что (и это написано у них на сайте и в Help) TC использует концепцию "стеклянного ящика" а не "черного ящика", как при ручных тестах и "традиционном" (a-la WR, Silk, etc). Да, это круто, но это другой вид тестирования. Возможность "пощупать приложение изнутри" вполне логична для разработчика, но тестера это просто будет развращать (не говоря о том, что у него квалификации недостаточно (в смысле, не обязано быть достаточно) чтобы глубоко копаться в чужом приложении). Я говорю об обычном функциональном (и регрессионном) тестировании. А вот возможностей для обычного тестирования "черного ящика" в TC меньше чем в других тулзах (без open applications работать вообще невозможно, проверок маловато, ну и т.д.). Дэльфи скрипт меня умилил тем, что TC первый продукт который я знаю, использующий Pascal как скриптовый язык. Выглядит чрезвычайно забавно, да и IDE очень похож на Delphi. Конфетка, а не интерфейс. Что до более конкректных наездов - ну не работал я в TC, так, поигрался денёк с evaluation, и всё. Можете закидать меня гнилыми помидорами ;) и будете правы. В любом случае, "идеология" TC c одной стороны и Rational,WR etc с другой разная, наверное, у каждой есть свои плюсы и минусы, но вот пересесть с WR на TC я бы так просто не смог, а вот на Robot - запросто.
Майк.
#33 Гость_Guest_*
Отправлено 03 октября 2003 - 11:25
Я не разработчик, а просто уже более двух лет более-менее регулярно работаю с продуктами AutomatedQA Corp. и, по мере сил и возможностей, участвую в field-тестировании бета-версий продуктов компании. Когда знаю - стараюсь отвечать на вопросы в новостных группах на сервере компании (forums.automatedqa.com).[...] отвечать на вопросы по продукту который вы, как я понимаю, разрабатываете - в отдельном форуме?
Мне например как человеку, который сейчас в команде учится работать с ТестКмоплитом это очень помогло бы.
Соответственно, все высказываемое мной, является моим личным мнением и ни в коей мере не может расцениваться как официальный ответ компании AutomatedQA Corp.
Подпись [TeamAQA] используется с разрешения компании AutomatedQA Corp.
К сожалению, я не могу гарантировать, что у меня будет возможность регулярно отвечать на вопросы в этом форуме. :( По ряду причин я значительно чаще бываю на форумах AutomatedQA (forums.automatedqa.com).
--
Regards,
Alex
[TeamAQA]
#34 Гость_Guest_*
Отправлено 03 октября 2003 - 11:47
<<2Case
Я не говорил что в TestComplete нет VP. Я сказал лишь, что их меньше и, в частности, нет возможности брать текст с объектов и окон, что правда. Почему он мне показался тулом для разработчика - объясню. Потому что (и это написано у них на сайте и в Help) TC использует концепцию "стеклянного ящика" а не "черного ящика", как при ручных тестах и "традиционном" (a-la WR, Silk, etc). Да, это круто, но это другой вид тестирования. Возможность "пощупать приложение изнутри" вполне логична для разработчика, но тестера это просто будет развращать (не говоря о том, что у него квалификации недостаточно (в смысле, не обязано быть достаточно) чтобы глубоко копаться в чужом приложении). Я говорю об обычном функциональном (и регрессионном) тестировании. А вот возможностей для обычного тестирования "черного ящика" в TC меньше чем в других тулзах (без open applications работать вообще невозможно, проверок маловато, ну и т.д.). Дэльфи скрипт меня умилил тем, что TC первый продукт который я знаю, использующий Pascal как скриптовый язык. Выглядит чрезвычайно забавно, да и IDE очень похож на Delphi. Конфетка, а не интерфейс. Что до более конкректных наездов - ну не работал я в TC, так, поигрался денёк с evaluation, и всё. Можете закидать меня гнилыми помидорами ;) и будете правы. В любом случае, "идеология" TC c одной стороны и Rational,WR etc с другой разная, наверное, у каждой есть свои плюсы и минусы, но вот пересесть с WR на TC я бы так просто не смог, а вот на Robot - запросто.
Я не говорил что в TestComplete нет VP. Я сказал лишь, что их меньше и, в частности, нет возможности брать текст с объектов и окон, что правда.
>>
Такая возможность есть. Не только текст, но и все свойства объекта, которые видит операционная система, могут быть сохранены и использованы для последующего сравнения. Скрипт также умеет работать со свойствами объектов. Цитата из документации:
-----------------------
When testing a foreign, unprepared application, TestComplete uses the Windows API to interact with Windows objects that are controlled by the application, mostly onscreen controls and windows, but extending to non-visible properties or objects - everything that can be seen in the Object Browser. This is called black-box testing.
There is no reason to stick to black-box testing if you can avoid it. The deeper the interface between the application under test and TestComplete, the more clearly you can code your tests. Testing from the outside, but with a better view of the inside, is called white-box testing. Open Applications are applications instrumented for white-box testing under TestComplete. To indicate that the application is an Open one, TestComplete displays the icon next to it in the Object Browser.
With all supported development tools, creating an Open Application involves little or no more than linking in a single file. Naturally, the file is supplied as source.
How "open" the application then becomes under TestComplete depends on both the tool and what other options you choose to use.
In all cases, Open Applications make all ActiveX elements accessible externally. Thus, for Microsoft Visual Basic Open Applications, all objects, methods and properties become accessible.
For Delphi applications and the Object Pascal code in C++Builder applications (especially the VCL), compiling as an Open Application will make all published elements accessible to TestComplete. In addition, linking in special "wrapper" files will also expose all public and protected elements of the corresponding units (by providing an extra COM interface for the original classes). Wrapper files are provided for all VCL units, and the supplied PRegister utility will create a wrapper file for any Object Pascal source file. See Adding Public Information to Delphi and C++Builder Open Applications.
For Visual C++ Open Applications, and for C++ source in C++Builder Open Applications, TestComplete uses specific wrapper classes for MFC objects. These wrappers only expose public class elements, and of course only for the class to which they apply.
There is an additional means of access that can be provided for Open Applications in VC++, Delphi and C++Builder. This uses a new, exclusive technology, the Debug Info AgentT. The Agent provides scripts with access to all class members of Open Applications - public, published, protected and private. Compiling for the Agent is the only way to make C++ code in Visual C++ or C++Builder apps truly "open" for external testing. For Object Pascal code in Delphi or C++Builder, it serves as a further option beyond those explained above.
A Java Open Application gives the testing engine access to public, protected, private and package methods, properties and fields.
.NET Open Applications provide access to public, protected, private, internal and protected internal properties and methods.
As for Web pages, there is no need to modify their sources. All you have to do is to install the WebClients plug-in. It provides access to all elements of Web pages.
-----------------------
<<
В любом случае, "идеология" TC c одной стороны и Rational,WR etc с другой разная
>>
Это верно. Хороший тест (именно скрипт) в TestComplete больше напоминает небольшой программный проект, чем в других продуктах, где больший упор делается на создание тестовой последовательности с помощью UI. Не спорю - это, конечно проще и быстрее. Но вот насчет глубины контроля и повторной используемости (как для новых проектов, так и для новых версий того-же продукта) - я не уверен.
<<
Что до более конкректных наездов - ну не работал я в TC, так, поигрался денёк с evaluation, и всё.
>>
Это ключевой момент :)
--
Regards,
Alex
[TeamAQA]
#35
Отправлено 03 октября 2003 - 13:14
Извините за занудство, нет такой возможности в TC ;). И нигде нет, кроме WR. Я говорю не о чтении свойства Text,Caption,Label и т.д., а о чтении _любого_ текста, нарисованного средствами GDI а не растром (bitmap) на экране. В том числе в окошке. Этого нет больше нигде. В Rational для этого используется распознование образов (OCR), но качество - ужасное. А в WR это сделано другими средствами (насколько я понимаю, перехватом GDI), и работает почти всегда. Почему я так акцентирую на этом внимание? Да потому, что нет такого тула, который годится для всех сред и умеет работать со всеме объектами. Тот-же TC не работает с PowerBuilder и SAP. У Rational проблемы с Delphi. А вот get_text в WR работает всегда, и позволяет писать не-привязвнные-к-координатам тесты даже тогда, когда объект не распознаётся. Кроме того, это шикарный verification point. Лучше чем картинки.Такая возможность есть. Не только текст, но и все свойства объекта, которые видит операционная система, могут быть сохранены и использованы для последующего сравнения.
Кстати, ОС ("закрытые" приложения) видит не так уж много. Почти ничего кроме координат и заголовков.
Это верно. Хороший тест (именно скрипт) в TestComplete больше напоминает небольшой программный проект, чем в других продуктах, где больший упор делается на создание тестовой последовательности с помощью UI. Не спорю - это, конечно проще и быстрее. Но вот насчет глубины контроля и повторной используемости (как для новых проектов, так и для новых версий того-же продукта) - я не уверен.
И я не уверен. Но в обратном ;) - зачем это надо тестировщику? А вот програмный продукт напоминают и наши тесты. Только вот не надо их "записывать" - писать их надо - ручками, и с глубиной контроля и с повторной используемостью будет полный порядок. Кстати, опять-таки, насчёт повторной используемости, большой вопрос - что измененится первым - интерфейс или "начинка". Я ставлю на начинку. ;)
Майк.
#36 Гость_Guest_*
Отправлено 03 октября 2003 - 13:28
А-а-а, вот что имелось в виду... Согласен - это очень интересная и полезная функциональность. Да, у TC есть проблема с распознаванием текста нестандартно отрисованного на экране (насколько я знаю - даже для текста Label в Borland, т.к. Label не реализован как оконный класс в VCL (сам работаю с нестандартным приложением без исходников) ).
Я говорю не о чтении свойства Text,Caption,Label и т.д., а о чтении _любого_ текста, нарисованного средствами GDI а не растром (bitmap) на экране. В том числе в окошке.
Использовать для верификации картинки - последее дело, т.к. они, как правило, очень зависят от программного окружения.
--
Regards,
Alex
[TeamAQA]
#37
Отправлено 08 октября 2003 - 12:00
У нас в компании для функционального тестирования используется WinRunner 7.01 и SilkTest 6.0. Пробуем Robot J.
В своей практике я пользуюсь WinRunner и WSH 5.6/JScript (очень удобная вещь - рекомендую).
Плюс Astra SiteManger 2.01.
Для тест кейсов раньше пользовался TestDirector, но бросил... Отсутсвие поддержки шаблонов тест-кейсов выводит из себя. ;) Элементарная вещь, как можно было ее не реализовать!
Баг-треккинг и всевозможные операции по учету и хранению документации - местная разработка EPAm Project Menager Center.
Отдел нагрузочного тестирования использует LoadRunner и что-то еще (сорри, не в курсе).
Для нагрузки Web приложений я раньше использовал MS WAST (было не в этой жизни...).
#38
Отправлено 16 февраля 2004 - 01:12
Небольшое уточнение, чтобы не было путаницы. QuickTest бывает или ASTRA или Pro. Но никак не вместе. Семейство ASTRA это облегченные тулы своих более "серьезных" собратьев - QTP и LR. Для тех, кому нужно тестировать только web-приложения, причем без особо "продвинутых" штучек типа Java-апплетов, Flash и пр.Для функционального тестирования - программы Mercury Interactive:
ASTRA QuickTest Pro 6.0
ASTRA Site Manager (freeware)
Для нагрузочного тестирования:
WAPT
Собственно история появления линейки продуктов АSTRA заставляет эти тулы быть максимально "легкими" - и по функциональности и по деньгам.
#39
Отправлено 16 февраля 2004 - 01:21
А пример "заточенности" TD под конкретную функциональность можно в студию?Продукт, поначалу, достаточно непривычный и специфичный и намного менее "заточен" под конкретную функциональность (как, например, TestDirector), --
Regards,
Alex
[TeamAQA]
================================
#40
Отправлено 16 февраля 2004 - 10:38
Нужно разработать платформу для автоматизированного тестирования приложения, написанного на SmallTalk-е. А инменно (не вдаваясь в тонкости), на SmallTalk-е написаны front-end и кое-какие математические расчеты. Необходимо имитировать работу пользователя (нажатие кнопочек, ввод числ. значений и т.п.), произвести вычисления (многократно, с различными данными), сохранить результаты (такая возможность есть в самом приложении) ну и, разумеется, проверить эти результаты.
В этой связи есть пару вопросов:
- есть ли какие-нить фрииварные средства для подобных целей;
- если нет (а мне почему-то каттся, что их нет!) то чем лучше воспользоваться?
Просмотрел форумы - народ неплохо отзывается о "Rational Robot".
Че по этому поводу думают уважаемые коллеги?
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных