Перейти к содержимому

Фотография

Кто что Предпочитает?


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 46

#21 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 25 сентября 2003 - 06:55

Sandtod
Как узнаете насколько достоверны слухи - дайте знать.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#22 meol

meol

    Новый участник

  • Members
  • Pip
  • 23 сообщений

Отправлено 25 сентября 2003 - 08:11

Пример - TestDirector.

Идея этого и ему подобных продуктов заключается в создании централизованного репозитария для хранения, доступа и управления всеми составляющими компонентами тестирования



На счет формирование тест кейсов -
имелось в виду, что нужна среда для создания детального тест плана, включающего manual и automated тест кейсы, для описания, компоновки тест кейсов, отслеживания покрытия требований к ПП тестами. Интеграция с тулами определения требований, разработки, выполнения скриптов, bug tracking, reporting.

Решение об автоматизации тест кейсов не нужно автоматизировать, а вот где-то фиксировать это решение, что данный тест кейс реализован в виде скрипта - нужно.
  • 0

#23 Guriy

Guriy

    Опытный участник

  • Members
  • PipPipPipPip
  • 316 сообщений
  • Город:Киев, Украина

Отправлено 26 сентября 2003 - 09:32

Иначе, если предстваить тул который автоматизирует полную линейку процессов тестирования, то у него будет в принципе одна кнопка "РАБОТАТЬ" :)

Скорее тогда тулл у которого кнопка "Написать систему и проверить" :D

Как показывает практика автоматизирование тестирования очень дорогой и продолжительный процесс. Автоматизирование по опреденению вызывает в 5-15 раз большие затраты ресурсов, чем написание собственно кода девелопером.

Ну а насчет автоматизирования, то для моих задач VB.NET/C#.NET + OLE рулит форевер. B)

Для WIN GUI - Test Compleate очень даже неплохое решение.
  • 0

#24 Гость_Guest_*

Гость_Guest_*
  • Guests

Отправлено 01 октября 2003 - 10:22

У AutomatedQA есть еще такой продукт как AQdevTeam. Это - своеобразный интегратор для установления связей между этапами процесса разработки (не только тестирования) и проводки конкретных задач этапа вдоль жизненного цикла. Естественно, AQdevTeam интегрирован с TestComplete и AQTime.
Продукт, поначалу, достаточно непривычный и специфичный и намного менее "заточен" под конкретную функциональность (как, например, TestDirector), но допускает *очень* широкую настройку, что, в совокупности с возможностью скриптования, дает возможность подстраивать продукт под весьма различные требования.

--
Regards,
Alex
[TeamAQA]
================================

#25 Гость_Guest_*

Гость_Guest_*
  • Guests

Отправлено 01 октября 2003 - 10:26

TestComplete хорош также и для unit-testing. См., например, "TestComplete 2.0 and Unit Testing:One Possible Framework" (http://www.automated...ttestingpdf.zip, http://www.automated...testingchm.zip)

--
Regards,
Alex
[TeamAQA]
================================

#26 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 01 октября 2003 - 10:37

Alex, наша регистрация это совсем не больно :) Чесно, чесно.
Зарегистрировавшись вы получите полноценный доступ к возможностям форума.

Ещё вопрос, Алекс, насколько Вам было бы интересно отвечать на вопросы по продукту который вы, как я понимаю, разрабатываете - в отдельном форуме?
Мне например как человеку, который сейчас в команде учится работать с ТестКмоплитом это очень помогло бы.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#27 Mike

Mike

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 1 079 сообщений
  • Город:Москва

Отправлено 02 октября 2003 - 10:02

Функциональное:
WinRunner 6.01 - 7.5
Нагрузочное
LoadRunner
Баг трэкинг, требования, управление тестированием:
TestDirector ;)

Упреждая вопрос, - продаём мы их ;). Но, WinRunnerом пользовался на прошлом месте работы - тестером (в течении года), и ощущения почти только положительные. Да, глюкав он несколько и мягко говоря дороговат, но очень удобен и имеет огромные функциональные возможности, причём именно то что нужно для тестирования (а не просто для автоматизированного кликанья мышкой/ввода с клавиатуры/etc) - камень в огород TestComplete и Rational.
  • 0
Best regards,
Майк.

#28 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 02 октября 2003 - 12:05

причём именно то что нужно для тестирования

Если не сложно, что именно?
Я просто ловлю камень в огород тесткомплита :)
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#29 Mike

Mike

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 1 079 сообщений
  • Город:Москва

Отправлено 02 октября 2003 - 12:31

2Case:

В Rational есть понятие "baseline" (и verification point), но его реализация (IMHO) недостаточно законченная, чтобы быть verification pointы были действительно удобным инструментом. Baseline - то, с чем мы сравниваем результаты, то есть, Expected Results. В WR, как и в Роботе, это может быть интерфейс (свойства некторого объекта), картинка, файл или что угодно ещё. Только в отличии от робота, в WinRunner "expected results" можно обновлять во время прогона теста - для этого есть режим "Update". Очень много разных типов проверок (чеков) - картинки, текст (причём, любой текст (кроме нарисованного растром) прекрасно захватывается с любых объектов, опять таки, в отличии от Robot с его чудовищным OCR и TestComplete, где этого нет совсем), свойства (как отдельные свойства объектов, так и выборочные свойства группы объектов), файлы... Так как язык довольно гибкий, я писал функции ещё для десятка разных проверок. В TestComplete с чеками (насколько я видел) заметно хуже. Второй важный момент, связанный именно с тестированием - распознавание объектов. Чисто субъективно, в WinRunner это сделано более красиво и гибко чем в других тулзах, которые я видел (впрочем, возможно, это дело вкуса). Ещё - синхронизация. В WR уровень примерно тот же что и в роботе. TestComplete победнее подобными функциями. В целом (опять IMHO), TestComplete - тул скорее для разработчика, а не для тестера. Очень красивая игрушка для разработчика (Delphi script - прочто шедевр), больше заточенная под автоматизацию чем под тестирование (сорри за каламбур). Rational по функционалу где-то и побогаче WinRunner, но в смысле удобства и законченности...
  • 0
Best regards,
Майк.

#30 AlLucky

AlLucky

    Новый участник

  • Members
  • Pip
  • 9 сообщений

Отправлено 03 октября 2003 - 06:28

В настоящий момент используем Silk Performet v 5.1
Хорошая тулса для нагрузочного тестирования. Правда, есть глюки и несоответствия описаниям
  • 0

#31 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 03 октября 2003 - 06:42

2Mike:

Не согласен, что ТС заточен на разработчика - это не Девпартнер :)
Вкусы у всех разные, относительно постановки проверок (VP) на определённых моментах - вы просто недосмотрели - скрипт позволяет и проверку сделать и результаты скинуть куда нужно. Как раз ДелфиСкрипт мне не понравился вовсе (опять-таки дело вкуса), а Вам он кажется шедевром.
Нечто более сущетвенное в адресс ТС, чем субьективные заметки на полях привести есть возможным? (ну к примеру делали мы делали, написали полуавтомат прогона всех сценариев, а потом оказалось, что ТС не умеет заголовки окон правильно ловить, или идентификатор процесса не сбрасывает при стоп-старте программы под тестов из скрипта - ошибка придумана на ходу, думаю что мысль донеслась не расплескавшись)
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#32 Mike

Mike

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 1 079 сообщений
  • Город:Москва

Отправлено 03 октября 2003 - 07:11

2Case

Я не говорил что в TestComplete нет VP. Я сказал лишь, что их меньше и, в частности, нет возможности брать текст с объектов и окон, что правда. Почему он мне показался тулом для разработчика - объясню. Потому что (и это написано у них на сайте и в Help) TC использует концепцию "стеклянного ящика" а не "черного ящика", как при ручных тестах и "традиционном" (a-la WR, Silk, etc). Да, это круто, но это другой вид тестирования. Возможность "пощупать приложение изнутри" вполне логична для разработчика, но тестера это просто будет развращать (не говоря о том, что у него квалификации недостаточно (в смысле, не обязано быть достаточно) чтобы глубоко копаться в чужом приложении). Я говорю об обычном функциональном (и регрессионном) тестировании. А вот возможностей для обычного тестирования "черного ящика" в TC меньше чем в других тулзах (без open applications работать вообще невозможно, проверок маловато, ну и т.д.). Дэльфи скрипт меня умилил тем, что TC первый продукт который я знаю, использующий Pascal как скриптовый язык. Выглядит чрезвычайно забавно, да и IDE очень похож на Delphi. Конфетка, а не интерфейс. Что до более конкректных наездов - ну не работал я в TC, так, поигрался денёк с evaluation, и всё. Можете закидать меня гнилыми помидорами ;) и будете правы. В любом случае, "идеология" TC c одной стороны и Rational,WR etc с другой разная, наверное, у каждой есть свои плюсы и минусы, но вот пересесть с WR на TC я бы так просто не смог, а вот на Robot - запросто.
  • 0
Best regards,
Майк.

#33 Гость_Guest_*

Гость_Guest_*
  • Guests

Отправлено 03 октября 2003 - 11:25

[...] отвечать на вопросы по продукту который вы, как я понимаю, разрабатываете - в отдельном форуме?
Мне например как человеку, который сейчас в команде учится работать с ТестКмоплитом это очень помогло бы.

Я не разработчик, а просто уже более двух лет более-менее регулярно работаю с продуктами AutomatedQA Corp. и, по мере сил и возможностей, участвую в field-тестировании бета-версий продуктов компании. Когда знаю - стараюсь отвечать на вопросы в новостных группах на сервере компании (forums.automatedqa.com).
Соответственно, все высказываемое мной, является моим личным мнением и ни в коей мере не может расцениваться как официальный ответ компании AutomatedQA Corp.
Подпись [TeamAQA] используется с разрешения компании AutomatedQA Corp.

К сожалению, я не могу гарантировать, что у меня будет возможность регулярно отвечать на вопросы в этом форуме. :( По ряду причин я значительно чаще бываю на форумах AutomatedQA (forums.automatedqa.com).

--
Regards,
Alex
[TeamAQA]

#34 Гость_Guest_*

Гость_Guest_*
  • Guests

Отправлено 03 октября 2003 - 11:47

2Case

Я не говорил что в TestComplete нет VP. Я сказал лишь, что их меньше и, в частности, нет возможности брать текст с объектов и окон, что правда. Почему он мне показался тулом для разработчика - объясню. Потому что (и это написано у них на сайте и в Help) TC использует концепцию "стеклянного ящика" а не "черного ящика", как при ручных тестах и "традиционном" (a-la WR, Silk, etc). Да, это круто, но это другой вид тестирования. Возможность "пощупать приложение изнутри" вполне логична для разработчика, но тестера это просто будет развращать (не говоря о том, что у него квалификации недостаточно (в смысле, не обязано быть достаточно) чтобы глубоко копаться в чужом приложении). Я говорю об обычном функциональном (и регрессионном) тестировании. А вот возможностей для обычного тестирования "черного ящика" в TC меньше чем в других тулзах (без open applications работать вообще невозможно, проверок маловато, ну и т.д.). Дэльфи скрипт меня умилил тем, что TC первый продукт который я знаю, использующий Pascal как скриптовый язык. Выглядит чрезвычайно забавно, да и IDE очень похож на Delphi. Конфетка, а не интерфейс. Что до более конкректных наездов - ну не работал я в TC, так, поигрался денёк с evaluation, и всё. Можете закидать меня гнилыми помидорами ;) и будете правы. В любом случае, "идеология" TC c одной стороны и Rational,WR etc с другой разная, наверное, у каждой есть свои плюсы и минусы, но вот пересесть с WR на TC я бы так просто не смог, а вот на Robot - запросто.

<<
Я не говорил что в TestComplete нет VP. Я сказал лишь, что их меньше и, в частности, нет возможности брать текст с объектов и окон, что правда.
>>
Такая возможность есть. Не только текст, но и все свойства объекта, которые видит операционная система, могут быть сохранены и использованы для последующего сравнения. Скрипт также умеет работать со свойствами объектов. Цитата из документации:
-----------------------
When testing a foreign, unprepared application, TestComplete uses the Windows API to interact with Windows objects that are controlled by the application, mostly onscreen controls and windows, but extending to non-visible properties or objects - everything that can be seen in the Object Browser. This is called black-box testing.

There is no reason to stick to black-box testing if you can avoid it. The deeper the interface between the application under test and TestComplete, the more clearly you can code your tests. Testing from the outside, but with a better view of the inside, is called white-box testing. Open Applications are applications instrumented for white-box testing under TestComplete. To indicate that the application is an Open one, TestComplete displays the icon next to it in the Object Browser.

With all supported development tools, creating an Open Application involves little or no more than linking in a single file. Naturally, the file is supplied as source.

How "open" the application then becomes under TestComplete depends on both the tool and what other options you choose to use.

In all cases, Open Applications make all ActiveX elements accessible externally. Thus, for Microsoft Visual Basic Open Applications, all objects, methods and properties become accessible.

For Delphi applications and the Object Pascal code in C++Builder applications (especially the VCL), compiling as an Open Application will make all published elements accessible to TestComplete. In addition, linking in special "wrapper" files will also expose all public and protected elements of the corresponding units (by providing an extra COM interface for the original classes). Wrapper files are provided for all VCL units, and the supplied PRegister utility will create a wrapper file for any Object Pascal source file. See Adding Public Information to Delphi and C++Builder Open Applications.

For Visual C++ Open Applications, and for C++ source in C++Builder Open Applications, TestComplete uses specific wrapper classes for MFC objects. These wrappers only expose public class elements, and of course only for the class to which they apply.

There is an additional means of access that can be provided for Open Applications in VC++, Delphi and C++Builder. This uses a new, exclusive technology, the Debug Info AgentT. The Agent provides scripts with access to all class members of Open Applications - public, published, protected and private. Compiling for the Agent is the only way to make C++ code in Visual C++ or C++Builder apps truly "open" for external testing. For Object Pascal code in Delphi or C++Builder, it serves as a further option beyond those explained above.

A Java Open Application gives the testing engine access to public, protected, private and package methods, properties and fields.

.NET Open Applications provide access to public, protected, private, internal and protected internal properties and methods.

As for Web pages, there is no need to modify their sources. All you have to do is to install the WebClients plug-in. It provides access to all elements of Web pages.
-----------------------

<<
В любом случае, "идеология" TC c одной стороны и Rational,WR etc с другой разная
>>
Это верно. Хороший тест (именно скрипт) в TestComplete больше напоминает небольшой программный проект, чем в других продуктах, где больший упор делается на создание тестовой последовательности с помощью UI. Не спорю - это, конечно проще и быстрее. Но вот насчет глубины контроля и повторной используемости (как для новых проектов, так и для новых версий того-же продукта) - я не уверен.

<<
Что до более конкректных наездов - ну не работал я в TC, так, поигрался денёк с evaluation, и всё.
>>
Это ключевой момент :)

--
Regards,
Alex
[TeamAQA]

#35 Mike

Mike

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 1 079 сообщений
  • Город:Москва

Отправлено 03 октября 2003 - 13:14

Такая возможность есть. Не только текст, но и все свойства объекта, которые видит операционная система, могут быть сохранены и использованы для последующего сравнения.

Извините за занудство, нет такой возможности в TC ;). И нигде нет, кроме WR. Я говорю не о чтении свойства Text,Caption,Label и т.д., а о чтении _любого_ текста, нарисованного средствами GDI а не растром (bitmap) на экране. В том числе в окошке. Этого нет больше нигде. В Rational для этого используется распознование образов (OCR), но качество - ужасное. А в WR это сделано другими средствами (насколько я понимаю, перехватом GDI), и работает почти всегда. Почему я так акцентирую на этом внимание? Да потому, что нет такого тула, который годится для всех сред и умеет работать со всеме объектами. Тот-же TC не работает с PowerBuilder и SAP. У Rational проблемы с Delphi. А вот get_text в WR работает всегда, и позволяет писать не-привязвнные-к-координатам тесты даже тогда, когда объект не распознаётся. Кроме того, это шикарный verification point. Лучше чем картинки.
Кстати, ОС ("закрытые" приложения) видит не так уж много. Почти ничего кроме координат и заголовков.

Это верно. Хороший тест (именно скрипт) в TestComplete больше напоминает небольшой программный проект, чем в других продуктах, где больший упор делается на создание тестовой последовательности с помощью UI. Не спорю - это, конечно проще и быстрее. Но вот насчет глубины контроля и повторной используемости (как для новых проектов, так и для новых версий того-же продукта) - я не уверен.


И я не уверен. Но в обратном ;) - зачем это надо тестировщику? А вот програмный продукт напоминают и наши тесты. Только вот не надо их "записывать" - писать их надо - ручками, и с глубиной контроля и с повторной используемостью будет полный порядок. Кстати, опять-таки, насчёт повторной используемости, большой вопрос - что измененится первым - интерфейс или "начинка". Я ставлю на начинку. ;)
  • 0
Best regards,
Майк.

#36 Гость_Guest_*

Гость_Guest_*
  • Guests

Отправлено 03 октября 2003 - 13:28


Я говорю не о чтении свойства Text,Caption,Label и т.д., а о чтении _любого_ текста, нарисованного средствами GDI а не растром (bitmap) на экране. В том числе в окошке.

А-а-а, вот что имелось в виду... Согласен - это очень интересная и полезная функциональность. Да, у TC есть проблема с распознаванием текста нестандартно отрисованного на экране (насколько я знаю - даже для текста Label в Borland, т.к. Label не реализован как оконный класс в VCL (сам работаю с нестандартным приложением без исходников) ).
Использовать для верификации картинки - последее дело, т.к. они, как правило, очень зависят от программного окружения.

--
Regards,
Alex
[TeamAQA]

#37 Green

Green

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 233 сообщений
  • ФИО:Гринкевич Сергей
  • Город:Москва

Отправлено 08 октября 2003 - 12:00

Вернемся к теме...

У нас в компании для функционального тестирования используется WinRunner 7.01 и SilkTest 6.0. Пробуем Robot J.

В своей практике я пользуюсь WinRunner и WSH 5.6/JScript (очень удобная вещь - рекомендую).
Плюс Astra SiteManger 2.01.

Для тест кейсов раньше пользовался TestDirector, но бросил... Отсутсвие поддержки шаблонов тест-кейсов выводит из себя. ;) Элементарная вещь, как можно было ее не реализовать!

Баг-треккинг и всевозможные операции по учету и хранению документации - местная разработка EPAm Project Menager Center.

Отдел нагрузочного тестирования использует LoadRunner и что-то еще (сорри, не в курсе).
Для нагрузки Web приложений я раньше использовал MS WAST (было не в этой жизни...).
  • 0
Гринкевич Сергей

#38 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 16 февраля 2004 - 01:12

Для функционального тестирования - программы Mercury Interactive:
ASTRA QuickTest Pro 6.0
ASTRA Site Manager (freeware)

Для нагрузочного тестирования:
WAPT

Небольшое уточнение, чтобы не было путаницы. QuickTest бывает или ASTRA или Pro. Но никак не вместе. Семейство ASTRA это облегченные тулы своих более "серьезных" собратьев - QTP и LR. Для тех, кому нужно тестировать только web-приложения, причем без особо "продвинутых" штучек типа Java-апплетов, Flash и пр.

Собственно история появления линейки продуктов АSTRA заставляет эти тулы быть максимально "легкими" - и по функциональности и по деньгам.
  • 0
Дмитрий Шевченко

HP Software

#39 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 16 февраля 2004 - 01:21

Продукт, поначалу, достаточно непривычный и специфичный и намного менее "заточен" под конкретную функциональность (как, например, TestDirector), --

Regards,
Alex
[TeamAQA]
================================

А пример "заточенности" TD под конкретную функциональность можно в студию?
  • 0
Дмитрий Шевченко

HP Software

#40 Eugeny

Eugeny

    Новый участник

  • Members
  • Pip
  • 12 сообщений

Отправлено 16 февраля 2004 - 10:38

Коллеги, подскажите, pls.
Нужно разработать платформу для автоматизированного тестирования приложения, написанного на SmallTalk-е. А инменно (не вдаваясь в тонкости), на SmallTalk-е написаны front-end и кое-какие математические расчеты. Необходимо имитировать работу пользователя (нажатие кнопочек, ввод числ. значений и т.п.), произвести вычисления (многократно, с различными данными), сохранить результаты (такая возможность есть в самом приложении) ну и, разумеется, проверить эти результаты.

В этой связи есть пару вопросов:
- есть ли какие-нить фрииварные средства для подобных целей;
- если нет (а мне почему-то каттся, что их нет!) то чем лучше воспользоваться?

Просмотрел форумы - народ неплохо отзывается о "Rational Robot".
Че по этому поводу думают уважаемые коллеги?
  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных