Сообщений в теме: 10

[Layza]

Здравствуйте!
В команде разработчиков на должности тестировщика я сравнительно недавно. В основном занимаюсь ручным тестированием.
По указанию начальства было велено заняться автоматизацией тестирования.
Почитала много всякой информации. почитала форум, вижу что много знающих и опытных людей! Будьте добры подскажите, кто как знает по некоторым вопросам.
Тестировать нужно сложное Delphi приложение - геоинформационную систему, состоящую из различных подсистем. Необходимо тестировать как GUI, так и желательно и БД и основнй функционал.
1) Какое средство автоматизированного тестирования из современных наиболее подходит в данном случае. И какие из них можно попробовать в виде триальных версий?
2) попробовала WinRunner 8.2, получилось автоматизировать тест-кейсы для GUI, а необходимо функциональное тестирование (ввод данных, поиск данных, проверка наличия данных). Выяснила что необходим Delphi Add-in for WinRunner! В том который установила такого add-in-а нет, и найти не могу, подскажите как быть?

ВСЕМ ответившим буду очень благодарна за внимание!

[Vasiliy]

Для Delphi-приложений можете попробовать TestComplete. Доступен в виде триальной версии.
http://www.automated...plete/index.asp

[Boltick]

Здравствуйте!
...

2) попробовала WinRunner 8.2, получилось автоматизировать тест-кейсы для GUI, а необходимо функциональное тестирование (ввод данных, поиск данных, проверка наличия данных). Выяснила что необходим Delphi Add-in for WinRunner! В том который установила такого add-in-а нет, и найти не могу, подскажите как быть?

ВСЕМ ответившим буду очень благодарна за внимание!

Можно не скромный вопрос?
Если уж получилось автоматизировать ГУЙ винранером, то в чем проблема при автоматизации функционального тестирования?

А по существу вопроса смотрите статью в моем блоге: Автоматизированное тестирование Delphi приложений
Там нет особых практических советов, но есть некоторый обзор инструментов, способных Вам помочь.

[Allant]

Добрый день, коллеги. Хотел задать точно такой же вопрос, но, на счастье, нашёл вот этот). У меня сейчас ситуация один - в - один как у Layza. Вводные данные те же. 

1. Есть большое и сложное Delphi-приложение

2. Есть необходимость тестировать как GUI, так и базу данных (Oracle). Ну, в том смысле что нужно "заглядывать" в базу для сверки данных из базы с теми данными, которые доступны через GUI

3. Есть уже довольно острая необходимость автоматизировать тестирование. На начальном этапе, хотелось бы хотя бы регрессионное тестирование переложить на автоматические тесты. Ну, а в перспективе, уже может поднимется вопрос о нагрузочном тестировании.

4. Нету практически никаких навыков программирования, автоматизацией раньше никто в компании не занимался, но уже ясно что пора заняться ей вплотную.

 

Продвигал начальству идею приобрести TestComplete, но, как водится, услышал в ответ: "нам бы чего подешевле, пусть и функционал поменьше". Честно говоря, рынок таких продуктов для автоматизации я не очень глубоко изучал. Просто понял, что TestComplete вроде как самый распространённый на территории СНГ продукт, попробовал его - все его функции меня устроили. Но теперь вот руководство просит им подготовить нечто вроде сравнительного анализа нескольких аналогов TestComplete. Пожалуйста, подскажите, какие есть аналогичные решения для автоматизации в моих условиях? Я пока нашёл следующие инструменты:

 

1.IBM Rational Functional Tester

2. Ranorex

3. HP Unified Functional Testing (UFT)

4. SilkPerformer

5. AutoIt

6. Sikuli

7. White Framework

 

Вопрос уже старый очень, поэтому хотелось бы узнать актуальные на сегодняшний день данные. Что-нибудь из моего списка подойдёт в моих условиях? Или может я наоборот чего лишнего сюда вписал?

[user12]

5. AutoIt

 

AutoIt хорош тем, что в нём простые команды, типо Run, WinClose и т.п. Но язык похож на Basic, т.е. тут есть и плюсы и минусы. И если "большое и сложное Delphi-приложение" и надо работать с БД - то всё равно нужен какой-нибудь объектно-ориентированный язык программирования, типо Java

6. Sikuli

 

Sikuli как скриншотер хорош для небольших задач по автоматизации, типо кликнуть пару раз на кнопку, но делать "большое и сложное Delphi-приложение" я бы не рискнул

[Сергей]

Для дескотопа лучше Вам уговорить свое начальство на TestСomplete, дешевле вряд ли найдете).

Про бесплатное лучше забыть, если опыта в программировании нет, свернете шею, особо объекты не распознаете.

Будете не тестировать, а свой фреймворк писать первый год в паре со спаем;)

[Allant]

Понял, спасибо за информацию. 

TestСomplete, дешевле вряд ли найдете).

Да, это я уже понял). Спасибо за совет. Только вот в процессе изучения рынка заинтересовал меня продукт Ranorex. Есть знающие люди, имеющие опыт работы с этим зверем? Вроде как эта вещь очень близка к тесткомплиту по функционалу. Какие-нибудь отзывы про него оставить может кто-нибудь? или может быть у кого-то была возможность сравнить этот Ranorex с тесткомплитом? Ещё, многие из продуктов, которые я в своём первом посте написал, поддерживают очень ограниченный набор скриптовых языков, самый подходящий из которых, как правило, VB.NET. У меня вопрос возник: а можно ли писать скрипты для delphi-приложения на VB.NET? И насколько это хорошая идея? и почему?

 

И ещё, никто не знает, как узнать цену на продукт  HP Unified Functional Testing? Облазил весь их сайт, цены так и не нашёл. Заранее спасибо.

[Сергей]

 

И ещё, никто не знает, как узнать цену на продукт  HP Unified Functional Testing?

 

Сделайте запрос в softline

[Сергей]

TestComplete vs Ranorex )))

[Allant]

Уф, всем спасибо за ответы, внимание и сопереживание . Начальство было побеждено и уговорилось купить нам в отдел Float-лицензию TestComplete. На всякий случай, отвечу на собственный вопрос, вдруг кому пригодится. На сегодняшний день (07.07.2015) ситуация такая:

 

1.IBM Rational Functional Tester - Мощный продукт, но стоимость этого решения, как и его функционал, соответствует организациям с уровнем, повыше регионального. Ограниченный набор поддерживаемых языков для написания скрипта (Java и VBasic.NET), так и не нашёл подтверждения тому, что он поддерживает работу с Delphi-приложениями. Так же не нашёл подтверждения тому, что он поддерживает Keyword Driven Testing. Зато каких-то других сторонних функций по интеграции с другими системами-тьма. В общем, продукт крайне дорогой, мощный, но не всем он подойдёт. Тем более, у нас автоматизацией ещё никто не занимался, опыта никакого, а начинать с такого решения автоматизировать-это как начинать водить машину с марки Ferrari-вроде престижно, имя громкое, машина крутая, а пользоваться всё равно не умеешь))

 

2. HP Unified Functional Testing (UFT) - Узнав цену, не стал даже вникать в детали. Самый дорогой продукт из представленных. Не знаю, кому такое необходимо...может, в организациях уровня Яндекс или Mail.ru такие решения и нужны, но в нашей компании с такой ценой даже смотреть нечего. На выбор очень мало языков для создания тестовых сценариев. Нашёл инфу только про VBScript. Другие языки может и поддерживает, но я про это нигде информации не нашёл. Поддерживает тестирование Delphi - приложений, но не нашёл подтверждения поддержки Keyword Driven Testing. Видимо, не поддерживает.

 

3. Borland Silk Test (раньше это был SilkPerformer) - Ещё один монстр, наподобие первых двух. По цене сопоставим с IBM Rational Functional Tester, использует C++подобный язык для написания скриптов под названием 4Test. Хорошо это или плохо-не знаю. Нам он в любом случае не подходил. Не известно что с поддержкой Delphi-приложений. Пруфа тому, что поддержка этой технологии имеет место, так и не нашёл. Keyword Driven Testing поддерживает, а вот с Data Driven Testing - не известно. На сайте информации о том, что этот подход к тестированию поддерживается, нету. Следуя "презумпции неподдерживаемости", считаю, что данный подход не поддерживается, если не удалось найти доказательств обратному утверждению. 

 

4. Ranorex - Уже теплее. Подходящая цена, сопоставимая с TestComplete, и намного меньшая, чем у первых 3 продуктов. Ограниченный набор языков создания скриптов. Понимает только C# и VB.NET, поддерживает работу с Delphi-приложениями, Поддерживает Data Driven Testing, но не найдено доказательств поддержки Keyword Driven Testing. Единственно возможный конкурент TestComplete.

 

5. TestComplete - Был выбран по следующим причинам: Широкий выбор скриптовых языков, поддерживает технологию Delphi, поддерживает и Data Driven Testing и Keyword Driven Testing, приемлемая цена, благодаря модульному принципу лицензирования позволяет покупать только тот функционал, который планируется использовать в работе.

 

AutoIt, Sikuli и White Framework особо не изучал, потому что для наших масштабов этого уже маловато. Насколько я понял, первые 2 инструмента - это вообще не для тестирования приложений продукты. Это автоматизаторы каких-либо действий, но рассчитанные на заведомо рабочий функционал, в котором не надо искать ошибки. Ни логирования действий, ни работы с базой данных ни одно из этих решений не поддерживает. Про такие вещи как  DDT и KDT можно вообще не заикаться, язык AutoIt не является объектно-ориентированным, а Sikuli вообще только со скриншотами работает, что совершенно неприемлемо в моём случае. Ну а White Framework, насколько я понял, вообще только для работы с WEB можно использовать, а мне десктоп нужен.

 

Вот, написал только то, что понял за время изучения рынка подобных продуктов. Если чего не так написал или недопонял, прошу прощения. По-хорошему, решающим фактором была именно цена, поэтому самого детального изучения удостоились только TestComplete и Ranorex. Бесплатные же приложения не подходят для наших нужд совершенно, а решения от IMB, Borland и HP слишком дороги, поэтому эти продукты я изучал довольно поверхностно и на скорую руку.

[modbear]

Для Delphi наилучший вариант - TestComplete. Особенно если в приложении 3rd party контролы типа DevExpress. Ranorex толком не распознает Delphi гриды, риббоны и т.п. сложные контролы.

Например, TestComplete запишет клик по гриду как ClickCell(row, column):

grid.ClickCell(2, "Product Name");

а Ranorex - как координатный клик:

grid.Click("168;45");

Единственное требование для TestComplete - приложение должно быть с отладочной информацией. Она нужна, чтобы вытащить наружу внутренние свойства и методы объектов, которые нужны для нормальной автоматизации.

Без отладочной информации и TestComplete и Ranorex работают с Delphi-приложениями примерно одинаково. Хотя в TestComplete есть дополнительные плюшки типа OCR/Text Recognition.