Обсуждаем TC: плюсы\минусы, мнения...

Саппорт вообще-то у всех есть. А большинство апгрейдов сводится к фиксам глюков, которых там может и немного, но достают они постоянно.

Саппорт есть у всех, только у других за него как правило нужно платить дополнительно.

Вы уточняйте, за какой саппорт в других местах обычно платят, а в AQA это бесплатно. Те же тренинги далеко не дешевы
http://www.automated...rt/training.asp - 3500 у.е. в день
и просто Professional services
http://www.automated...ut/services.asp
175 у.е. в час

А вопросы-ответы практикуют все вендоры и за это платить никто не будет.

Про апдейт'ы вы возможно правы, хотя, посмотри на нове фичи в TC 6 updates:

http://www.automated.../tc_wn_6_10.asp
http://www.automated.../tc_wn_6_11.asp
http://www.automated.../tc_wn_6_12.asp

Там и новые средства отладки (функция Set Next Statement которая упоминалась в этом топике)

С отладчиком уже давно надо было разобраться, а то до недавнего времени им пользоваться было невыносимо.

и поддержка новых контролов, расчет метрик кода скриптов, поддержка VS2088 приложений как Open, SQL дизайнер для конструирования database checkpoint ( наиболее значительное ценное улучшение ИМХО). Я так думаю что AQA все это делает на основе feedback'а и запросов от пользователей.

Все так делают, так как любой продукт должен иметь своего покупателя. Если продукт своего покупателя не устраивает, то от продукта отказываются. Фидбек учитывают все.

Например, я написал в support по поводу проблемы ury0005 - отсутвие возможности менять значения переменных при отладке (благодаря ему я обратил внимание на отсутвие этой ценной возможности) - мне ответили что постараются исправить в следующем update. Посмотрим...

Также, как вы могли заметить, я написал "в том числе ***major*** весрии". То есть например между выпусками TC5 (01.2007) и TC6 (09.2007) не прошло года, таким образом все кто пользовался TC5 должны получить TC6 бесплатно (мы получили бесплатно).

Более-менее качественный скачок занимает больше года. За более короткий период получаем только хот-фиксы. Так что экономия не настолько значительная. Если же делать апгрейд через более поздний промежуток времени, то получится весьма некисло
Вот тут можно цены глянуть

Так что цена уже не особо значительное преимущество. И то, такая цена объясняется позиционированием ТестКомплита на рынке. За более высокую цену его просто покупать не будут, так как по такой цене будут продукты более раскрученных марок, которые по ряду характеристик лучше ТестКомплита. У ТестКомплита реальное преимущество - поддержка большого числа технологий. На этом большой упор сделан и благодаря этому данный продукт может держаться более-менее уверенно. Но остальные фичи, как юзабилити, скорость хромают неслабо. Но по всем фронтам трудно действовать.

Вы уточняйте, за какой саппорт в других местах обычно платят, а в AQA это бесплатно. Те же тренинги далеко не дешевы
http://www.automated...rt/training.asp - 3500 у.е. в день
и просто Professional services
http://www.automated...ut/services.asp
175 у.е. в час

Вообще-то 4-х дневный тренинг $999 - см. http://automatedqa.c...?tid=32&sid=531
То про что вы пишите это с выездом к клиенту если я правильно перевел. Однако, мне как жителю россии это пофиг, так как я вряд ли поеду в Лас Вегас, также как и звать специалистов из US для проведения тренига несколько странно. В Москве есть конторы которые проводят обучение TestComplete за совсем другие суммы.

А вот то что меня реально интересует - это ответы на вопросы и решение проблем которые у меня возникают.

А вопросы-ответы практикуют все вендоры и за это платить никто не будет.

Вы ошибаетесь. К сожалению, практически никто не практикует.

Также, как вы могли заметить, я написал "в том числе ***major*** весрии". То есть например между выпусками TC5 (01.2007) и TC6 (09.2007) не прошло года, таким образом все кто пользовался TC5 должны получить TC6 бесплатно (мы получили бесплатно).

Более-менее качественный скачок занимает больше года. За более короткий период получаем только хот-фиксы. Так что экономия не настолько значительная. Если же делать апгрейд через более поздний промежуток времени, то получится весьма некисло
Вот тут можно цены глянуть

Поясните, вы считаете что в моем примере переход от TС от версии 5 к версии 6 не был "более-менее качественным скачком" ?

У ТестКомплита реальное преимущество - поддержка большого числа технологий. На этом большой упор сделан и благодаря этому данный продукт может держаться более-менее уверенно. Но остальные фичи, как юзабилити, скорость хромают неслабо. Но по всем фронтам трудно действовать.

ИМХО, это не основное преимущество TestComplete.
Понимаете, если моя компани разрабоатывает ПО на Java - то мне нужно средство тестирование с поддержкой именно Java и на TestComplete я буду смотреть именно с этой точки зрения. А то что он еще поддерживает Delphi и .NET мне глубоко фиолетово.
А компаний которые сразу занимаются разработкой/тестированием ПО на Java и .NET и Delphi с VB и C++ в придачу единицы - если только это не outsourcing тестирования.

У ТестКомплита реальное преимущество - поддержка большого числа технологий. На этом большой упор сделан и благодаря этому данный продукт может держаться более-менее уверенно. Но остальные фичи, как юзабилити, скорость хромают неслабо. Но по всем фронтам трудно действовать.

ИМХО, это не основное преимущество TestComplete.
Понимаете, если моя компани разрабоатывает ПО на Java - то мне нужно средство тестирование с поддержкой именно Java и на TestComplete я буду смотреть именно с этой точки зрения. А то что он еще поддерживает Delphi и .NET мне глубоко фиолетово.
А компаний которые сразу занимаются разработкой/тестированием ПО на Java и .NET и Delphi с VB и C++ в придачу единицы - если только это не outsourcing тестирования.

Вы немного не с той стороны зашли. Если у вас есть продукт, написанный с использованием некоторой технологии, то подбор средства автотестирования вы будете делать исходя из поддержки этим средством необходимой технологии. Теперь посмотрим на это с точки зрения реализации потребителю. Чем больше поддерживается технологий, тем больше потенциальных клиентов можно охватить. Опять же, есть системы, которые работают с разными технологиями, например WEB + Flash + Java + .NET . Это например. Соответственно, им удобнее подобрать средство, которое могло бы работать со всеми этими технологиями. То есть, чем лучше продукт подстраивается под нужды потребителя, тем востребованней этот продукт. Вот в этом ТестКомплит пока что превосходит свои аналоги. У него охват шире, соответственно, больше потенциальных клиентов могут хотя бы взять в рассмотрение данный продукт.

То есть, нормальный покупатель вначале должен удостовериться, что данный продукт ему подойдет и только потом уже будет смотреть на цену и покупать. На практике встречается, что вначале покупают лицензию, а потом начинают думать, подходит система или нет. Но будем все-таки делать упор на здравый смысл. Вначале мы проверяем, что этот инструмент сможет нормально работать с нашим приложением. Пишем на Java? Отлично, ТестКомплит поддерживает ее. Написано на Эклипс последней версии с использованием GWT версии 3.3? Да без проблем (а тут круг возможных средств уже меньше). Работаем с .NET? Что может быть лучше? .NET приложения все изначально воспринимаются как OpenApplication, соответственно, мы можем делать все то же, что и разработчики приложения (ну практически всё). А теперь представьте, что за названиями этих технологий потребители этого продукта. И получается, что потенциально много людей могут войти в число пользователей этой системы. Всё остальное - вопрос рекламы, в умении довести решение до потребителя.

И только потом уже смотрят на цену. А как я выше говорил, сейчас стоимость лицензии на ТестКомплит не особо отличается от аналогов ( я говорю про Floating License, так как у тех же Borland, IBM, HP лицензии именно аналогичны этой Floating). Именная лицензия, да. Она пока ощутимо дешевле, но и расчитана она на "кустарей", соответственно, если вы задумались над своим делом в автоматизации тестирования, то ТестКомплит - это полезное приобретение (если, конечно, с оперсорсами не получается работать). Но и продукты компаний Borland, IBM, HP расчитаны далеко не на "кустарей". Масштаб не тот.

Так что цена - это изначально второй фактор выбора, а первый - это технологии. Согласитесь, что вы бы не выбрали ТестКомплит, если бы он не работал с Java, даже несмотря на то, что он дешевле. То есть поддержка технологий - это то, что делает данный продукт НУЖНЫМ, а цена уже определяется компромисом действий вендора и возможностями целевой аудитории

Вы уточняйте, за какой саппорт в других местах обычно платят, а в AQA это бесплатно. Те же тренинги далеко не дешевы
http://www.automated...rt/training.asp - 3500 у.е. в день
и просто Professional services
http://www.automated...ut/services.asp
175 у.е. в час

Вообще-то 4-х дневный тренинг $999 - см. http://automatedqa.c...?tid=32&sid=531
То про что вы пишите это с выездом к клиенту если я правильно перевел.

У Segue еще где-то год назад двухнедельный курс + сертификация в сумме столько стоила, сколько один день вот такого выезда.

Однако, мне как жителю россии это пофиг, так как я вряд ли поеду в Лас Вегас, также как и звать специалистов из US для проведения тренига несколько странно. В Москве есть конторы которые проводят обучение TestComplete за совсем другие суммы.

Естественно. С поправкой на регион. Но тоже, совсем не бесплатно.

А вот то что меня реально интересует - это ответы на вопросы и решение проблем которые у меня возникают.

А вопросы-ответы практикуют все вендоры и за это платить никто не будет.

Вы ошибаетесь. К сожалению, практически никто не практикует.

Borland практикует. На официальном сайте есть свое комьюнити. Раньше, когда была еще Seque, у них на официальном сайте был свой форум, на котором активное участие принимали работники компании. Сейчас я туда не заглядываю, но наверняка это осталось. То есть проблемы пользователей рассматриваются и даются решения.

Также, как вы могли заметить, я написал "в том числе ***major*** весрии". То есть например между выпусками TC5 (01.2007) и TC6 (09.2007) не прошло года, таким образом все кто пользовался TC5 должны получить TC6 бесплатно (мы получили бесплатно).

Более-менее качественный скачок занимает больше года. За более короткий период получаем только хот-фиксы. Так что экономия не настолько значительная. Если же делать апгрейд через более поздний промежуток времени, то получится весьма некисло
Вот тут можно цены глянуть

Поясните, вы считаете что в моем примере переход от TС от версии 5 к версии 6 не был "более-менее качественным скачком" ?

Чем принципиально версия 5 отличается от версии 6? Ну так, если убрать фичи. Для сравнения, RFT версии 6 поддерживал только WEB, JAVA (как-то опционально .NET). Версия же 7 уже работает с WEB, JAVA, .NET, Win32.

Господа, я вам предлагаю сравнивать apples to apples, иначе большого смысла не будет. Тренинги и professional services по своей сути никогда не относились и не относятся к саппорту. Это отдельные сервисы за отдельные деньги. И очень часто выполняемые совершенно другими людьми, которые не работают в саппорте.

Общедоступные официальные форумы по различным продуктам, построенные по принципу вопрос-ответ, на сайтах вендоров это совершенно банальная вещь. Если у кого-то таких форумов нет, то это очень странно и скорее исключение, чем правило. На таких форумах очень часто есть и люди, которые работают непосредственно у вендора (и не только из группы саппорта), и они помогают юзерам с их проблемами. Я и сам так делал и делаю в форуме, относящемся к моей специализации. Так же, как помогают и другие юзеры, которые на вендора не работают, но хорошо знают продукт. Все это, разумеется, абсолютно бесплатно, поскольку никого ни к чему не обязывает - функционирование таких форумов основано на т.н. at will participation.

Но такие форумы не есть замена формальному саппорту вендора, за который платят (в той или иной форме, полностью или частично), и который уже обязывает вендора оказывать данную услугу. Иными словами, над проблемой будет работать специально выделенный для этой цели человек (по идее мотивированный сделать свою работу хорошо, поскольку его будут оценивать по ее результатам), он будет делать это в рабочее время и может при необходимости привлекать другие ресурсы - product managers, sales, R&D etc.

Господа, я вам предлагаю сравнивать apples to apples, иначе большого смысла не будет. Тренинги и professional services по своей сути никогда не относились и не относятся к саппорту. Это отдельные сервисы за отдельные деньги. И очень часто выполняемые совершенно другими людьми, которые не работают в саппорте.

Возможно и так. Но на сайте компании эти вещи позиционируются как саппорт, по-крайней мере ссылки на них располагаются в разделе Support. Вот я и полез туда, чтоб посмотреть, наколько "бесплатный" этот саппорт

Также, как вы могли заметить, я написал "в том числе ***major*** весрии". То есть например между выпусками TC5 (01.2007) и TC6 (09.2007) не прошло года, таким образом все кто пользовался TC5 должны получить TC6 бесплатно (мы получили бесплатно).

Более-менее качественный скачок занимает больше года. За более короткий период получаем только хот-фиксы. Так что экономия не настолько значительная. Если же делать апгрейд через более поздний промежуток времени, то получится весьма некисло
Вот тут можно цены глянуть

Поясните, вы считаете что в моем примере переход от TС от версии 5 к версии 6 не был "более-менее качественным скачком" ?

Чем принципиально версия 5 отличается от версии 6? Ну так, если убрать фичи.

Если убрать фичи - то ничем, а если не убирать ? :-) Вы так и не ответили на мой вопрос: вы считаете, что в моем примере переход от TС версии 5 к версии 6 не был "более-менее качественным скачком" ?

Если убрать фичи - то ничем, а если не убирать ? :-)

Если не убирать, то просто прикиньте, сколько из этих фич позволило увеличить покрытие тестов. То есть, какие из этих фич позволили с помощью 6-й версии покрыть те тесты или те области, которые нельзя было покрыть в версии 5. Просто для примера. Допустим, вы тестируете веб-приложение и вам нужно его тестировать для разных браузеров, но старая версия не поддерживает FireFox, а новая включает уже поддержку этого браузера. Вот в этом случае смена версии является качественным скачком. То есть, не перейдя на новую версию, вы бы не смогли покрыть определенные участки тестирования.

Вы так и не ответили на мой вопрос: вы считаете, что в моем примере переход от TС версии 5 к версии 6 не был "более-менее качественным скачком" ?

Да, я считаю, что качественного скачка не было.

Вы так и не ответили на мой вопрос: вы считаете, что в моем примере переход от TС версии 5 к версии 6 не был "более-менее качественным скачком" ?

Да, я считаю, что качественного скачка не было.

Спасибо за ответ, ваше мнение понятно, хотя и не совпадает с моим и другими мнениями высказанными здесь на форуме (например здесь http://software-test...w...0&start=20).

Если убрать фичи - то ничем, а если не убирать ? :-)

Если не убирать, то просто прикиньте, сколько из этих фич позволило увеличить покрытие тестов. То есть, какие из этих фич позволили с помощью 6-й версии покрыть те тесты или те области, которые нельзя было покрыть в версии 5. Просто для примера. Допустим, вы тестируете веб-приложение и вам нужно его тестировать для разных браузеров, но старая версия не поддерживает FireFox, а новая включает уже поддержку этого браузера. Вот в этом случае смена версии является качественным скачком. То есть, не перейдя на новую версию, вы бы не смогли покрыть определенные участки тестирования.

ИМХО,
* поддержка third-party controls (в первую очередь Grids)
* тестирование x64 application
* тестирование web service
уже достаточный список.

Вы так и не ответили на мой вопрос: вы считаете, что в моем примере переход от TС версии 5 к версии 6 не был "более-менее качественным скачком" ?

Да, я считаю, что качественного скачка не было.

Спасибо за ответ, ваше мнение понятно, хотя и не совпадает с моим и другими мнениями высказанными здесь на форуме (например здесь http://software-test...w...0&start=20).

По приведенной ссылке высказывалось мнение, что в новой версии пофикшен ряд багов, с которыми приходилось воевать в более ранних версиях. Это если на них нарывались. Я работал и с 6 и с 5. Если баги и были, то они остались теми же.

Если убрать фичи - то ничем, а если не убирать ? :-)

Если не убирать, то просто прикиньте, сколько из этих фич позволило увеличить покрытие тестов. То есть, какие из этих фич позволили с помощью 6-й версии покрыть те тесты или те области, которые нельзя было покрыть в версии 5. Просто для примера. Допустим, вы тестируете веб-приложение и вам нужно его тестировать для разных браузеров, но старая версия не поддерживает FireFox, а новая включает уже поддержку этого браузера. Вот в этом случае смена версии является качественным скачком. То есть, не перейдя на новую версию, вы бы не смогли покрыть определенные участки тестирования.

ИМХО,
* поддержка third-party controls (в первую очередь Grids)

Уточняйте каких. Гридов много. И много чего уже поддерживалось в 5-й версии.

* тестирование x64 application

Расширено для Висты. Остальные х64 системы поддерживались и до этого.

* тестирование web service
уже достаточный список.

До этого нельзя было?

Изменение контекста выполнения в моей версии TC есть. Доступно из Popup menu редактора в режиме отладки - пункт Set Next Statement.

Супер! Спасибо! Профукал я эту фичу. Терь буду знать. Теперь осталось понять как можно в дебаге изменять значения переменных.

На прошлой неделе вышло обновление TC с этой фичей - см. http://www.automated.../tc_wn_6_20.asp

* тестирование web service
уже достаточный список.

До этого нельзя было?

не было насколько я понимаю, как и много другого. Как я понимаю полный список того чего не было и что появилось в TС 6.0 можно посмотреть здесь:
http://www.automated.../tc_wn_6_00.asp

Вышел TC7. Список новых фич: http://www.automated...lete/whats-new/

Продолжим диалог о качественных изменениях в продукте при выходе major версий ? Ваше мнение об изменениях в TC7 ?

...Ваше мнение об изменениях в TC7 ?

Поддерживаю
Я теперь, увы, с TestComplete не работаю, так хоть людей послушаю...

Вышел TC7. Список новых фич: http://www.automated...lete/whats-new/

Продолжим диалог о качественных изменениях в продукте при выходе major версий ? Ваше мнение об изменениях в TC7 ?

Сильно долго с 7-й версией поработать не довелось, но кое-что все-таки успел углядеть.
Порадовало то, что для доступа к внутренним свойствам и методам объектов уже не нужно перекомпилировать приложение. Это намного проще, так как просить заказчиков специальным образом собрать продукт не всегда уместно по ряду причин.

Проникнуться возможностью работы с QT не удалось. Пробовал на одном из приложений на Qt завести ТестКомплит - ключевых объектов не видит, только главные формы. Тут скорее проблема в том, что Qt - это только основа, а народ в основном расширяет эту библиотеку и уже использует кастомные контролы.

Keyword testing прикрутили наконец-то. Сколько уже интересовались подобной фичей. Еще наверное с 3-й версии. Особо не рылся в этой фиче, но сама встроенная возможность подобного вида тестинга - это уже плюс.

Если бы еще можно было разрабатывать тесты на чем-то более серьезном, чем activescripting, то было бы куда интереснее.

Keyword testing прикрутили наконец-то. Сколько уже интересовались подобной фичей. Еще наверное с 3-й версии. Особо не рылся в этой фиче, но сама встроенная возможность подобного вида тестинга - это уже плюс.

Самая главная проблема с Keyword-driven testing'ом - это невозможность переключаться из режима Keyword в обычный режим (или хотя бы иметь возможность конвертации туда-сюда).

Поэтому если вы сталкиваетесь с подобной задачей - пишите напрямую в службу поддержки, а лучше в их ньюсгруппу. У них уже есть подобный запрос и каждый новый вопрос на эту тему увеличивает вероятность того, что это будет реализовано.

Самая главная проблема с Keyword-driven testing'ом - это невозможность переключаться из режима Keyword в обычный режим (или хотя бы иметь возможность конвертации туда-сюда).

Генка, а зачем это реально нужно ? Ведь тесты в виде скриптов можно вызывать из тестов KDT и наоборот. А зачем их конвертировать туда сюда ? Ну не хватает вам возможностей KDT - напишите кусок на скрипте и зовите из KDT. Для чего необходима именно конвертация ?

KDT для инвалидов

Один минус, охринительный - отсутствие полноценной поддержки web-браузеров: Opera, Google Chrome, Safari

Вот была бы поддержка, ему бы цены не было, да и конкурентов ещё бы обогнал, а то чё у Нас только - Selenium и всё, ну может ещё что есть, но ё-ма-ё, почему этого нет в TC, ума не приложу, ВЕДЬ это так зверски надо, а нема =(

это только у меня ТС часто теряет контекстные меню, пункты в контекстном меню и папки? наше по интегрируется в оболочку винды, соответственно, некоторый функционал надо тестировать через проводник. от ТС не получилось добиться ничего :/ он ни разу не нашел параметр wItem у ListView, постоянно теряет нужные папки и контекстные меню. вчера, например, коек-как отладил первую часть теста, написал вторую, прогоняю тест - ТС уже не может открыть диск С из папки "Мой Компьютер" :/