Перейти к содержимому

Фотография

Обзор инструментов тестирования 2006


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 27

#1 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 09 февраля 2006 - 22:01

Обзор основных производителей решений автоматизации тестирования — 2006

Обзор составлен Панкратовым Вячеславом, при активной помощи консультантов и проекта.

Несколько слов от автора обзора.

Не претендуя на глубокий аналитический анализ (цель обзора — собрать информацию в том виде, который должен помочь выбрать и сравнить решения) хочется отметить общие личные выводы.

По сравнению с 2004 годом рынок изменился, однако не так сильно в сегменте флагманов, как этого можно было ожидать.

Borland выводит решение Tempo в сегменте решений для управления жизненным циклом проекта. Интересным является решение компании отказаться от линеек IDE и сместить фокус в сторону сервисов и ALM.

Переместился фокус от технологических «камней» в сторону задач тестирования. В этом отношении интересным выглядит переход Mercury к позиционированию инструментов в виде Центров решений: Quality Center — Качество, Performance Center — Производительность, Business Availability Center — Надёжность в понимании Доступность и IT Governance Center — Управление IT.

Инструменты Rational в плане позиционирования выглядят менее фокусными по отношению к задачам, решение которых является целевым процессом для конкретных специалистов и уровней IT-компаний или IT-подразделений: разработки, тестирования и менеджмента. Ещё одной проблемой является наличие нескольких решений для реализации автоматизированного функционирования одного типа, но поддерживающего различные технологии.

TestComplete (AutomatedQA) продолжает стабильное развитие, по прежнему составляя конкуренцию флагманам за счёт стоимости решения, что особенно важно разработчикам из пространства СНГ.

Среди решений не вошедших в данный обзор ведущих производителей, следует уделить внимание собственным разработкам, т.н. фрейворкам внутреннего производства, которые создаются внутри проектных команд и развиваются параллельно с функциональностью разрабатываемого продукта. Основной домен применения подобных решений: интеграционное тестирование н уровне взаимодействия модулей системы (стоит отметить что подобные функции полностью реализованы в нескольких коммерческих линейках). Подобные системы зачастую позволяют производить тестирование в объёме, который приближается к полноценному функциональному тестированию и хотя с одной стороны они требуют полноценного ресурса разработки в рамках команды тестирования, однако не уступают по функциональности современным системам автоматизации тестирования.

Открыть обзор в виде html
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#2 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 09 февраля 2006 - 22:02

Исправления и дополнения принимаются в этой теме.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#3 dlg99

dlg99

    Специалист

  • Members
  • PipPipPipPipPip
  • 609 сообщений
  • ФИО:Andrey Yegorov
  • Город:Redmond, WA

Отправлено 09 февраля 2006 - 22:34

Интересно было бы еще видеть колонку с open source/free tools.
На форуме частенько спрашивают.
  • 0
Andrey Yegorov. Изображение

#4 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 09 февраля 2006 - 22:36

Тут наверное не колонку, а отдельный обзор нужно делать.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#5 dlg99

dlg99

    Специалист

  • Members
  • PipPipPipPipPip
  • 609 сообщений
  • ФИО:Andrey Yegorov
  • Город:Redmond, WA

Отправлено 09 февраля 2006 - 23:04

обзор тоже можно =)
но альтернативы в табличке видеть было бы удобно.

еще Borland и Segue можно в одну колонку объединить =)
а Microsoft с их VSTS добавить.
  • 0
Andrey Yegorov. Изображение

#6 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 10 февраля 2006 - 00:15

Хм... согласен. Записал на бумажку.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#7 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 10 февраля 2006 - 00:47

Исправления и дополнения принимаются в этой теме.

Слава, у меня много исправлений и добавлений по колонке Mercury :unknw: Общее замечание одно - все ссылки на TestDirector надо заменить на Quality Center. Теперь по порядку, сверху вниз.

Управление жизненным циклом проекта - Mercury Project Management из ITG Center; о TD здесь речи быть не может

Управление тестированием - Quality Center

Управление изменениями - 2 модуля из ITG Center - Mercury Demand Management, Mercury Deployment Management, дополненные ITG ITSM Accelerator. Кроме того, поскольку ты эту таблицу сделал не на один месяц, то имеет смысл здесь же упомянуть и о Mercury Change Control. Это наш новый продукт, который будет выпущен во 2-ом квартале этого года, чтобы дополнить наше решение для Change and Configuration Management.

Управление требованиями - Quality Center / Requirement Manager

Управление ошибками - Quality Center / Defect Manager

Управление заданиями, Управление ожиданиями - такого продукта, как "Project Visibility and Control" не существует. Тут я бы поставил ITG Center.

Функциональное тестирование - опечатка в названии QTP (нет последней буквы)

Распределённое тестирование - Quality Center + WinRunner + QuickTest Professional + BPT. Сюда же надо обязательно добавить и Performance Center, выросший из LoadRunner TestCenter, как раз и созданного для облегчения процесса распределенного тестирования (нагрузочного разумеется).

Ручное тестирование - Судя по тому, что указано в этой строчке для Rational, у нас это будет Quality Center / Test Plan, но уж никак не Deep Diagnostics for J2EE.

Нагрузочное тестирование - LoadRunner, Performance Center

Анализ утечек памяти / профилирование производительности - Mercury Diagnostics (J2EE, .NET, Oracle, Siebel, SAP)

Генерация проектной и сопроводительной документации, отчётов - Quality Center, ITG Center, Performance Center

Он-лайн ресурсы для специалистов - Стоит добавить линк на сайт Mercury Education Services - http://www.merc-training.com/

P.S. В таблицу можно еще добавить один критерий про наличие у вендоров не только самих продуктов, но и управляемых сервисов на их основе, что расширяет возможности выбора для заказчиков наиболее эффективного решения.
  • 0
Дмитрий Шевченко

HP Software

#8 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 10 февраля 2006 - 02:19

еще Borland и Segue можно в одну колонку объединить =)

Рановато еще. Непонятно пока как и какие продукты сольются вместе, какие будут отброшены, чтобы не дублировать друг друга, как они в итоге будут называться.
  • 0
Дмитрий Шевченко

HP Software

#9 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 10 февраля 2006 - 05:56

Общее замечание одно - все ссылки на TestDirector надо заменить на Quality Center.

Просмотр сообщения

Особенно мне нравится, как написано у него на первой страничке (где логиниться) и потом справа вверху в уголочке -- Mercuty Quality Center (Powered By TestDirector). А когда долго не пользуешься сессией и она отваливается -- появляется диалоговое окошко с текстом типа: Вам сообщение от Quality Center, ваша сессия работы с TestDirector отвалилась.

Переименовали бы уж везде, что ли, а то и правда непонятно, как его называть.
  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#10 VictorV

VictorV

    Новый участник

  • Members
  • Pip
  • 23 сообщений

Отправлено 10 февраля 2006 - 08:04

Замечания и предложения по колонке с продуктами IBM Rational:

1. Rational XDE Tester давно не выпускается, он был заменен средством IBM Rational Functional Tester
(RobotJ -> XDE Tester -> Functional Tester).

2. Rational PurifyPlus (который содержит не только Purify, но и Quantify) совершенно не представлен, хотя он очень популярен в узких кругах :-) и законное место ему - в двух разделах:
- Анализ утечек памяти / профилирование производительности (MemoryLeak/ performance profiling)
- Модульное тестирование (Unit testing)

3. В раздел Нагрузочное тестирование (System performance/load testing)
можно добавить самостоятельный, очень специфичный, но важный для кого-то продукт:
- Rational Performance Tester for z/OS

4. Если размещать колонки строго по алфавиту, то колонка с IBM Rational должна быть перед колонкой Mercury :-), а если по популярности, то они должны быть впереди всех остальных продуктов :-) В любом случае, это дело автора, раз это заявлено как авторский обзор. Респект за то, что есть возможность дать замечания :-)

5. Стилистическое замечание:
В разделе Поддерживаемые технологии и средства разработки (Supported technologies and development tools)
везде указаны подробные списки средств разработки, но для IBM Rational - продукты которого поддерживают все то, что описано у конкурентов - приведены лишь "пласты разработки", без аналогичных деталей. Выглядит странно...
У непосвященных - для кого и предназначен этот обзор - может сложиться ложное впечатление об "академичности" продуктов IBM Rational.
  • 0
Victor

#11 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 10 февраля 2006 - 08:53

Слава, у меня много исправлений и добавлений по колонке Mercury

Записал на бумажку - сегодня постараюсь исправить.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#12 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 10 февраля 2006 - 08:56

Замечания и предложения по колонке с продуктами IBM Rational

Спасибо, записал.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#13 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 10 февраля 2006 - 08:57

В любом случае, это дело автора, раз это заявлено как авторский обзор. Респект за то, что есть возможность дать замечания

Он как раз потому и авторский - чтобы было понятно к кому их направлять :unknw:
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#14 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 10 февраля 2006 - 16:26

Особенно мне нравится, как написано у него на первой страничке (где логиниться) и потом справа вверху в уголочке -- Mercuty Quality Center (Powered By TestDirector). А когда долго не пользуешься сессией и она отваливается -- появляется диалоговое окошко с текстом типа: Вам сообщение от Quality Center, ваша сессия работы с TestDirector отвалилась.

Переименовали бы уж везде, что ли, а то и правда непонятно, как его называть.

Издержки переходного периода. Со временем все устаканится.
  • 0
Дмитрий Шевченко

HP Software

#15 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 10 февраля 2006 - 16:41

Если размещать колонки строго по алфавиту, то колонка с IBM Rational должна  быть перед колонкой Mercury :-), а если по популярности, то они должны быть впереди всех остальных продуктов :-)

Хорошая шутка про полулярность :clapping:

...но для IBM Rational - продукты которого поддерживают все то, что описано у конкурентов...

Wishful thinking.
  • 0
Дмитрий Шевченко

HP Software

#16 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 11 февраля 2006 - 16:49

Слава, у меня много исправлений и добавлений по колонке Mercury

Большое спасибо, исправил!

P.S. В таблицу можно еще добавить один критерий про наличие у вендоров не только самих продуктов, но и управляемых сервисов на их основе, что расширяет возможности выбора для заказчиков наиболее эффективного решения.

Я недостаточно знаю об этих сервисах, Дмитрий. Подскажите где смотреть - попробую осилить. Если поможете с формулировками позиций обзора и примером заполнения - дело пойдёт не в пример быстрее. Заранее спасибо.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#17 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 11 февраля 2006 - 16:58

В разделе Поддерживаемые технологии и средства разработки (Supported technologies and development tools)
везде указаны подробные списки средств разработки, но для IBM Rational - продукты которого поддерживают все то, что описано у конкурентов - приведены лишь "пласты разработки", без аналогичных деталей. Выглядит странно...

Готов рассмотреть ваш список поддерживаемых средств разработки.

PS
С этим разделом пришлось повозиться.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#18 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 11 февраля 2006 - 20:10

Слава, у меня много исправлений и добавлений по колонке Mercury

Большое спасибо, исправил!

Спасибо. Вроде сейчас все нормально выглядит.

P.S. В таблицу можно еще добавить один критерий про наличие у вендоров не только самих продуктов, но и управляемых сервисов на их основе, что расширяет возможности выбора для заказчиков наиболее эффективного решения.

Я недостаточно знаю об этих сервисах, Дмитрий. Подскажите где смотреть - попробую осилить. Если поможете с формулировками позиций обзора и примером заполнения - дело пойдёт не в пример быстрее. Заранее спасибо.

Про управляемые сервисы можно посмотреть здесь. Прошелся по сайтам IBM, Compuware, Segue. Ничего подобного, связанного с тестированием, не нашел. То ли плохо искал (пусть знатоки, работающие с инструментами этих компаний, меня тогда поправят), то ли управляемые сервисы для автоматизации тестирования это наше конкурентное преимущество.

А к формулировкам позиций обзора у меня нет никаких замечаний. Я просто предложил добавить еще одну позицию, связанную с наличием у вендора соответствующих управляемых сервисов.
  • 0
Дмитрий Шевченко

HP Software

#19 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 12 февраля 2006 - 18:26

Спасибо, смотрю.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#20 kasper

kasper

    Новый участник

  • Members
  • Pip
  • 49 сообщений

Отправлено 13 февраля 2006 - 06:00

Приветствую,

надеюсь исправления/дополнения еще принимаются ? (по Rational)


- Управление жызненным циклом: Rational Method Composer - новинка от IBM (It is the next major release of the IBM Rational Unified Process® and represents a quantum leap forward in providing a process solution that goes beyond software development.)

- Функциональное тестирование: следует отметить "Rational Functional Tester Extension for Terminal-based Applications" - или можно в технологиях.

- Распределенное тестирование: как без TestManager-а ? :clapping:

- Вместо "Rational Developer Network" более корректно "Rational developerWorks"

- Поддерживаемые технологии: приведенный список какой то странный.... да и в списке других вендоров - XML, M$ ...


Также можно добавить средства для анализа WEB приложений: Rational SiteCheck


-------
Спасибо за обзор!
  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных