Обзор инструментов тестирования 2006
#1
Отправлено 09 февраля 2006 - 22:01
Обзор составлен Панкратовым Вячеславом, при активной помощи консультантов и проекта.
Несколько слов от автора обзора.
Не претендуя на глубокий аналитический анализ (цель обзора — собрать информацию в том виде, который должен помочь выбрать и сравнить решения) хочется отметить общие личные выводы.
По сравнению с 2004 годом рынок изменился, однако не так сильно в сегменте флагманов, как этого можно было ожидать.
Borland выводит решение Tempo в сегменте решений для управления жизненным циклом проекта. Интересным является решение компании отказаться от линеек IDE и сместить фокус в сторону сервисов и ALM.
Переместился фокус от технологических «камней» в сторону задач тестирования. В этом отношении интересным выглядит переход Mercury к позиционированию инструментов в виде Центров решений: Quality Center — Качество, Performance Center — Производительность, Business Availability Center — Надёжность в понимании Доступность и IT Governance Center — Управление IT.
Инструменты Rational в плане позиционирования выглядят менее фокусными по отношению к задачам, решение которых является целевым процессом для конкретных специалистов и уровней IT-компаний или IT-подразделений: разработки, тестирования и менеджмента. Ещё одной проблемой является наличие нескольких решений для реализации автоматизированного функционирования одного типа, но поддерживающего различные технологии.
TestComplete (AutomatedQA) продолжает стабильное развитие, по прежнему составляя конкуренцию флагманам за счёт стоимости решения, что особенно важно разработчикам из пространства СНГ.
Среди решений не вошедших в данный обзор ведущих производителей, следует уделить внимание собственным разработкам, т.н. фрейворкам внутреннего производства, которые создаются внутри проектных команд и развиваются параллельно с функциональностью разрабатываемого продукта. Основной домен применения подобных решений: интеграционное тестирование н уровне взаимодействия модулей системы (стоит отметить что подобные функции полностью реализованы в нескольких коммерческих линейках). Подобные системы зачастую позволяют производить тестирование в объёме, который приближается к полноценному функциональному тестированию и хотя с одной стороны они требуют полноценного ресурса разработки в рамках команды тестирования, однако не уступают по функциональности современным системам автоматизации тестирования.
Открыть обзор в виде html
Редактор портала www.it4business.ru
#2
Отправлено 09 февраля 2006 - 22:02
Редактор портала www.it4business.ru
#4
Отправлено 09 февраля 2006 - 22:36
Редактор портала www.it4business.ru
#6
Отправлено 10 февраля 2006 - 00:15
Редактор портала www.it4business.ru
#7
Отправлено 10 февраля 2006 - 00:47
Слава, у меня много исправлений и добавлений по колонке Mercury Общее замечание одно - все ссылки на TestDirector надо заменить на Quality Center. Теперь по порядку, сверху вниз.Исправления и дополнения принимаются в этой теме.
Управление жизненным циклом проекта - Mercury Project Management из ITG Center; о TD здесь речи быть не может
Управление тестированием - Quality Center
Управление изменениями - 2 модуля из ITG Center - Mercury Demand Management, Mercury Deployment Management, дополненные ITG ITSM Accelerator. Кроме того, поскольку ты эту таблицу сделал не на один месяц, то имеет смысл здесь же упомянуть и о Mercury Change Control. Это наш новый продукт, который будет выпущен во 2-ом квартале этого года, чтобы дополнить наше решение для Change and Configuration Management.
Управление требованиями - Quality Center / Requirement Manager
Управление ошибками - Quality Center / Defect Manager
Управление заданиями, Управление ожиданиями - такого продукта, как "Project Visibility and Control" не существует. Тут я бы поставил ITG Center.
Функциональное тестирование - опечатка в названии QTP (нет последней буквы)
Распределённое тестирование - Quality Center + WinRunner + QuickTest Professional + BPT. Сюда же надо обязательно добавить и Performance Center, выросший из LoadRunner TestCenter, как раз и созданного для облегчения процесса распределенного тестирования (нагрузочного разумеется).
Ручное тестирование - Судя по тому, что указано в этой строчке для Rational, у нас это будет Quality Center / Test Plan, но уж никак не Deep Diagnostics for J2EE.
Нагрузочное тестирование - LoadRunner, Performance Center
Анализ утечек памяти / профилирование производительности - Mercury Diagnostics (J2EE, .NET, Oracle, Siebel, SAP)
Генерация проектной и сопроводительной документации, отчётов - Quality Center, ITG Center, Performance Center
Он-лайн ресурсы для специалистов - Стоит добавить линк на сайт Mercury Education Services - http://www.merc-training.com/
P.S. В таблицу можно еще добавить один критерий про наличие у вендоров не только самих продуктов, но и управляемых сервисов на их основе, что расширяет возможности выбора для заказчиков наиболее эффективного решения.
#8
Отправлено 10 февраля 2006 - 02:19
Рановато еще. Непонятно пока как и какие продукты сольются вместе, какие будут отброшены, чтобы не дублировать друг друга, как они в итоге будут называться.еще Borland и Segue можно в одну колонку объединить =)
#9
Отправлено 10 февраля 2006 - 05:56
Особенно мне нравится, как написано у него на первой страничке (где логиниться) и потом справа вверху в уголочке -- Mercuty Quality Center (Powered By TestDirector). А когда долго не пользуешься сессией и она отваливается -- появляется диалоговое окошко с текстом типа: Вам сообщение от Quality Center, ваша сессия работы с TestDirector отвалилась.Общее замечание одно - все ссылки на TestDirector надо заменить на Quality Center.
Переименовали бы уж везде, что ли, а то и правда непонятно, как его называть.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#10
Отправлено 10 февраля 2006 - 08:04
1. Rational XDE Tester давно не выпускается, он был заменен средством IBM Rational Functional Tester
(RobotJ -> XDE Tester -> Functional Tester).
2. Rational PurifyPlus (который содержит не только Purify, но и Quantify) совершенно не представлен, хотя он очень популярен в узких кругах :-) и законное место ему - в двух разделах:
- Анализ утечек памяти / профилирование производительности (MemoryLeak/ performance profiling)
- Модульное тестирование (Unit testing)
3. В раздел Нагрузочное тестирование (System performance/load testing)
можно добавить самостоятельный, очень специфичный, но важный для кого-то продукт:
- Rational Performance Tester for z/OS
4. Если размещать колонки строго по алфавиту, то колонка с IBM Rational должна быть перед колонкой Mercury :-), а если по популярности, то они должны быть впереди всех остальных продуктов :-) В любом случае, это дело автора, раз это заявлено как авторский обзор. Респект за то, что есть возможность дать замечания :-)
5. Стилистическое замечание:
В разделе Поддерживаемые технологии и средства разработки (Supported technologies and development tools)
везде указаны подробные списки средств разработки, но для IBM Rational - продукты которого поддерживают все то, что описано у конкурентов - приведены лишь "пласты разработки", без аналогичных деталей. Выглядит странно...
У непосвященных - для кого и предназначен этот обзор - может сложиться ложное впечатление об "академичности" продуктов IBM Rational.
#11
Отправлено 10 февраля 2006 - 08:53
Записал на бумажку - сегодня постараюсь исправить.Слава, у меня много исправлений и добавлений по колонке Mercury
Редактор портала www.it4business.ru
#12
Отправлено 10 февраля 2006 - 08:56
Спасибо, записал.Замечания и предложения по колонке с продуктами IBM Rational
Редактор портала www.it4business.ru
#13
Отправлено 10 февраля 2006 - 08:57
Он как раз потому и авторский - чтобы было понятно к кому их направлятьВ любом случае, это дело автора, раз это заявлено как авторский обзор. Респект за то, что есть возможность дать замечания
Редактор портала www.it4business.ru
#14
Отправлено 10 февраля 2006 - 16:26
Издержки переходного периода. Со временем все устаканится.Особенно мне нравится, как написано у него на первой страничке (где логиниться) и потом справа вверху в уголочке -- Mercuty Quality Center (Powered By TestDirector). А когда долго не пользуешься сессией и она отваливается -- появляется диалоговое окошко с текстом типа: Вам сообщение от Quality Center, ваша сессия работы с TestDirector отвалилась.
Переименовали бы уж везде, что ли, а то и правда непонятно, как его называть.
#15
Отправлено 10 февраля 2006 - 16:41
Хорошая шутка про полулярностьЕсли размещать колонки строго по алфавиту, то колонка с IBM Rational должна быть перед колонкой Mercury :-), а если по популярности, то они должны быть впереди всех остальных продуктов :-)
Wishful thinking....но для IBM Rational - продукты которого поддерживают все то, что описано у конкурентов...
#16
Отправлено 11 февраля 2006 - 16:49
Большое спасибо, исправил!Слава, у меня много исправлений и добавлений по колонке Mercury
Я недостаточно знаю об этих сервисах, Дмитрий. Подскажите где смотреть - попробую осилить. Если поможете с формулировками позиций обзора и примером заполнения - дело пойдёт не в пример быстрее. Заранее спасибо.P.S. В таблицу можно еще добавить один критерий про наличие у вендоров не только самих продуктов, но и управляемых сервисов на их основе, что расширяет возможности выбора для заказчиков наиболее эффективного решения.
Редактор портала www.it4business.ru
#17
Отправлено 11 февраля 2006 - 16:58
Готов рассмотреть ваш список поддерживаемых средств разработки.В разделе Поддерживаемые технологии и средства разработки (Supported technologies and development tools)
везде указаны подробные списки средств разработки, но для IBM Rational - продукты которого поддерживают все то, что описано у конкурентов - приведены лишь "пласты разработки", без аналогичных деталей. Выглядит странно...
PS
С этим разделом пришлось повозиться.
Редактор портала www.it4business.ru
#18
Отправлено 11 февраля 2006 - 20:10
Спасибо. Вроде сейчас все нормально выглядит.Большое спасибо, исправил!Слава, у меня много исправлений и добавлений по колонке Mercury
Про управляемые сервисы можно посмотреть здесь. Прошелся по сайтам IBM, Compuware, Segue. Ничего подобного, связанного с тестированием, не нашел. То ли плохо искал (пусть знатоки, работающие с инструментами этих компаний, меня тогда поправят), то ли управляемые сервисы для автоматизации тестирования это наше конкурентное преимущество.Я недостаточно знаю об этих сервисах, Дмитрий. Подскажите где смотреть - попробую осилить. Если поможете с формулировками позиций обзора и примером заполнения - дело пойдёт не в пример быстрее. Заранее спасибо.P.S. В таблицу можно еще добавить один критерий про наличие у вендоров не только самих продуктов, но и управляемых сервисов на их основе, что расширяет возможности выбора для заказчиков наиболее эффективного решения.
А к формулировкам позиций обзора у меня нет никаких замечаний. Я просто предложил добавить еще одну позицию, связанную с наличием у вендора соответствующих управляемых сервисов.
#19
Отправлено 12 февраля 2006 - 18:26
Редактор портала www.it4business.ru
#20
Отправлено 13 февраля 2006 - 06:00
надеюсь исправления/дополнения еще принимаются ? (по Rational)
- Управление жызненным циклом: Rational Method Composer - новинка от IBM (It is the next major release of the IBM Rational Unified Process® and represents a quantum leap forward in providing a process solution that goes beyond software development.)
- Функциональное тестирование: следует отметить "Rational Functional Tester Extension for Terminal-based Applications" - или можно в технологиях.
- Распределенное тестирование: как без TestManager-а ?
- Вместо "Rational Developer Network" более корректно "Rational developerWorks"
- Поддерживаемые технологии: приведенный список какой то странный.... да и в списке других вендоров - XML, M$ ...
Также можно добавить средства для анализа WEB приложений: Rational SiteCheck
-------
Спасибо за обзор!
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных