Отправлено 18 Февраль 2008 - 11:07
Попробую описать видение со своей колокольни:
Плюсы:
- тесткомплит использует технологию COM. Это позволяет просто работать с com-объектами: управлять различными приложениями, которые предоставляют соответствующие интерфейсы (например MSOffice), использовать готовые средства операционной системы (WMI, scripting run-time).
- возможность создавать свои плагины. Можно легко написать плагин к тесткомплиту, в котором реализовать свои объекты и функции, которые тесткомплит сам не умеет, а непосредственная реализация скриптами нецелесообразна или невозможна.
- возможность глубоко влезать в кишки тестируемого приложения применяя OpenApplication. Позволяет реализовывать полную поддержку своих собственных нестандартных контролов, которые тесткомплит сам поддерживать никогда не будет. Позволяет тестировать на низком уровне те функции приложения, тестирование которых через GUI невозможно или нецелесообразно.
- сравнительно малый входной порог. Чтобы неподготовленному человеку начать писать скрипты (о качестве не говорим), достаточно некоторое потыкаться в рекордер и понять что к чему.
- довольно богатый набор дефолтных плагинов. Позволяет работать с WinAPI, базами данных, вызывать функции из dll, использовать объекты dotNET.
- поддержка различных контролов сторонних производителей.
- цена.
Минусы:
- глючность. С ростом объема кода и времени работы тестов, вы все чаще натыкаетесь на глюки в самом тесткомплите. На их поиск и обход тратится время, которое могло быть потрачено на более полезные дела. Кроме того, со временем ситуация не улучшается - правятся одни глюки в одном месте, в другом вылазят другие. Мы, при выходе обновления тесткомплита, вначале тестируем (вот ведь бред!) новую версию, а только потом начинаем ее использовать (или не начинаем, если новых глюков сильно много).
- скорость. Большой проект долго запускается. Особенно напрягает во время разработки, когда периодически надо проверять написанный код, а возможность уменьшить проект отключив разные модули отсутствует.
- некоторые заявленные возможности из-за их кривой реализации использовать в полную силу невозможно или очегб трудно (например, NetworkSuite).
- непредсказуемость разработки. Никогда не знаешь, будет ли код написанный ранее, работать с новой версией. Понятие "совместимость" разработчикам знакомо смутно. До сих пор не могу забыть переход с 3-й версии на 4-ю. 4-я версия реально была совершенно новым продуктом, написанным, "по мотивам" 3-й версии.
- сильный перекос в сторону количества в ущерб качеству. Продукт развивается, добавляются новые возможности. Однако, правка старых багов и качество (и нужность) добавляемых фич, видимо, никого особо не волнуют. Видимо, в вечной борьбе маркетологов ("мы здесь придумали еще одну гениальную и совершенно необходимую рюшечку"), разработчиков ("теперь то мы понимаем как надо было писать, давайте все отрефакторим") и тестировщиков ("прежде чем вносить новые баги надо поправить старые") побеждают первые.
- не все можно сделать из скриптов. Очень много вещей в тесткомплите можно сделать только через всякие gui-диалоги, визарды (ну например, почему нельзя добавить TestItem из скрипта). А хочется из скриптов, чтобы можно было этим гибко управлять и автоматизировать.
- кривой инсталлятор. Блин, в 2007(8) году инсталлятор не умеет нормально апдейтиться (не везде работает)! Приходится почти что руками варить свой msi-пакет и пользоваться уже им. Хочется нормальный полноценный msi-пакет для инсталляции, чтобы можно было использовать unattended инсталляцию, авто-апдейт через политики домена и т.п.
), сколько новичкам, которые либо только начинают работу с продуктом, либо находятся в активном поиске средства автоматизации. Они должны знать о проблемах, с которыми могут столкнуться в будущем. Обсуждая конкретные проблемы, порой, мы приходим к выводу, что средствами TC нельзя (или довольно сложно) решить некоторые вопросы. Собственно, на таких вопросах и хотелось бы остановиться в данной теме. Давайте рассмотрим плюсы и минусы продукта, попробуем определить (если AQA Team нас будет читать) вектор развития (это особенно важно, так как ни один разработчик не сможет ответить на вопрос "А что нужно пользователю?" лучше нас, пользователей) и, просто, помечтаем 
