1. Регрессионные тесты находят ошибки? Как часто? Насколько критичные?
2. Пользователи находят ошибки? Как часто? Насколько критичные?
3. Сколько времени уходит на выполнение регрессионных тестов? Сколько на сопутствующую активность? (созидание стендов, поддержка актуальности тестовых сценариев и тому подобное)
4. Что из себя представляет ваш "нетривиальный для автоматизации" продукт? UI, модули, апи, нужные основные данные об архитектуре и вкратце о назначении продукта
Сколько видела активностей по автоматизации, ни у кого не получилось с первого раза :)
1.2 Нет не часто, но обычно, когда пропускаем что-то, то крику поднимается уманаешься отбиваться. Последний случай был таков, что заказчику поставили версию, где планировщик отчетов криво работал, так чуть ли не до отказов от нас дело дошло.
3. Если проводить полный регресс, то неделю +- день. Сейчас же я стараюсь разделять по модулям и не смотреть по минимум тот функционал, где ничего не менялось. Ну и из этой недели примерно часов 6 уходит на стенд и данные.
4. Система состоит из: UI, API, WS, ядро, трех уровневая БД (разносится на 3 машины, если смотреть боевую среду), сервера приема данных с записей в БД. Вся логика, соответственно на ядре. На клиенте логика только по защите от дурака. Львиная часть функционала - это отчеты и обработка событий. Что еще сказать? =)
Мы как то рассуждали с архитектором автоматизацию, он говорит, что фукионал на уровне ядра сейчас смысла покрывать нет, ибо с апи будем переходить на сокеты/веб-сокеты и уходить от реляционной БД (террабайтные базы). Автоматизировать интерфейс можно, но со сменой общения на сокеты - изменяться и локаторы (а может и нет, хз)
