В теме одно сообщение

[Riddler]

Всем привет!

Первый раз столкнулся с задачей тестирования ETL механизма. Подскажите плиз какие есть методики тестирования или поделитесь собственным опытом.

Заранее спасибо.

[Alex_M]

Не знаю насколько это актуально сейчас, но может кому-то еще интересно.
Но мне приходилось тестировать ETL. Конкретно из базы данных одного продукта(ERP система) данные переносились в базу данных(с отличной структурой) другого продукта(Reporting Solution). При этом использовался Oracle CDC.
Подход к тестированию был следующим:
1) Вначале проверялся initial ETL - первоначальная загрузка данных. Для этого
а) в продукте-источнике формировались тестовые данные(те записи которые должны переносится с различными вариациями, в том числе, например, спецсимволами, связями с другими записями и т.п.)
б) Запускался ETL.
в) Проверялись логи ETL
г) Запускались репорты в продукте-назначении и проверялись данные, которые должны были совпадать и или трансформироваться по определенному алгоритму с помощью ETL.
2) После того как убедились, что initial ETL работает хорошо/плохо, залогировали баги на него, проверяем ETL как сервис, который переодически работает и апдейтит базу данных продукта-назначения данными, которые изменились в продукте-источнике. Для этого:
а) в продукте источнике меняем данные(удаляем определенные записи, добавляем новые, меняем взаимосвязи, редактируем записи и т.п.)
б) Ждем когда запустится сервис с ETL или инициируем его запуск
в) проверяем логи ETL
г) Запускались репорты в продукте-назначении и проверялись данные, которые должны были совпадать и или трансформироваться по определенному алгоритму с помощью ETL

Вот в принципе такой подход.