@EEV
@Артем Б.:
"перенесено верно" есть по сути своей нетестируемое требование, может быть поэтому у вас и возникают проблемы с его тестированием? ;-)
Тестируемый критерий был бы сформулирован примерно так: "На каждое правило миграции определен как минимум один тест. Как минимум 95% из запланированных тестов выполнены и пройдены успешно". Объекты тестирования и глубину их покрытия уточнять по мере необходимости :-)
А если уточнения требований получить не удастся, то выборка методом научного тыка и сравнение 100 объектов вполне адекватная методика тестирования. Если в 95 случаях все мигрированные данные в старой и новой системе совпадают с учетом применяемых правил трансформации, то вы требование по качеству выполнили. Главное, чтобы заказчик подписался, что он согласен с такой методикой проверки.
Перенесено верно - это самое первое требование. К примеру, мы работаем с базой данных билинговой системы. Тут нельзя ошибиться.
про рандомные выборки все очень туманно. Допустим у вас в таблице 1тыс записей. можно используя классы эквивалентности, к примеру, разбить записи на группы и проверить по несколько из кажой. Но это тривиальная БД. Представьте БД состоящую из 100+ таблиц по 100тыс+ записей в 50% таблиц, все таблицы связаны между собой ключами. Тут мы встречаемся с проблемой уже на фазе разбиения на группы, я уже не говорю о том, что мы не можем себе позвонить протестировать менее одного процента даных, чтобы скзаать, что остальные 99 работают.
Я имел в виду именно большие объемы данных, с маленькими то понятно, что можно "затрайхардить" :)
У нас есть уже подход общепринятый, но я не знаю из какой книги его взяли и есть ли более новые методологии, бест практис и тд и тп. В общем хотелось обсудить этот вопрос с коллегами не из компании :)
Спасибо всем за ответы.