seamcat

Решение найдено. Так приятно пообщаться с умными людьми на этом форуме) как ни зайду что спросить - куча ответов... :D

Если кому вдруг будет интересно или актуально поделюсь опытом решения проблемы с тестированием описанной выше системы:

для проверки самих юниверсов, о которых шла речь, был разработан скрипт на perl (в принципе на питоне аналог тоже написали, но он медленнее работает из-за меньшей скорости обработки текстовых данных). Скрипт обращается к веб сервису (через REST API), с которого можно получить данные юниверса, а так же данные из базы, прошедшие "обработку" юниверсом. Далее скрипт генерит набор необходимых SQL напрямую к базе данных и получает аналогичные данные. Затем сравнивает то, что получили из базы, с тем, что выдал юниверс. Собственно, это то, что и было нужно. 

А т.к. репорты оказалось возможным просматривать через веб, то их решили тестировать с помощью selenium.

Что тогда посоветуете?

с ним не работала, но если можно к селениум на Java прикрутить, то попробую

Возможно достаточно будет окончания прогрузки страницы 

 

и замерить время до полного отображения контента отчета (тестовая машина 1 будет, :) максимум 2)

Если это является необходимым условием (производительность client-side) - то эта задача не такая уж и простая, и какой бы инструмент вы не выбрали, указанных ресурсов будет в любом случае не достаточно.

 

Возможно, будет достаточно окончания загрузки страницы, ибо контент появляется сразу после того, как отработают все скрипты и проч (т.е. если смотреть на страницу, то сначала висит окно загрузки, потом сразу все появляется в принципе).

Я попробовала заиспользовать инструмент LoadUIWeb, который тут разрекламировали в соседней теме, вроде бы можно сделать то, что надо, но пока не разобралась, как интерпретировать результаты. На 10 пользователях тест прошел успешно и в принципе время открытия итоговой страницы 10 пользователями примерно такое, как личные замеры времени открытия страницы одним пользователем. Однако на 50 и даже 20 пользователях я так и не дождалась, когда тест завершится. Либо что-то неправильно делаю, либо одно из двух :)