Разобрался, может кому-то будет полезно.
Проблема заключалась в том, что PHPUnit я скачивал с сайта разработчика, но никак не мог установить phpunit-selenium теми способами, что предлагались. В результате, я его установил из репозитория Debian. Увы, эта установка автоматом подтянула свой phpunit. В результате чего на машине их оказалось 2 экземпляра. При старте теста, запускался вручную установленный из директории /usr/local/bin. Его удаление сообщало, что phpunit не найден в системе, хотя он был установлен, и находился в директории /usr/bin (как я потом узнал). В общем был банальный конфликт версий. Сейчас запускаю phpunit с указанием полного пути:
/usr/bin/phpunit
и все тесты отрабатывают на ура!