Сообщений в теме: 13

[Fizmatik]

Доброго времени суток.

Очень нужен совет по следующему вопросу:

Предстоит организовать автоматическое тестирование крупного сайта (свыше 200 000 пос./день) с ОЧЕНЬ обширным функционалом (его и будем тестировать)

Собираемся использовать Selenium. Но результаты надо сохранять, визуализировать.
Тесты запускать как в ручную, так и автоматически.
Нашёл Bromine как я понял это проект связанный с Selenium'ом и вроде как решает эти задачи.
Так ли это? Работает он со вторым Selenium? В разных источниках противоречащие друг другу данные.

И ещё вопросик: где-бы посмотреть/найти примеры успешного применения такого подхода к тестированию? Желательно у крупных проектов.

Заранее спасибо.

[barancev]

Bromine -- мёртвый проект. Не стоит им пользоваться, если только кто-нибудь не решит его возродить. Selenium 2.0 он совершенно точно не поддерживает.

С другой стороны, это же всего лишь инструмент для организации прогона тестов на разных конфигурациях.
Большинство CI-серверов имеют встроенную поддержку для тестирования на разных конфигурациях, поэтому проблемы лично я не вижу.

И вообще я не очень понял -- Вас больше беспокоит количество разных конфигураций или количество тестов?

[Fizmatik]

Спасибо за ответ.
Да, прочитал что разработка прекращена, но всё таки решил поставить, попробовать.
Он поддерживает Selenium 2.0., никаких проблем и доп. танцев с бубном не потребовалось.

Мне нужно решение для непосредственного выполнения тестов (не ручками чтобы это делать), визуализации и сохранения результатов тестирования, количество конфигураций не принципиально.
Может подскажете другое решение?

[Skuayer]

Мы используем
Jenkins + HTML Publisher plugin + testng plugin
мне кажется этого вполне достаточно для хранения и визуализации

[Fizmatik]

Skuayer, а вы что тестируете??
на Jenkins поднимается полноценный CI сервер под php разработку?

[Skuayer]

Skuayer, а вы что тестируете??
на Jenkins поднимается полноценный CI сервер под php разработку?

на нескольких веб проектов у нас так сделано + слейвы для дженкинса

на счет php я вам не скажу, мы используем java+maven, думаю что что-то подобное возможно и для вас

[Fizmatik]

Да, всё разузнал, попробовал - возможно. Спасибо.

Возник важнейший вопрос:
Есть Jenkins, котрый собственно автоматически совершает сборку проекта и прогон тестов Selenium.
Функционал проекта очень обширен и тестирование будет занимать немало времени.

Возможно ли автоматически тестировать только тот функционал, только те классы, в которые вошли изменения в конкретном коммите?

Вопрос наверное самый важный. Спасибо.

[Skuayer]

Да, всё разузнал, попробовал - возможно. Спасибо.

Возник важнейший вопрос:
Есть Jenkins, котрый собственно автоматически совершает сборку проекта и прогон тестов Selenium.
Функционал проекта очень обширен и тестирование будет занимать немало времени.

Возможно ли автоматически тестировать только тот функционал, только те классы, в которые вошли изменения в конкретном коммите?

Вопрос наверное самый важный. Спасибо.

узнаете какие изменения были в коммите - сопоставляете им тестовые наборы - запускаете дженкинс вместе с ними
на java можно указать в testng.xml что надо или передавать во время сборки.

[Fizmatik]

Спасибо,Skuayer. Обнадёживает.
Не могли бы вы привести пример организации сопоставления?

[Skuayer]

боюсь тут вы сами уже, я ж не знаю как у вас организовано покрытие функционала тестами...
+ тесная работа с разработчиками, на счет того - чего могут коснутся изменения....

[Fizmatik]

Благодарю.Тогда такой вопрос ещё. Получаеться цепочка выглыдит следующим образом:
1. Коммит разработчика уходит в SVN
2. Jenkins при сборке вытягивает изменения
3. Jenkins проводит тесты и т.д.

Как поменять 2 и 3 пункт местами, т.е. - устроить пре-тестинг по списку изменеий?

[Skuayer]

вы хотите чтоб вам автоматом выдавался список тестов которые проверят изменения по коммиту....
я не представляю себе этого даже и не уверен, что такой подход вобще реализуем. вы же понимаете по мимо того что после того как вы получите изменения, вам надо еще проверить все зависимости от них...

делите ваши тесты на по функционалу, модулям, как вам удобно - потом оперируйте этими наборами тестов (ex. регистрация, авторизация, поиск...)
соответственно все это параметры сборки будут.

[D2Phoenix]

NDepend или XDepend вам в помощь

[Fizmatik]

а для PHP, я так понимаю PHP_Depend.
Ясно. Попробуем.