Появился у меня такой философский вопрос. Есть ли смысл запускать автотесты во всех браузерах? Большинство ошибок с которыми я сталкивался при кроссбраузерном тестировании были связаны с отображением тех или иных елементов. Селениум, да и ,наверное, любой другой инструмент для автоматизации веб приложений, таких ошибок не находит. Были ли у Вас какие-то ситуации когда автотест не работал в каком-то одном браузере и это был реальный баг? Стоит ли тратить много времени и усилий на поддержания тестового набора который будет работать во всех браузерах?
Стоит ли запускать автотесты во всех браузерах
#1
Отправлено 09 июля 2015 - 13:13
#2
Отправлено 09 июля 2015 - 13:15
А что, для этого надо много усилий, если тесты везде выполняются одинаково?
#3
Отправлено 09 июля 2015 - 13:19
В моем случае - да. Не всегда тест который розробатывался и тестировался в одном браузере(например хром) 100% отработает во всех остальных (ИЕ, ФФ). И даже если все работает в 3-х браузерах локально, не факт, что также хорошо все отработает в облаке
#4
Отправлено 10 июля 2015 - 05:55
А из-за чего в других браузерах не отрабатывает?
#5
Отправлено 10 июля 2015 - 06:10
Вопрос не в том, как сделать так чтобы тесты работали во всех браузерах. Вопрос в том, стоит ли запускать тесты в разных браузерах?
#6
Отправлено 10 июля 2015 - 07:22
Запускаю автотесты на FF.
В остальных браузерах поверхностно пробегаюсь по остальным браузерам.
#7
Отправлено 10 июля 2015 - 07:32
Все зависит от того, насколько критичен покрываемый автотестами функционал.
Был случай, не более года назад. Клиент обратился с жалобой, что не работает кнопка в IE. Стали разбираться. Оказалось, что не работает только в IE 10. В 8, 9 и 11 версиях осла работало, также работало в лисе и хроме. Автотесты гоняли на самых свежих версиях осла, лисы и хрома.
Баг был некритичный, донесли до клиента, что проблема в браузере, порекомендовали обновить винду. Обновился, был счастлив.
Если неработающая кнопка может привести к потерям компании в тысячи уёв, то автоматизировать стоит. Если нет — можно рекомендовать клиентам пользоваться определенным браузером, а автотесты гонять под одним браузером.
#8
Отправлено 10 июля 2015 - 07:54
Вот и я в последнее время склоняюсь к тому, чтобы запускать автотесты в одном браузере.
Просто в моем случае, проект у нас временно, мы его заканчиваем и дальше не саппортим. Но тестов много, автоматизации пока нет, только начинаем внедрять. Вот я и думаю чтобы создать какой-то небольшой смоук сьют, по результатам которого определять стоит ли проводить полное функциональное ручное тестирование или нет.
#9
Отправлено 10 июля 2015 - 08:27
Пять аргументов против тестирования в разных браузерах:
1) Стандарты рулят!
Это раньше производители браузеров делали реализации движков JavaScript кто во что горазд, сейчас все стараются придерживаться стандартов. И разработчики тоже стараются не использовать нестандартные возможности. Поэтому с большой вероятностью приложение, работающее в одном браузере, будет работать и в других браузерах. В современных версиях. Но кого сейчас волнует IE6 :)
2) Кроссбраузерные различия -- не ваша забота.
Несмотря на стандарты, некоторые кроссбраузерные различия в работе JavaScript всё равно встречаются. Но с этим успешно борются производители библиотек типа jQuery. Конечно, если ваши разработчики пишут на "ванильном" JavaScript, не используют эти вспомогательные библиотеки, ставшие стандартом дефакто -- тогда возможны кроссбраузерные проблемы. Но кто же сейчас так делает :)
3) Баги вёрстки всё равно не поймать.
Несмотря на стандарты, единообразия вёрстки в разных браузерах всё равно не получается достигнуть. До сих порт часто страдает layout (расположение блоков), различается внешний вид элеменов форм (поэтому их часто меняют на нестандартные), и конечно шрифты выглядят по разному. Если вы реально планируете ловить такие баги автотестами -- скорее всего проблема "как запустить тесты в разных браузерах" скоро покажется вам смешной и несущественной :)
4) Это дорого.
И дело не в сложности запуска тестов в разных браузерах. Всё проще -- нужен тестовый стенд. Его необходимо постоянно поддерживать. Обновлять операционки, обновлять браузеры. Стоимость оборудования, стоимость работы сисадмина по сопровождению тестового стенда. При использовании какого-нибудь облачного сервиса запуск в пяти браузерах будет в пять раз дороже, чем в одном браузере. Не факт, что всё это окупится, даже если вы найдёте какие-то кроссбраузерные баги :)
5) Да и вообще, тестируйте лучше через API, ну их эти браузеры. Быстрее, дешевле, стабильнее.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#10
Отправлено 10 июля 2015 - 08:56
"5) Да и вообще, тестируйте лучше через API, ну их эти браузеры. Быстрее, дешевле, стабильнее."
Тестирование через API это тестирование Web сервисов (Soap, REST), когда мы шлем GET или POST запрос и анализируем полученный ответ?
#11
Отправлено 10 июля 2015 - 11:14
Появился у меня такой философский вопрос. Есть ли смысл запускать автотесты во всех браузерах? Большинство ошибок с которыми я сталкивался при кроссбраузерном тестировании были связаны с отображением тех или иных елементов. Селениум, да и ,наверное, любой другой инструмент для автоматизации веб приложений, таких ошибок не находит. Были ли у Вас какие-то ситуации когда автотест не работал в каком-то одном браузере и это был реальный баг? Стоит ли тратить много времени и усилий на поддержания тестового набора который будет работать во всех браузерах?
Если у вас есть требования к автотестам - например, должны запускаться в последнем FF и IE10, то тогда нет вопросов. Кроссбраузерность может помочь, если у вас там банковское/биржевое ПО, где надо поддерживать набор древних IE - например, IE7
Если таких требований нет - то не стоит запускать. Хорошая ссылка:
http://artkoshelev.g...ebdriver-tests/
#12
Отправлено 10 июля 2015 - 12:42
Пять аргументов против тестирования в разных браузерах:
...
Ох как это просто сказать, что ну его эти браузеры давайте тестить только в одном или вообще не тестить UI, когда руководство уперлось и хочет потратить кучу денег на это :)
Про Тестинг
#13
Отправлено 11 июля 2015 - 04:31
Соглашусь, с озвученным выше мнением. Если в требованиях прописаны виды и версии браузеров - то можно привести и 5 и 50 аргументов против кросс-браузерного тестирования, но тестировать надо. Для упрощения, выбейте денег на Sauce Labs.
#14
Отправлено 30 июля 2015 - 14:00
3) Баги вёрстки всё равно не поймать.
Несмотря на стандарты, единообразия вёрстки в разных браузерах всё равно не получается достигнуть. До сих порт часто страдает layout (расположение блоков), различается внешний вид элеменов форм (поэтому их часто меняют на нестандартные), и конечно шрифты выглядят по разному. Если вы реально планируете ловить такие баги автотестами -- скорее всего проблема "как запустить тесты в разных браузерах" скоро покажется вам смешной и несущественной :)
боюсь с вами не соглашусь. все зависит от тестирования в компании. если компания профильная на порезку, то и тестирование там более направленное на нахождения как раз ВСЕХ багов верстки.
#15
Отправлено 31 июля 2015 - 06:17
А вы думаете это просто проверять верстку автотестами?)
Ну оно то теоретически возможно, но оно того не стоит.
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных