Сообщений в теме: 14

[Vad1m198]

Появился у меня такой философский вопрос. Есть ли смысл запускать автотесты во всех браузерах? Большинство ошибок с которыми я сталкивался при кроссбраузерном тестировании были связаны с отображением тех или иных елементов. Селениум, да и ,наверное, любой другой инструмент для автоматизации веб приложений, таких ошибок не находит. Были ли у Вас какие-то ситуации когда автотест не работал в каком-то одном браузере и это был реальный баг? Стоит ли тратить много времени и усилий на поддержания тестового набора который будет работать во всех браузерах?

[Freiman]

А что, для этого надо много усилий, если тесты везде выполняются одинаково?

[Vad1m198]

В моем случае - да. Не всегда тест который розробатывался и тестировался в одном браузере(например хром) 100% отработает во всех остальных (ИЕ, ФФ). И даже если все работает в 3-х браузерах локально, не факт, что также хорошо все отработает в облаке

[breakmt]

А из-за чего в других браузерах не отрабатывает?

[Vad1m198]

Вопрос не в том, как сделать так чтобы тесты работали во всех браузерах. Вопрос в том, стоит ли запускать тесты в разных браузерах?

[Tishka]

Запускаю автотесты на FF. 

В остальных браузерах поверхностно пробегаюсь по остальным браузерам.

[lepis]

Все зависит от того, насколько критичен покрываемый автотестами функционал.

 

Был случай, не более года назад. Клиент обратился с жалобой, что не работает кнопка в IE. Стали разбираться. Оказалось, что не работает только в IE 10. В 8, 9 и 11 версиях осла работало, также работало в лисе и хроме. Автотесты гоняли на самых свежих версиях осла, лисы и хрома.

 

Баг был некритичный, донесли до клиента, что проблема в браузере, порекомендовали обновить винду. Обновился, был счастлив.

 

Если неработающая кнопка может привести к потерям компании в тысячи уёв, то автоматизировать стоит. Если нет — можно рекомендовать клиентам пользоваться определенным браузером, а автотесты гонять под одним браузером.

[Vad1m198]

Вот и я в последнее время склоняюсь к тому, чтобы запускать автотесты в одном браузере.

 

Просто в моем случае, проект у нас временно, мы его заканчиваем и дальше не саппортим. Но тестов много, автоматизации пока нет, только начинаем внедрять. Вот я и  думаю чтобы создать какой-то небольшой смоук сьют, по результатам которого определять стоит ли проводить полное функциональное ручное тестирование или нет. 

[barancev]

Пять аргументов против тестирования в разных браузерах:

 

1) Стандарты рулят!

 

Это раньше производители браузеров делали реализации движков JavaScript кто во что горазд, сейчас все стараются придерживаться стандартов. И разработчики тоже стараются не использовать нестандартные возможности. Поэтому с большой вероятностью приложение, работающее в одном браузере, будет работать и в других браузерах. В современных версиях. Но кого сейчас волнует IE6 :)

 

2) Кроссбраузерные различия -- не ваша забота.

 

Несмотря на стандарты, некоторые кроссбраузерные различия в работе JavaScript всё равно встречаются. Но с этим успешно борются производители библиотек типа jQuery. Конечно, если ваши разработчики пишут на "ванильном" JavaScript, не используют эти вспомогательные библиотеки, ставшие стандартом дефакто -- тогда возможны кроссбраузерные проблемы. Но кто же сейчас так делает :)

 

3) Баги вёрстки всё равно не поймать.

 

Несмотря на стандарты, единообразия вёрстки в разных браузерах всё равно не получается достигнуть. До сих порт часто страдает layout (расположение блоков), различается внешний вид элеменов форм (поэтому их часто меняют на нестандартные), и конечно шрифты выглядят по разному. Если вы реально планируете ловить такие баги автотестами -- скорее всего проблема "как запустить тесты в разных браузерах" скоро покажется вам смешной и несущественной :)

 

4) Это дорого.

 

И дело не в сложности запуска тестов в разных браузерах. Всё проще -- нужен тестовый стенд. Его необходимо постоянно поддерживать. Обновлять операционки, обновлять браузеры. Стоимость оборудования, стоимость работы сисадмина по сопровождению тестового стенда. При использовании какого-нибудь облачного сервиса запуск в пяти браузерах будет в пять раз дороже, чем в одном браузере. Не факт, что всё это окупится, даже если вы найдёте какие-то кроссбраузерные баги :)

 

5) Да и вообще, тестируйте лучше через API, ну их эти браузеры. Быстрее, дешевле, стабильнее.

[Vad1m198]

"5) Да и вообще, тестируйте лучше через API, ну их эти браузеры. Быстрее, дешевле, стабильнее."

 

Тестирование через API это тестирование Web сервисов (Soap, REST), когда мы шлем GET или POST запрос и анализируем полученный ответ? 

[user12]

Появился у меня такой философский вопрос. Есть ли смысл запускать автотесты во всех браузерах? Большинство ошибок с которыми я сталкивался при кроссбраузерном тестировании были связаны с отображением тех или иных елементов. Селениум, да и ,наверное, любой другой инструмент для автоматизации веб приложений, таких ошибок не находит. Были ли у Вас какие-то ситуации когда автотест не работал в каком-то одном браузере и это был реальный баг? Стоит ли тратить много времени и усилий на поддержания тестового набора который будет работать во всех браузерах?

 

Если у вас есть требования к автотестам - например, должны запускаться в последнем FF и IE10, то тогда нет вопросов. Кроссбраузерность может помочь, если у вас там банковское/биржевое ПО, где надо поддерживать набор древних IE - например, IE7

Если таких требований нет - то не стоит запускать. Хорошая ссылка:

http://artkoshelev.g...ebdriver-tests/

[Boltick]

Пять аргументов против тестирования в разных браузерах:

...

Ох как это просто сказать, что ну его эти браузеры давайте тестить только в одном или вообще не тестить UI, когда руководство уперлось и хочет потратить кучу денег на это :)

[ashipovalov]

Соглашусь, с озвученным выше мнением. Если в требованиях прописаны виды и версии браузеров - то можно привести и 5 и 50 аргументов против кросс-браузерного тестирования, но тестировать надо. Для упрощения, выбейте денег на Sauce Labs.

[scherbakovden]

 

3) Баги вёрстки всё равно не поймать.

 

Несмотря на стандарты, единообразия вёрстки в разных браузерах всё равно не получается достигнуть. До сих порт часто страдает layout (расположение блоков), различается внешний вид элеменов форм (поэтому их часто меняют на нестандартные), и конечно шрифты выглядят по разному. Если вы реально планируете ловить такие баги автотестами -- скорее всего проблема "как запустить тесты в разных браузерах" скоро покажется вам смешной и несущественной :)

боюсь с вами не соглашусь. все зависит от тестирования в компании. если компания профильная на порезку, то и тестирование там более направленное на нахождения как раз ВСЕХ багов верстки.

[Tishka]

А вы думаете это просто проверять верстку автотестами?)

Ну оно то теоретически возможно, но оно того не стоит.