Perfomance тестирование web-сайта на Selenium?

Всем привет!

Я - qa-джун с опытом функционального ручного тестирования.

Мне поставили задачу исследовать и затем автоматизировать мониторинг скорости загрузки элементов сайта web-страницы (платформа с большим количеством текстовых постов, медиа, комментариев и пользователей), а также выполнения скриптов на ней.

Знаю про devtools и как вручную посмотреть скорость загрузки тех или иных элементов. Еще в курсе сущестования сервисов типа https://developers.g...espeed/insights

Смотрел, есть selenium. Но многие статьи о selenium performance testing от 2010-х годов. И в современных статьях рекомендуют использование сервисов третьих сторон.

Но как это все автоматизировать? Можно ли сделать такие анализы независящими от сервисов третьей стороны? Если нет, есть ли пути интегрировать их?

Слабо представляю, с какой стороны подойти к этому вопросу) Буду рад любому совету. Интересуют гайды, книги, видео, что угодно)

Спасибо)

Но ведь время видимой загрузки элементов состоит из загрузки по сети, отработки скриптов и рендеринга в самом браузере.

Вы рискуете написать тесты, на которые потратите кучу сил, и которые не будут давать нужной информации: что именно фиксить?

Selenuim здесь подойдет, только если страница реально медленная, и только если надо на высоком уровне померять время полной загрузки каких-то блоков или разделов. Если такие тесты есть, то их должно быть мало, и они должны помогать просто отслеживать общую динамику: какая часть сайта начала подтормаживать, чтоб дальше смотреть конкретнее.

А конкретнее - это стандартные тулы для нагрузочного тестирования сервера (вот уж нагрузку селениумом точно не изобразить, а скорость загрузки от нее как бы зависит). И еще какие-то (я их не знаю, но они есть) фреймворки для снятия бенчмарков с вашего джаваскрипта, если вдруг в нём проблема.

 

 

исследовать и затем автоматизировать мониторинг скорости загрузки элементов сайта web-страницы

наверное можно так:

пусть разработчики добавят аналитику которая выстреливается при "загрузке страницы", и в этой аналитике будут содержаться данные типа "количество элементов (посты, комменты и т.п.), "время загрузки"

вы потом эту аналитику проанализируйте, постройте там графики разные

Но ведь время видимой загрузки элементов состоит из загрузки по сети, отработки скриптов и рендеринга в самом браузере.

Вы рискуете написать тесты, на которые потратите кучу сил, и которые не будут давать нужной информации: что именно фиксить?

 

Selenuim здесь подойдет, только если страница реально медленная, и только если надо на высоком уровне померять время полной загрузки каких-то блоков или разделов. Если такие тесты есть, то их должно быть мало, и они должны помогать просто отслеживать общую динамику: какая часть сайта начала подтормаживать, чтоб дальше смотреть конкретнее.

 

А конкретнее - это стандартные тулы для нагрузочного тестирования сервера (вот уж нагрузку селениумом точно не изобразить, а скорость загрузки от нее как бы зависит). И еще какие-то (я их не знаю, но они есть) фреймворки для снятия бенчмарков с вашего джаваскрипта, если вдруг в нём проблема.

Значит искать надо в сторону нагрузочного тестирования. Понятно. Это территория Jmeter?) Можете что-то подсказать по этому поводу?

 

 

 

исследовать и затем автоматизировать мониторинг скорости загрузки элементов сайта web-страницы

наверное можно так:

пусть разработчики добавят аналитику которая выстреливается при "загрузке страницы", и в этой аналитике будут содержаться данные типа "количество элементов (посты, комменты и т.п.), "время загрузки"

 

вы потом эту аналитику проанализируйте, постройте там графики разные

 

Очень интересный ход мыслей. А какая есть литература/мануалы на эту тему?

 

 

Очень интересный ход мыслей. А какая есть литература/мануалы на эту тему?

ну погуглите например "Веб-аналитика"

В принципе, я могу себе такое представить, т.к. на одном моём проекте использовалась очень тяжелая технология GWT и производительность самого интерфейса очень страдала.

Требовалось оценить влияние оптимизаций со стороны разработчиков именно на интерфейс.

Это потребовало составить некоторые действия в системе и измерить скорость этой цепочки. Ну и селениумом это я и сделал.

В принципе метрики довольно интересные получились, и показательные (даже было прикручено отслеживание использования памяти, что даётся в закладке chrome://memory), полностью нам подходящие.

Начинать надо с window.performance.timing

https://www.w3.org/T...igation-timing/

https://developer.mo...tion_timing_API

https://www.ibm.com/...ipt-w3c/?lnk=hm

Просто написано в свежей статье https://ru.selenide....r-browser-logs/

В вашем случае единственный момент должен быть, это сохранение текущего состояния системы и прогонка только в нём этих тестов (я имею ввиду текстовую, медиа инфу, как вы сами описали того что и даёт нагрузку).

А jMeter это всё-таки для нагибания серверной части.

В принципе, я могу себе такое представить, т.к. на одном моём проекте использовалась очень тяжелая технология GWT и производительность самого интерфейса очень страдала.

Требовалось оценить влияние оптимизаций со стороны разработчиков именно на интерфейс.

Это потребовало составить некоторые действия в системе и измерить скорость этой цепочки. Ну и селениумом это я и сделал.

В принципе метрики довольно интересные получились, и показательные (даже было прикручено отслеживание использования памяти, что даётся в закладке chrome://memory), полностью нам подходящие.

Начинать надо с window.performance.timing

https://www.w3.org/T...igation-timing/

https://developer.mo...tion_timing_API

https://www.ibm.com/...ipt-w3c/?lnk=hm

Просто написано в свежей статье https://ru.selenide....r-browser-logs/

 

В вашем случае единственный момент должен быть, это сохранение текущего состояния системы и прогонка только в нём этих тестов (я имею ввиду текстовую, медиа инфу, как вы сами описали того что и даёт нагрузку).

А jMeter это всё-таки для нагибания серверной части.

Благодарю! Буду смотреть. Спасибо)

Значит искать надо в сторону нагрузочного тестирования. Понятно. Это территория Jmeter?) Можете что-то подсказать по этому поводу?

Да, это в некотором роде стандарт. Возможно, поймете, что в JMeter что-то вам не хватает.

 

наверное можно так:

пусть разработчики добавят аналитику которая выстреливается при "загрузке страницы", и в этой аналитике будут содержаться данные типа "количество элементов (посты, комменты и т.п.), "время загрузки"

 

вы потом эту аналитику проанализируйте, постройте там графики разные

 

 

Очень интересный ход мыслей. А какая есть литература/мануалы на эту тему?

 

Из недавно виденного на эту тему:

1 (как в Mail.ru мониторят свой фронтенд для почты)

2 (не самый удачный для прослушивания доклад, но некоторые идеи для аналитики почерпнуть можно)

Благодарю! Обязательно все посмотрю