Home

Как получить полезную информацию из Web-логов?

Как это явствует из названия статьи, Web-логи нас интересую с точки зрения проведения нагрузочного тестирования Интернет приложений. Для успешного выполнения тестов нам необходимо построить модель типовой нагрузки на тестируемое приложение.

Нагрузочную модель могут характеризовать следующие параметры:
- количество пользователей, одновременно использующих систему в течение контрольного промежутка времени (количество одновременных пользователей);
- наиболее посещаемые страницы сайта;
- типовое поведение пользователей системы;
- паузы в действиях пользователей при переходе от одной страницы к другой (или при использовании различных функций системы).

Как было отмечено выше, лог-файл это текстовый файл, который может быть открыт в любом текстовом редакторе. Каждое поле отделено пробелом или знаком табуляции. Для его анализа можно воспользоваться программой Excel. На картинке изображен пример импорта лог-файла в Excel таблицу.

В первую очередь, нас интересует количество пользователей, обратившихся к приложению с запросами за определенный промежуток времени. Эти данные получить очень легко. Достаточно вычислить количество уникальных IP адресов, учтенных системой протоколирования. Например, в лог-файле имеются записи о 134 уникальных IP адресах, с которых были отправлены запросы в течение часа. Это означает, что за контрольный промежуток времени 134 различных пользователей обратились к приложению за информацией.

Возможна ситуация, когда один пользователь использовал два или больше IP адресов для доступа к сайту. Наиболее вероятная причина этого, динамическое выделение IP адресов провайдером пользователя. После разрыва соединения пользователь вновь выходит в Интернет под своим именем, но при этом получает новый IP из пула свободных номеров.
Если приложение поддерживает режим аутентификации пользователей, то данные таблицы можно анализировать по колонке User. Это поможет исключить дублирование пользователя, использующего разные IP адреса.

Для вычисления остальных параметров текущей нагрузки удобно пользоваться функцией «Пилотная Таблица» (PivotTable) программы Excel (Date -> PivotTable and PivotChart Report).

Следующей характеристикой нагрузки может служить определение наиболее посещаемых страниц сайта. Эта задача так же не вызывает затруднений. Выделяем всю таблицу, содержащую запросы к Web-серверу, и по ней строим Пилотную таблицу. Затем из Списка Полей Пилотной Таблицы (PivotTable Field List) перетягиваем поле Page в область строк Пилотной Таблицы (Row Area). Затем, то же самое проделываем для поля User, только помещаем его в область данных таблицы (Drop Data Items Here). Для сортировки данных таблицы, выделяем только ячейки колонки Total и нажимаем кнопку сортировки в порядке убывания. Ву-а-ля! Таблица готова.

Стоит отметить лишь одну деталь. Нас интересуют не все элементы, которые могут быть загружены с сервера. Для используемого примера, это htm и asp страницы. Пилотная Таблица позволяет оставить только нужные элементы. Для этого в шапке таблицы в поле Page нужно выбрать выпадающий список и убрать галочку напротив тех элементов, которые нам не важны. Результат показан на рисунке.

Пилотная Таблица демонстрирует некое подобие рейтинга запрашиваемых страниц. Часто используемые страницы находятся в верхних рядах. Замыкают таблицу редко используемые ресурсы. Из полученной таблицы можно легко определить, какие именно страницы обязательно должны быть включены в процесс тестирования сайта и как часто они запрашиваются пользователями в контрольный промежуток времени.

Со следующим параметром модели нагрузки придется немного повозиться. Для того, что бы определить типовую модель поведения пользователя нужно вычислить его типовые операции за контрольный промежуток времени. Впрочем, это тоже не представляет больших трудностей.

Для начала нужно понять, что в работе любого пользователя нас интересуют только успешные запросы, то есть такие, которые имеют код меньше 400. Следовательно, для нашего примера необходимо отбросить те записи таблицы, которые оканчиваются на 401 и 500. Для этого воспользуемся автофильтром. Включив его (Data -> Filter -> AutoFilter) в поле Code выбираем настраиваемый фильтр и задаем критерии отбора. Пример настройки фильтра приведен на картинке.

После применения фильтра в таблице остались только успешные запросы к системе. Теперь из полученных данных нужно выбрать запросы, относящиеся к одному IP или имени пользователя. Возьмем, например, EUROPE\Andre. Результат приведен на картинке.

Анализируя полученные данные, можно сказать, что пользователь Andre в течение контрольного времени совершил 8 запросов типа catalog_type со страницы /data/cross_catalog_maintenance.asp (1-е место рейтинга) и 3 запроса типа chassis_id со страницы /data/chassis_module_blurbs.asp (11-е место рейтинга).

Используя Пилотную Таблицу можно разделить всех пользователей на три группы: новичок (те, кто очень медленно работает с нашим сайтом), пользователь (к ним можно отнести пользователей со средней скоростью работы) и продвинутый пользователь (это те, кто успевает посетить максимальное число страниц). Каждая из этих групп имеет свою модель поведения и для каждой из них можно выделить наиболее часто используемые запросы к приложению, а так же частоту этих запросов. Полученные данные могут быть использованы при моделировании нагрузки тестируемого приложения.

Для построения такой таблицы необходимо в Row Area и Data Area поместить поле Page, а в Column Area поместить поле User. Результат изображен на картинке.

В нижней части таблицы для каждого пользователя посчитан результат активности. К наиболее активным, можно отнести двух пользователей с показателями 231 и 164 запроса к системе. К новичкам так же можно отнести двух пользователей, но уже с минимальным количеством запросов: 2 и 9. Оставшиеся войдут в группу пользователей. Каждая из групп будет иметь свою модель поведения.

Еще один интересный фактор, влияющий на моделирование типовой нагрузки. Этот фактор – время, затрачиваемое пользователем на просмотр страницы, которое может быть вычислено для каждой группы пользователей.

Для того, что бы увидеть временные паузы между действиями пользователя, воспользуемся Пилотной Таблицей (PivotChart). Имени каждого пользователя необходимо поставить в соответствие запросы, распределенные во времени. В результате, мы получим таблицу, где в ячейке, соответствующей определенному моменту времени, значение будет присутствовать только в том случае, если данным пользователем был отправлен запрос. Пример таблицы приведен на рисунке.

Если дважды кликнуть на ячейку таблицы, содержащую данные, то во вновь открывшейся таблице будут отображены все запросы данного пользователя, соответствующие указанному в графе Time времени.

Манипулируя списком пользователей и/или списком запрашиваемых страниц в таблице исходных данных, можно провести анализ поведения любой группы пользователей и вычислить усредненные значения интервалов времени между запросами пользователей.

Заключение

В результате проведенного анализа Web-логов тестируемого приложения можно получить набор данных, наиболее полно характеризующих текущую нагрузку на приложение. В дальнейшем эти данные могут (и должны) быть использованы для моделирования тестовой нагрузки. Полнота и максимальное приближение воспроизведенной модели к реальной ситуации является обязательным условием успеха тестового проекта.

Обсудить в форуме