Просмотрел темы форума, но не нашел достаточного ответа на вопрос. Постараюсь его по возможности полно и доступно сформулировать.
В общих чертах: как реализовать мониторинг распределенной web системы? Имеется ввиду ЧТО мониторить, КАКИМИ инструментами и КАК обрабатывать собираемую информацию.
Теперь более подробно.
Есть веб-приложение, распределенная база данных с частью бизнес логики, веб-сервер с большей частью бизнес логики, сеть и клиенты с браузерами.
Все это функционирует, но иногда возникают всякие неприятности: падает производительность, недоступность страниц, падения серверов и т.д. Все это вызывает жалобы пользователей и админов приложения, претензии к разработчикам. Однако, как показывает практика, не всегда причина в приложении. Это могут быть настройки веб-сервера, недостаток его ресурсов (например, по какой-либо причине место на диске заканчивается), проблемы с базой данных, наконец, просто сеть дает сбои или просто все пользователи в пятницу после обеда пришли и начали быстро делать репорты...
Разумеется часть описанных причин не имеют отношение к разработчикам, но это приходится доказывать. Невыгодно это и заказчикам, так как они не имеют возможности вовремя узнать, а почему же произошла та или иная неполадка, и как избежать ее появления в будущем. Еще обиднее то, что части этих неполадок могло бы вообще не быть, если вовремя отследить ухудщение какого-либо показателя (например, заполнение диска на сервере).
Поэтому возникла необходимость в созданиии системы мониторинга, которая выполняла бы следующие функции:
1. сбор параметров работы системы, достаточный для своевременного выявления неполадок в системе
2. визуализация этих параметров в едином интерфейсе
3. автоматическое определение по собранным параметрам неполадок, требующих вмешательства
4. автоматическое отслеживание отклонений параметров, которые могут привести к дальнейшим неполадкам
5. автоматическое своевременное оповещение по п.4 и 5
Это требования, которые тоже не абсолютные. Они никем не озвучены. Поэтому тоже обсуждаемы. Может что-то лишнее, а возможно, что-то упущено.
Возвращаясь к вопросу:
1. Как разрешить хотя бы первый пункт? То есть какие параметры необходимо собирать, чтобы по ним принять решение о существующей уже неполадке или о тенденции к ней?
2. Какими инструментами собирать эти параметры?
3. А еще более нетревиально - как обрабатывать собранные данные, чтобы не упустить неполадку и не поднять ложную тревогу (хотя бы с заданной вероятностью)?
Требования к инструментам тоже есть: бесплатные или условно бесплатные. То есть, не суперкомерческие продукты да тысячи долларов. Причина банальна: это нужно не столько заказчику, сколько исполнителю...
Интересны будут любые мнения по данной теме. Может кто-то сталкивался с подобными проблемами, как-то решали их. Какие требования могут быть к подобным системам мониторинга. Наверняка есть готовые инструменты, насколько они подходят для решения такой задачи.
Заранее спасибо всем, принявшим участие в обсуждении!
