Сообщений в теме: 15

[arminvanbuuren]

Сразу прошу прощения, что не стал создавать в каждой ветке по теме ( нефунк тест-ие делится на несколько тем)

Вопрос: какими тулами тестируете:

1) Доступность

2) производительность

3) Надежность

 

Какие результаты должны быть на выходе? Напр. 99.997% по п.1

 

Доп вопрос: что тестирует Zabbix ? (я реально не нашел в инете точнее кучу всего нашел, но не понял.)

---------

 (Не нужно плз детального анализа я не тестер а ПМ, мне достаточно такого уровня как уровень макдоналдса в нише питания, то есть чтобы не умереть с голоду)

[baxatob]

https://ru.wikipedia.org/wiki/Zabbix - уровень хорошего киоска с шаурмой. 

 

Сформулируйте задачу, которая стоит перед вами.

[arminvanbuuren]

https://ru.wikipedia.org/wiki/Zabbix - уровень хорошего киоска с шаурмой. 

 

Сформулируйте задачу, которая стоит перед вами.

Задача: стартап, задеплоен ентерпрайз на тестовом стенде. ~5000т юзеров. Налажен CI, юнит тесты (JUnit), автотесты ( Selenuim), Ручное тестирование функциональности.

Хочется как-то протестировать нефункциональные требования, и выдать отчет начальству, что мол у нас доступность(?)- четыре девятки! ( ну или не четыре ) и др метрики нефункционального тестирования. Можно начать с примитивных тулов, далее мы сами уже разберемся / наймем профессионалов.

Но хочется начать с чего-то ( по аналогии: как например с шаурмы или макдональдса чтобы не умереть с голоду) и понять в каком формате должен быть отчет ( хотя бы минимально, далее разберемся)

Спасибо

[arminvanbuuren]

https://ru.wikipedia.org/wiki/Zabbix

 

ZABBIX — свободная система мониторинга и отслеживания статусов разнообразных сервисов компьютерной сети, серверов и сетевого оборудования, написанная Алексеем Владышевым.

 

Статусы разнообразные - это хорошо... и то что наш человек написал - тоже хорошо. Но хочется понять, с его помощью можно померить:

 

1) Доступность

2) производительность

3) Надежность

?

(я не нашел далее по тексту этих данных ((( )

Если да, то можно ли выдать отчеты для начальства, для п1 - 99.99, для 2-3 - какие должны быть?

[SALar]

Начните со списка атрибутов ПО, которые вы хотите контролировать. И в помощь вам в этом нелегком деле ГОСТ 25010 от 2015 года. А уж потом определяйтесь с инструментарием.

 

 

== Пример.==================

Вы хотите хороших показателей по "анализируемости кода". Далее у вас идут обеспечивающие и контролирующие процедуры.

Обеспечивающие:

• наличие документа "стандарт кодирования" и обязательное знакомство с ним каждого стажера, со сдачей экзамена перед завершением двухнедельного испытательного срока.
• Автоматизированный запрет на публикацию кода без указания номера задачи из трекера.

Контролирующие:

• Скрипт проверяющий код на стиль кодирования
• Ревью кода

===============================================

Сначала вы определяетесь с тем, что контролируете, потом как и только потом какими инструментами.

Все, всегда пытаются сделать наоборот. С известным заранее, неизбежно печальным результатом.

[baxatob]

 

 

Хочется как-то протестировать нефункциональные требования

 

Для этого нужно сперва определить четкие требования к системе, иначе не ясно, что вы хотите тестировать. 

 

Заббикс - это платформа для мониторинга. Да, он может проверять доступность сервисов. Да, он может мониторить производительность системы. Да, он может помочь сделать выводы о надежности системы. Но для этого так же нужно определить метрики. 

 

У этого продукта неплохая документация. Вот наглядный пример настройки мониторинга доступности фронтэнда: https://www.zabbix.c...itoring/example

 

На счет "девяток" - я так понял, что вы говорите о создании виртуальной нагрузки на систему определенным количеством пользователей и проверки, как она с этим справляется. Это уже не Заббикс, а другие инструменты - JMeter, LoadComplete и т.п. Заббикс будет мониторить систему изнутри, но сама нагрузка и валидация создаются другими инструментами.

[arminvanbuuren]

Насколько я понимаю, метрика для доступности - это % доступности. Ну то есть, если я настрою заббикс и буду неделю мерить, через неделю он выдаст что-то типа 99.99% я смогу вставить в отчет, и сказать, что доступность - "четыре девятки", так?

Теперь

 

2) производительность

3) Надежность

 

Я не знаю метрик, подскажите пожалуйста,  что примерно должно быть в отчете ?

Производительность, как я понял имеет отношение к нагрузочному тестированию, для которого тул - JMeter, правильно?

Надежность - это чтобы не падало? 

[Little_CJIOH]

Доступность чего вы собрались измерять и с какой целью?
В отчете должен быть ответ на заданный вопрос. Если у вас нет вопроса, то что вы вообще делаете?
Самый адекватный, хоть и не самый понятный ответ вам дал SALar. Разбирайтесь с тем что такое качество и какие у него есть атрибуты.

[arminvanbuuren]

Доступность сервиса через API / браузер. С целью предоставить отчет начальству, что "у нас доступность - 4 девятки"

 

Ребята, я прошу на пальцах объяснить, я разберусь дальше, пройду тренинги ( точнее пошлю тестера на них)

Сейчас надо просто надо как-то померить 

 

1) Доступность

2) производительность

 

3) Надежность

Развернутой на стенде системы. 

 

Вопрос: 1) доступность меряется в 99.99% - примерно так? Заббиксом?   2) производительность меряется JMeter-ом? какая метрика должна быть в отчете? или там график должен быть?  3) надежность в чем измеряется? в количестве падений на неделю? какие тулзы для измерения?

[baxatob]

Вы написали, что у вас на тестовом стенде ~5000т юзеров - 5 миллионов правильно? Как вы этого достигаете? Это живые пользователи или что имелось в виду?

[Little_CJIOH]

Нет такой универсальной метрики как "Доступность". Всегда требуется уточнение чего, где, как меряли, за какой период. С целью предоставить отчет начальству - 100 раз обновляете страницу, считаете процент удачных обновлений - пишете отчет о 100% доступности. Если кого-то не устроит - узнаете чего от вас хотят.
1) Заббикс - система сбора и хранения метрик, с дашбордами, триггерами, алярмами. Пока вы не сформулировали что вы измеряете и не реализовали измерение вы не получите ничего кроме типовых системных метрик.
2) Jmeter генерирует нагрузку и измеряет времена ответов. Отчет - это ответ на вопрос, если у вас нет вопроса, но есть формальное требование наличия отчета - какая разница что там будет?
3) Требование надежности у вас как сформулировано? Никак? Так в чем хотите, в том и измеряйте, хоть в количестве эксцепшенов на 1000 строк логов.

[arminvanbuuren]

На стенде будет 5т юзеров, извините за опечатку

1) Доступность: платформа предоставляет веб сервисы. Надо оценить доступность этих сервисов. Чем можно сделать? Какая тула может дергать непрерывно эти веб сервисы в течение недели. Понятно, что это будет не 100раз, а наверное сто тыщ раз. Вот эта тула в отчете напечатает, что дернула 100т раз, из них 1 раз сервис не ответил, значит доступность 99.999% - так это делается? Если так, то что за тул, посоветуйте?

2) Jmeter генерирует нагрузку и измеряет времена ответов - понятно, спасибо. А в чем измеряется нагрузка? Время ответа среднее за неделю потом поставить в отчет?

3) Надежность. Никто не сформулировал. Мне надо самому сформировать хорошую метрику, предоставить потенциальному заказчику, если метрика ему понравится и результаты по ней, то стартап продолжит жить

----------

Еще раз прошу понять, это стартап, пока что маленький. Нам надо понять, какие обычно используются метрики для измерения: Доступности, надежности, производительности, {что еще? буду благодарен за совет}

Мне нужен хороший совет, что измерять у небольшой enterprise системы, есть бек, есть платформа сервисов, есть API, который могут дергать приложения извне.

Запилено все на J2EE / Spring. Бек - PostgreSQL

Нужен совет, какие нефункциональные требования сформулировать к такой системе и чем их потом измерить. Не требуется глубокого анализа, пойдет для начала ширпотребные метрики, общеизвестные ( как макдональдс в сфере питания) 

[Little_CJIOH]

1) Доступность сервиса не тестируют, а измеряют, на проде. Доступность тестового стенда никому не нужна ни на 100 ни на 100000 запросов. Если бы мне поставили задачу мониторить доступность некоегого сервиса я бы
а) Периодически проверял доступность сервиса из разных геолокаций
б) Постоянно мониторил доступность точки входа из одной "основной" локации
в) Считал бы статистику по логам, коды и времена ответов, с агрегацией по архитектуре системы.
Каких-то специальных тулов не знаю. Посмотрите что-нибудь из https://habrahabr.ru/post/99318/
2) в количестве запросов в единицу времени, к количестве одновременно обрабатываемых запросов.
3) ХЗ что для вашей системы означает надежность

Требования формулируются исходя из предполагаемого использования. Если вы не понимаете кто и как будет пользоваться вашей системой, то вы не сможете сформулировать требования к системе.

[arminvanbuuren]

Понятно, спасибо.

Тогда еще один вопрос: расхожее выражение "четыре девятки" - это про доступность?

 

99,99% — доступность 364 дня 23 часа 7 минут 27 секунд в год, недоступность 52 минуты 33 секунды в год, также называется 4 «девятки».

 

 

 

Если да, то значит все-таки должна быть тула, ручками так точно не посчитать 99.99% думаю... Заббикс пойдет?

[Little_CJIOH]

Решить задачу мониторинга доступности сервиса и рассчета процента в системе мониторинга zabbix можно, как и в любой другой вменяемой системе мониторинга

[SALar]

Начал читать книгу "User Story Mapping: Discover the Whole Story, Build the Right Produc". Наши переводчики, как обычно, жгут напалмом, но отдельные перлы им удались.

 

 

По мере того как компания росла, на работу поступало все больше людей, привыкших к традиционному процессу разработки. Однажды ко мне пришла начальница другой команды и сказала:

 

«Джефф, нужно, чтобы вы внесли вот эти изменения в продукт, над которым сейчас работаете».

 

«Нет проблем, — ответил я, — только расскажите мне, для кого мы делаем эти изменения и какие задачи люди будут решать с их помощью».

 

Что я услышал в ответ?

 

«Это нужно для соответствия требованиям».

 

«Я вас понял, — кивнул я. — Мне только нужно знать подробнее, для кого мы вне дряем эти штуки, как эти люди будут их использовать, а также какой этап их рабочего процесса изменится».

 

Она посмотрела на меня так, словно я был самым тупым человеком на свете, и повторила с нажимом:

 

«Это. Для. Соответствия. Требованиям».

 

И в этот момент я осознал, что слово «требования» на самом деле означает «заткнись».

 

Вот что означают требования для большинства людей. Они перестают говорить о людях и проблемах, которые надо решить. Правда же состоит в том, что, даже  если вы сделаете лишь часть того, что требуется, пользователи вполне могут остаться довольными.

 

Помните: ваша работа заключается не в том, чтобы достичь соответствия требованиям. Ваша работа в том, чтобы изменить мир.