Надежность программного обеспечения

Надежность ПО

Кто-нибудь пытался оценить надежность ПО с помощью существующих показателей?

Кстати, а какие существуют показатели надёжности ПО?

Кстати, а какие существуют показатели надёжности ПО?

Ну например следующие (взято из PSM 4.0)

Dependability - Reliability
Dependability - Reliability measures estimate the probability that an item will continue to function for a specified period of time under certain conditions. Reliability is the probability that an item will function without failure for a specified period of time under certain conditions. Availability is related to Dependability - Reliability. Failures that occur during operation either degrade or completely eliminate certain functions, some of which could be mission critical or safety hazards. These measures monitor the quantity and severity of failures, and determine if the expected frequency of failures is acceptable. Estimated probabilities of failures and consequences can be determined through modeling, analysis, and/or testing.

1. Failures
The Failures measure is based on the number, criticality, and time interval between failures. A failure is the inability of a system component to perform a required function under certain conditions within a specified time. This measure is used to support indicators of reliability such as historical achievement of system mean time between failures (MTBF) and reliability growth.

Typical Data Items

• Date and time that failure occurred
• Date and time that failure was resolved
• Operating time since the last failure

2. Fault Tolerance
Fault Tolerance measures the capability of a system to continue performing its functions despite failures in components. A fault may or may not result in degraded performance of a fault-tolerant system. This measure determines whether the system can operate within reliability, maintainability, availability, and safety requirements after a fault has occurred. This is often achieved through redundancy of components or other design features that allow functional recovery. Fault tolerance measures are used in system planning and development to ensure performance in the operational environment. Achieved fault tolerance must be monitored in the operations and maintenance phase.

Typical Data Items

• Number of single point failure modes
• Number of identified failure modes
• Number of identified failure modes with fault-tolerant design protection

И вот уже по этим показателям (отдельно или в комплексе с другими показателями) можно строить индикаторы как то Mean Time Between Failures, System Reliability и т.д.

Вообще всех интересующихся метриками отсылаю к Practical Software and Systems Measurement - весьма неплохой материал.

Я вот ещё вспоминаю (пользовались на метрологии ПО во время учёбы) ГОСТ 28195-89. Там по надёжности фигурируют такие метрики :

I. Надежность

1.1 Устойчивость

01 Средства восстановления при ошибке на входе

Н0101 Наличие требований к программе по устойчивости функционирования при наличии ошибок
во входных данных
Н0102 Возможность обработки ошибочных ситуаций
Н0103 Полнота обработки ошибочных ситуаций
Н0104 Наличие тестов для проверки допустимых значений входных данных
Н0105 Наличие системы контроля полноты входных данных
Н0106 Наличие средств контроля корректности входных данных
Н0107 Наличие средств контроля непротиворечивости входных данных
Н0108 Наличие проверки параметров и адресов по диапазону их значений
Н0109 Наличие обработки граничных результатов
Н0110 Наличие обработки неопределенностей (деление на 0, квадратный корень из
отрицательного числа и т.д.)

02 Средства восстановления при сбоях оборудования

Н0201 Наличие требований к программе по восстановлению процесса выполнения в случае сбоя ОС,
процессора, внешних устройств
Н0202 Наличие требований к программе по восстановлению результатов при отказах процессора,
ОС
Н0203 Наличие средств восстановления процесса в случае сбоев оборудования
Н0204 Наличие возможности разделения по времени выполнения отдельных функций программ
Н0205 Наличие возможности повторного старта с точки останова

03 Реализация управления средствами восстановления

Н0301 Наличие централизованного управления процессами, конкурирующими из-за ресурсов
Н0302 Наличие возможности автоматически обходить ошибочные ситуации в процессе вычисления
Н0303 Наличие средств, обеспечивающих завершение процесса решения в случае помех
Н0304 Наличие средств, обеспечивающих выполнение программы в сокращенном объеме в случае
ошибок или помех
Н0305 Показатель устойчивости к искажающим воздействиям

1.2 Работоспособность

04 Функционирование в заданных режимах

Н0401 Вероятность безотказной работы

05 Обеспечение обработки заданного объема информации

Н0501 Оценка по среднему времени восстановления
Н0502 Оценка по продолжительности преобразования входного набора данных в выходной

Ну так... Кто-нибудь пытался?..

я во время учёбы пытался. лабораторная работа была. брал программу свою (курсовая за прошлый семестр) и рассчитывал каждую метрику для неё. Потом всё это суммировалось (уже и не помню каким образом) и вычислялся весовой показатель по Надёжности (на самом деле не только показатель Надёжности рассчитывали, а и всё остальное). вот, собственно, и весь мой опыт в этом...

я во время учёбы пытался. лабораторная работа была. брал программу свою (курсовая за прошлый семестр) и рассчитывал каждую метрику для неё. Потом всё это суммировалось (уже и не помню каким образом) и вычислялся весовой показатель по Надёжности (на самом деле не только показатель Надёжности рассчитывали, а и всё остальное). вот, собственно, и весь мой опыт в этом...

А у тебя нигде не сохранились записи о том, как проходило суммирование?
А сам стандарт ГОСТ 28195-89 у тебя есть в электронном виде?

я во время учёбы пытался. лабораторная работа была. брал программу свою (курсовая за прошлый семестр) и рассчитывал каждую метрику для неё. Потом всё это суммировалось (уже и не помню каким образом) и вычислялся весовой показатель по Надёжности (на самом деле не только показатель Надёжности рассчитывали, а и всё остальное). вот, собственно, и весь мой опыт в этом...

А у тебя нигде не сохранились записи о том, как проходило суммирование?
А сам стандарт ГОСТ 28195-89 у тебя есть в электронном виде?

Стандарт есть... у нас (во время учёбы) был облегчённый вариант - только перечень метрик ))) а в полной версии стандарта, имхо, скоре всего и все алгоритмы рассчёта описаны...

Стандарт есть... у нас (во время учёбы) был облегчённый вариант - только перечень метрик ))) а в полной версии стандарта, имхо, скоре всего и все алгоритмы рассчёта описаны...

Если не трудно, не мог бы ты куда-нибудь его выложить. Или скинуть его мне на почту:
kruchinin@mail15.com

\

Стандарт есть... у нас (во время учёбы) был облегчённый вариант - только перечень метрик ))) а в полной версии стандарта, имхо, скоре всего и все алгоритмы рассчёта описаны...

Если не трудно, не мог бы ты куда-нибудь его выложить. Или скинуть его мне на почту:
kruchinin@mail15.com

\

Попробуй забрать с ftp://ftp1.tusur.ru/incoming/r_28195_89.pdf

Попробуй забрать с ftp://ftp1.tusur.ru/incoming/r_28195_89.pdf

Ссылочка не работает.....

Попробуй забрать с ftp://ftp1.tusur.ru/incoming/r_28195_89.pdf

Ссылочка не работает.....

это Томск, может поэтому у вас и не работает... у меня работает...
2 ARA_BEK: а у вас? работает?

К сожелению у нас на работе закрыли доступ по FTP - так что бреюсь большой бритвой

К сожелению у нас на работе закрыли доступ по FTP - так что бреюсь большой бритвой

Вот, нашёл в инете http://itgost.tlt.ru.../r_28195_89.tif

2 ARA_BEK: ну и как, удалось скачать? разобрались с тем, как считать метрики и сводные показатели?

Скачать скачал, но за остутствием времени пока не смотрел. Посмотрю на выходных

Я вот ещё вспоминаю (пользовались на метрологии ПО во время учёбы) ГОСТ 28195-89.

89-ый год настараживает не правда ли?
Поиск по нормотивно-технической документации на моём предприятии дал следующие ссылки:

ГОСТ 28195-99. Межгосударственный стандарт. ОЦЕНКА КАЧЕСТВА ПРОГРАММНЫХ СРЕДСТВ. Общие положения.
Введён 01.03.2000, взамен ГОСТ 28195-89.



И ещё для информации приведу ссылку около темы:

Государственный стандарт Республики Беларусь. СТБ ИСО/МЭК 9126-2003. Информационные технологии. Оценка программной продукции. Характеристики качества и руководства по их применению. (ISO/IEC 9126:1991, IDT)

Как вы поняли это перевод ISO/IEC 9126:1991 Information technology. Software product evaluation. Quality characteristics and guidelines for their use.

Стандартик не большенький - 10 страничек: определение, схемка, перечень комплексных показателей.

2 Spy: Вы можете поделиться этими стандартами? Если да, то мой email - mahmud@mosk.ru Заранее благодарю!

2 Spy: Вы можете поделиться этими стандартами?

Стандарты у меня только в бумажном виде. Надо сканить, чтобы делиться.
Первый стандарт 45 страниц, второй 10.
Кроме того, права на стандарты принадлежат Госстандарту Республики Беларусь.

Первый стандарт является межгосударственный, принят в ряде стран СНГ. Должен быть и в вашей стране, обратитесь в органы (возможно у вас на работе есть отдел по сопровождению документации - я брал там, наше предприятие подписано на новые поступления из Госстандарта РБ).
Второй стандарт - наш национальный (белорусский) перевод, возможно, в вашей стране есть аналогичный собственный стандарт, естественно - лучше использовать его или оригинал на английском языке - http://iso.ch, если он, конечно, общедоступен.

Рекоммендую в первую очередь обратиться в местные нормативно-творческие органы, библиотеки, ну а в крайнем случае, если уж очень надо, а не лишь бы почитать, то - security@software-testing.ru