Перейти к содержимому

Фотография

Сколько времени выполняется среднестатистический автотест?


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 45

#41 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 01 октября 2014 - 08:28

Нет, в ISO 9001 такого тоже нет. Это вообще не айтишный стандарт, а гораздо более универсальный. На соответствие ему сертифицируются всякие молочные комбинаты и химзаводы. Ну вы просто не поленитесь, в сам стандарт загляните, на первую страницу:

 

ISO 9001:2008 specifies requirements for a quality management system where an organization

  • needs to demonstrate its ability to consistently provide product that meets customer and applicable statutory and regulatory requirements, and
  • aims to enhance customer satisfaction through the effective application of the system, including processes for continual improvement of the system and the assurance of conformity to customer and applicable statutory and regulatory requirements.

All requirements of ISO 9001:2008 are generic and are intended to be applicable to all organizations, regardless of type, size and product provided.

 

 

Вам кто-то своё личное мнение выдаёт за якобы "требования стандартов" :)


  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#42 razielsd

razielsd

    Новый участник

  • Members
  • Pip
  • 32 сообщений


Отправлено 01 октября 2014 - 10:29

9001 это общий стандарт, но есть его реализация для ПО


  • 0

#43 barancev

barancev

    Администратор

  • Admin
  • PipPipPipPipPipPip
  • 6 871 сообщений
  • ФИО:Алексей Баранцев
  • Город:Россия, Москва


Отправлено 01 октября 2014 - 13:02

Есть. Но он лишь чуть менее общий. Давайте я просто скопирую сюда полностью главу из этого стандарта, где написано собственно про тестирование:

 

7.3.6 Design and development validation
Design and development validation shall be performed in accordance with planned arrangements (see 7.3.1) to
ensure that the resulting product is capable of meeting the requirements for the specified application or intended use,
where known. Wherever practicable, validation shall be completed prior to the delivery or implementation of the
product. Records of the results of validation and any necessary actions shall be maintained (see 4.2.4).
 
7.3.6.1 Validation
Validation of software is aimed at providing reasonable confidence that it will meet its operational requirements.
Before offering the product for customer acceptance, the organization should validate the operation of the
product in accordance with its specified intended use, under conditions similar to the application environment,
as specified in the contract. Any differences between the validation environment and the actual application
environment, and the risks associated with such differences, should be identified and justified as early in the life
cycle as possible, and recorded. In the course of validation, configuration audits or evaluations may be
performed, where appropriate, before release of a configuration baseline. Configuration audits or evaluations
confirm, by examination of the review, inspection and test records, that the software product complies with its
contractual or specified requirements. This may require analysis, simulation or emulation where validation is not
practicable in operational conditions.
In software development, it is important that the validation results and any further actions required to meet the
specified requirements are recorded, and checked when the actions are completed.
In some cases, it may not be possible, or feasible, to validate fully the software product by measurement and
monitoring. An example may be where safety-related software cannot be tested under actual circumstances
without risking serious consequences, or perhaps the actual circumstances themselves are rare and difficult to
simulate.
The inability to test some software products exhaustively and conclusively may lead the organization to decide
a) how confidence can be gained from the development and tools used, and
b) what types of testing or analysis can be performed to increase confidence that the product will perform
correctly under the “untestable” circumstances, e.g. static code analysis.
Whatever methods are used, they should be commensurate with the risk and consequences of design and 
development failures.
 
7.3.6.2 Testing
Validation may often be performed by testing. Testing may be required at several levels, from the individual
software item to the complete software product. There are several different approaches to testing, and the
extent of testing and the degree of controls on the test environment, test inputs and test outputs may vary with
the approach, the complexity of the product and the risk associated with the use of the product. Test planning
should address test types, objectives, sequence and scope of testing, test cases, test data and expected
results. Test planning should identify the human and physical resources needed for testing and define the
responsibilities of those involved.
Specific testing for software includes establishing, documenting, reviewing and implementing plans for the
following:
a) unit tests, i.e. stand-alone tests of software components;
b) integration and system tests, i.e. tests of aggregations of software components (and the complete system);
c) qualification tests, i.e. tests of the complete software product prior to delivery to confirm the software meets
its defined requirements;
d) acceptance tests, i.e. tests of the complete software product to confirm the software meets its acceptance
criteria.
Regression testing should be performed to verify or validate that the capabilities of the software have not been
compromised by a change.
Acceptance tests are those that are performed for the customer's benefit with the aim of determining the
acceptability of the product. Acceptance may be with or without defects or deviations from requirements, by
agreement of the parties involved.
Testing tools and the environment to be used should be qualified and controlled, and any limitations to testing
recorded.
Testing procedures should cover recording and analysis of results as well as problem and change management

 

 

Ну и мы отклонились, если интересно это дальше обсуждать -- предлагаю выделить в отдельную тему.


  • 0
Алексей Баранцев
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium

#44 razielsd

razielsd

    Новый участник

  • Members
  • Pip
  • 32 сообщений


Отправлено 02 октября 2014 - 04:47

Думаю не стоит в отдельную тему, как-нибудь попозже попробую объяснить подробно почему у нас такие требования т.к. сам в этих стандартах совершенно не разбираюсь, но надеюсь со временем найти время и подробнее разобраться в этих стандартах, вот только когда это время появится непонятно :(


  • 0

#45 LOLWUT

LOLWUT

    Новый участник

  • Members
  • Pip
  • 22 сообщений
  • ФИО:Lol Wut

Отправлено 17 октября 2014 - 13:48

Коллеги, расскажите, сколько времени у вас выполняется среднестатистический автотест?

4245 тестов, 278 секунд, одна машина.

0,065 секунды на тест. Можно и быстрее, но там тест на 260 секунд :(

 

Впрочем статистика  не показательна - тесты бывают совсем разными. :)


  • 0

#46 Demetri

Demetri

    Активный участник

  • Members
  • PipPip
  • 143 сообщений
  • ФИО:Дмитрий
  • Город:Podgorica, MNE


Отправлено 30 октября 2014 - 09:09

Добавлены новые тесты, проведена оптимизация. Теперь есть 2859 функциональных тестов (UI + безбраузерные, http-запросами) за 168 минут = 3,5 секунды на тест. Сам удивился :)


  • 0
Hi! I'm a signature virus. Copy me into your signature to help me spread.


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных