Сообщений в теме: 20

[Tatiana Kachaeva]

Привет всем!
Вот такая у меня проблема: научный руководитель попросил написать статью с описанием автоматизированного тестирования в теории, с использованием мат. моделей. Как он объянил, ему не нужен практический курс, например, как писать тесты на силке, а как писать тесты вообще. И это все надо описать на универсальном языке общения программистов - математике. С автоматизированным тестированием знакома через Силк Тест. Программирую на нем уже почти год. Вот и надо как-то с использованием моих знаний это сделать. Начинала писать несколько раз. Все не получается:( Мне сначала нужно это с кем-то обсудить. Если кому -то это инетресно, буду очень рада послушать Ваше мнение.
С Уважением,
Таня.

[hudson]

Описаний теории по-моему найти можно в достаточном количестве. Что же касается задания - очевидно руководителю важно не само тестирование, а его формализация в виде моделей, в данном случае математических. Их придется строить самостоятельно. Вообще задачка интересная.

Для начала нужно рассмотреть все возможности автоматического тестирования. Выбрать параметры, характеризующие тот или иной подход. Выбрать из них ключевые и попробовать составить их взаимосвязи в виде формул, систем уравнений и т.п. Попробовать разрешить их относительно различных параметров и сделать выводы :) На словах все ой как просто.

[Tatiana Kachaeva]

Для начала нужно рассмотреть все возможности автоматического тестирования. Выбрать параметры, характеризующие тот или иной подход.  Выбрать из них ключевые и попробовать составить их взаимосвязи в виде формул, систем уравнений и т.п. Попробовать разрешить их относительно различных параметров и сделать выводы :) На словах все ой как просто.

Спасибо большое что ответили!
Интересное решение:) Но вот что понимать под "возможности автоматического тестирования"... я не совсем могу на него ответить.
ТУЛ для автоматизации тестов "дает нам возможность(1)" писать скрипты-программные коды, которые выполняют последовательность действия с приложением.
Еще он дает нам "возможность(2)" создавать планы тестирования(т.е. группировать тесты по какому-то логическому свойству. Как правиль автоматизатор их не группирует, это делает тест-дизайнер.)
Также дает нам "возможность(3)" осуществлять тестовые прогоны, т.е. выполнять тесты автоматически, сберегая человеко-часы.
Соответственно, тул также дает нам "возможность(4)" выполнять регрессионное тестирования, нагрузочное тестирование, smoke тестинг...
Как-то пока это все в голове не укладывается... Может их можно как-то совместить? Как думаете?

[hudson]

Тут идея в том, чтобы абстрагироваться от вашего конкретного "тула" и рассматривать не сам процесс тестирования, а в более широком понимании автоматизацию как процесс. Для упрощения понимания можно взять абстрактный программный продукт и смоделировать процесс его разработки, тестирования например на основе RUP.

P.S. Если не секрет, на какой специальности/факультете учитесь? При чем тут тестирование и ваш опыт в целый год? :)

[Tatiana Kachaeva]

Тут идея в том, чтобы абстрагироваться от вашего конкретного "тула" и рассматривать не сам процесс тестирования, а в более широком понимании автоматизацию как процесс. Для упрощения понимания можно взять абстрактный программный продукт и смоделировать процесс его разработки,  тестирования например на основе RUP.

Мда... Вот это сложно. Но спасибо за идею. Ключевое здесь - "автоматизация как процесс ". Надо подумать.

P.S. Если не секрет, на какой специальности/факультете учитесь? При чем тут тестирование и ваш опыт в целый год? :)

абсолютно не секрет. Факультет ВМК, прикладная математика и информатика, специальность системный программист. Закончила в этом году. Но продолжаю общение с науч. рук. для поступления в аспирантуру в след. году. Опыт год на силке должен был сказать, что близкое знакомство хоть с одним тулов автоматизации тестирования присутствует. Только и всего.

[Tatiana Kachaeva]

Какие системы моделирования процессов у нас вообще есть? И как в этих системах можно представить автоматизацию?

[hudson]

Мда... Вот это сложно. Но спасибо за идею. Ключевое здесь - "автоматизация как процесс ". Надо подумать.

Именно - для формализации одна частность не может быть рассмотрена, т.к. предполагается построить именно обобщенную модель при каких-то ограничениях/идеализациях (эти ограничения тоже важны, так как могут значительно упростить модель, давая при этом приемлемые результаты).

абсолютно не секрет. Факультет ВМК, прикладная математика и информатика, специальность системный программист. Закончила в этом году. Но продолжаю общение с науч. рук. для поступления в аспирантуру в след. году. Опыт год на силке должен был сказать, что близкое знакомство хоть с одним тулов автоматизации тестирования присутствует. Только и всего.

В чем-то коллеги - я закончил ПриМат по специальности инженер-математик. :)

Какие системы моделирования процессов у нас вообще есть? И как в этих системах можно представить автоматизацию?

Тестирование, в том числе и автоматизированное - часть процесса разработки. Нужно исходить от моделей жизненного цикла ПО имхо

[Tatiana Kachaeva]

Вот тут есть про модели жизненного цикла ПО
http://itc.ua/article.phtml?ID=21072
Попробую что-дь оттуда вытащить...

[hudson]

Вот тут есть про модели жизненного цикла ПО
http://itc.ua/article.phtml?ID=21072
Попробую что-дь оттуда вытащить...

Да, для начала сойдет. Причем ориентироваться нужно на современные модели.

[Mike]

С моей точки зрения, есть 2 интересных приложения математики к автоматизированному тестированию. Первое - автоматизированное тестирование на основе моделей (формальных спецификаций) - model-based testing. Для этого обычно применяют теорию конечных автоматов. Этим направлением, в частности, занимается Институт Системного Программирования РАН (коллега Алексей Баранцев). Думаю, на сайте института можно найти много интересных статей по теме. Также, как и прогуглив по словосочетанию model-based automated testing. В моей статье также даются ссылочки на несколько статей по теме.

Второе интересное (точнее, актуальное) приложение - более приземлённое - оценка эффективности внедрения автоматизации тестирования в проекте, а также возможность просчитать заранее эффект от внедрения автоматизации (понятно, что эффективность зависит от технологии/методики автоматизации, используемых инструментов и т.д.). То есть, нужна методика расчёта. Статьи на эту тему также несложно найти. Правда, какую именно математику тут можно применить - затрудняюсь - то что я видел оснавано на довольно эмперических формулах.

Сообщение отредактировал Mike: 16 октября 2006 - 13:53

[hudson]

С моей точки зрения, есть 2 интересных приложения математики к автоматизированному тестированию. Первое - тестирование с использованием на основе моделей.

Теоретически формализовать можно все - нужно выбрать критерии и вперед... Получается интересное направление исследований - математический контроль качества :)

Да, Mike прав, начать наверное проще всего с оценки эффективности, с целевых функций. На основе этого можно попробовать построить оптимизационные модели.

[Tatiana Kachaeva]

Спасибо вам большое за ответы!
Ваши рассуждения дали мне направление поиска. Сейчас буду работать с литературой.Как что-то определенное будет(или просто интересное для вашего внимания по этой теме), обязательно выложу сюда.

[hudson]

Думаю многим будет небезынтересно ознакомиться! Ждем с нетерпением :)

[barancev]

Если Вам нужны примеры, как писать про тестирование, чтобы там была "математика" -- их есть у нас, вот тут ищите: http://www.citforum.ru/SE/testing/

И ещё почитайте книжку Бейзера "Тестирование чёрного ящика", может оказаться, там уже написано всё, что научный руководитель хочет от Вас получить :)

[Strogoff]

Если Вам нужны примеры, как писать про тестирование, чтобы там была "математика" -- их есть у нас, вот тут ищите: http://www.citforum.ru/SE/testing/

Афтар +1. Полистал ... интересно ... повторяю "вышку" ... начинаю читать!

[hudson]

Спасибо вам большое за ответы!
Ваши рассуждения дали мне направление поиска. Сейчас буду работать с литературой.Как что-то определенное будет(или просто интересное для вашего внимания по этой теме), обязательно выложу сюда.

Татьяна, как успехи? :) Поделитесь с общественностью

[Tatiana Kachaeva]

Привет еще раз всем!
Я, помнится, обесчала выложить сюда все накопанные мной материалы.
В процессе поиска я столкнулась с model-based теститингом. Мне эта тема показалась подходящей и до жжути интересной.
Началось ее изучение со статьи, написанной Майком, лежит вот здесь:
http://www.software-....ru/lib/davydov Там самая первая статья.
В статье Майка есть ссылка на статью Гарри Робенсона - intelligent testing. В ней рассматриваются преимущества подхода к автоматизации у тестировщиков. Собственно выделяется несколько их типов.
Далее источником литературы по этой теме является САМ Гарри Робенсон.
Он прислал мне ссылки на две свои статьи:
Here is a very good article on the Chinese Postman algorithm (including explanation of an implementation), http://www.uclic.ucl...cpp/SPAEcpp.pdf , and here is my earlier paper describing an overview of Chinese Postman for testing, http://www.geocities...model-based.htm.
Лучше начинать читать со второй. Потом попробовать первую.
Но у меня и по этим статьям еще полно вопросов. Так до конца и не могу разобраться с алгоритмами, которые здесь описаны. Предлагаю также завести тему для обсуждения представленных здесь статей.
С уважением, Таня.

[barancev]

В процессе поиска я столкнулась с model-based  теститингом. Мне эта тема показалась подходящей  и  до жжути интересной.

Ну что ж, добро пожаловать в клуб любителей MBT!

[hudson]

Привет еще раз всем!
Я, помнится, обесчала выложить сюда все накопанные мной материалы.
В процессе поиска я столкнулась с model-based  теститингом. Мне эта тема показалась подходящей  и  до жжути интересной.

Спасибо за интересный обзор литературы - обязательно ознакомлюсь :)

[Tatiana Kachaeva]

В процессе поиска я столкнулась с model-based  теститингом. Мне эта тема показалась подходящей  и  до жжути интересной.

Ну что ж, добро пожаловать в клуб любителей MBT!

Да, вот тут только с одной проблемой столкнулась... Сначала начала разбирать алгоритмы обходы графа, которые применяют в тестировании. Китайского почтальона,например, и другие, которые описываются в приведенных мной статьях. С помощью Гарри Робенсона разобралась. Он мужественно отвечал на все мои вопросы в течение недели. Но! Когда я ему написала письмо с просьбой помочь правильно построить модель программы...
Вот информационная часть письма:
I have a task. I need to apply model-based to our project. It's web site.(Hotwire, may be I've mentioned it earlier).
I've tried to share program on states(nodes) and tried to mark actions(links) but there is a problem. How I can be sure that my model is the simplest and full and it can be realized? My nodes(states) contains too much information. I mean that it can be devided(shared) on other nodes. Is it ok?
And I 'm not sure I understand what is to create GOOD(CORRECT) model? What does it look like? What conditions on nodes and links does it have and etc.?
Is there any theory, articles to help me?
And, finally,
How should I represent the model? UML?
Of course I can represent model as digraph(nodes+links). But there is another diificulty:how to create system (machine) to walk on it?The machine which can walk though the digraph,choose links and decide right we or we not, or just chhose links according to one of the algorithms we've already talked about.
So much questions and it is not enough answers...
Ну вообщем он мне не ответил на мое письмо... Может здесь сработала этика, неразлашение принципов и т.д. Надеюсь,мне повезет, и здесь найдутся люди, готовые поделиться знаниями по практическому применению технологии model-based. Мне было бы очень интересно глубже в этом разобраться.
С Уважением,
Таня.