Тема диссертации
#21
Отправлено 29 февраля 2008 - 06:23
Лучше даже смотреть не на UniTESK как инструмент/технологогию, а на тесты, сделанные по этой технологии. Например, вот здесь: http://linuxtesting....sults/testsuite
to LeshaL:
Вы не в Интеле случайно работаете? Или таки в Сан? Два с половиной года тому назад мы вели переговоры с Интел, чтобы сделать совместными усилиями тестовый набор для Java API, но в конце концов они передумали. То ли решили сами сделать, то ли совсем отказались от этой мысли. А у нас, кстати, остались после пилотного проекта спецификации и тесты для отдельных частей Java API и интерфейсов к JVM.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#22
Отправлено 29 февраля 2008 - 07:51
Таки в Сане :) Мне казалось, что я в своем профайле писал об этом...но как оказалось нет.to LeshaL:
Вы не в Интеле случайно работаете? Или таки в Сан? Два с половиной года тому назад мы вели переговоры с Интел, чтобы сделать совместными усилиями тестовый набор для Java API, но в конце концов они передумали. То ли решили сами сделать, то ли совсем отказались от этой мысли. А у нас, кстати, остались после пилотного проекта спецификации и тесты для отдельных частей Java API и интерфейсов к JVM.
А о каком Java API идет речь? Обычно все это идет через Java Community Process. Может быть там есть JSR, соотвествующий JavaAPI, про который вы говорите. А там написано, какая контора для JSR спек лид - обычно и ТСК там же делают.
Alexey
#23
Отправлено 01 апреля 2008 - 08:53
PS: Ты киевлянин?
#24
Отправлено 09 июня 2008 - 07:36
Что вы думаете о такой программе (можно ее и как тему забахать): проходит по тексту программы (исходным кодам) и составляет функции оракулов, анализируя исходный код приложения. То есть на выходе будет отчет вида "множество входов - множество выходов". Что вы об этом думаете? Может уже что-то подобное есть? Буду рад развить дискуссию :)
#25
Отправлено 09 июня 2008 - 11:55
Воскресим эту тему :)
Что вы думаете о такой программе (можно ее и как тему забахать): проходит по тексту программы (исходным кодам) и составляет функции оракулов, анализируя исходный код приложения. То есть на выходе будет отчет вида "множество входов - множество выходов". Что вы об этом думаете? Может уже что-то подобное есть? Буду рад развить дискуссию :)
Во-первых, с какой целью планируется использовать такую программу? Поскольку обычно оракул - это то, что имеется до реализации требований в программном коде, и используется как раз для проверки корректности данной реализации.
Во-вторых, насколько сложную программу Вы собираетесь анализировать? Надеюсь, Вы в курсе: об объектно-ориентированных языках, о том, что Windows событийно-ориентированна; о многопоточности; о параллельных и распределённых вычислениях; о службах, очередях, SOA и т.д.?
Это я к тому, что лично я не рискнул бы на основе кода пытаться восстановить бизнес-процессы, которые требовалось автоматизировать. По-крайней мере те, с которыми я работал.
InfoTeCS
#26
Отправлено 09 июня 2008 - 13:05
Воскресим эту тему :)
Что вы думаете о такой программе (можно ее и как тему забахать): проходит по тексту программы (исходным кодам) и составляет функции оракулов, анализируя исходный код приложения. То есть на выходе будет отчет вида "множество входов - множество выходов". Что вы об этом думаете? Может уже что-то подобное есть? Буду рад развить дискуссию :)
Во-первых, с какой целью планируется использовать такую программу? Поскольку обычно оракул - это то, что имеется до реализации требований в программном коде, и используется как раз для проверки корректности данной реализации.
Во-вторых, насколько сложную программу Вы собираетесь анализировать? Надеюсь, Вы в курсе: об объектно-ориентированных языках, о том, что Windows событийно-ориентированна; о многопоточности; о параллельных и распределённых вычислениях; о службах, очередях, SOA и т.д.?
Это я к тому, что лично я не рискнул бы на основе кода пытаться восстановить бизнес-процессы, которые требовалось автоматизировать. По-крайней мере те, с которыми я работал.
На первый вопрос: согласитесь, проще сравнивать два оракула (до и после), нежели прогонять функции оракулов.
На второй: это концепция, а не законченная программа. И ведь в Rational Robot (например) есть возможность восстановления бизнес-логики из исходных кодов (кривовато правда, ну да ладно).
#27
Отправлено 10 июня 2008 - 06:16
InfoTeCS
#28
Отправлено 10 июня 2008 - 07:12
2 Solnik: забыл добавить, что стоит также определиться для какого уровня тестирования данная утилита будет применяться: модульного, интеграционного, системного или всех сразу?
В основном модульного. Интеграционное можно проводить уже получив функции оракулов для отдельных модулей. Системное? Не, для системного использовать не предполагается.
#29
Отправлено 10 июня 2008 - 12:16
В основном модульного. Интеграционное можно проводить уже получив функции оракулов для отдельных модулей. Системное? Не, для системного использовать не предполагается.
В таком случае (безотносительно каких-то дипломных работ) в реальной жизни лучше побороться за документированность кода и полноту архитектурных спецификаций.
InfoTeCS
#30
Отправлено 11 июня 2008 - 07:53
относительно предложенной идеи? Плюс не всегда эта возможность есть (возможность побороться за документированность). Сейчас веду проект (поддержку), которому уже 10 лет, и начинал он писаться без этих самых требований к коду. Соответственно мне сейчас придется либо руками проходить по коду (программер из меня не очень), либо поднимать вопрос о полном ревьюинге кода (дело конечно хорошее, но требующее ресурсов). Вот и возникла идея об автоматизации данного процесса....в реальной жизни лучше побороться за документированность кода...
#31
Отправлено 15 июня 2008 - 08:54
Что вкладывается в фразу
относительно предложенной идеи? Плюс не всегда эта возможность есть (возможность побороться за документированность). Сейчас веду проект (поддержку), которому уже 10 лет, и начинал он писаться без этих самых требований к коду. Соответственно мне сейчас придется либо руками проходить по коду (программер из меня не очень), либо поднимать вопрос о полном ревьюинге кода (дело конечно хорошее, но требующее ресурсов). Вот и возникла идея об автоматизации данного процесса....в реальной жизни лучше побороться за документированность кода...
Вы честно считаете, что стоимость (время + деньги) данного инструмента будет дешевле, чем ручное восстановление требований?
Плюс, нужно учитывать, что полученные результаты также нужно будет анализировать на достоверность, отсеивать лишнее и, скорее всего, что-то но будет пропущено.
На чем вы собираетесь тестировать функциональность такого тула? Ведь для его проверки нужно иметь изначальные требования. Так что Ваш 10-летний код для этого не подойдёт.
InfoTeCS
#32
Отправлено 16 июня 2008 - 10:34
1) MS пытается изобрести инструмент, который в какой-то мере совмещает анализ кода с генерацией тестов: http://research.microsoft.com/pex/. На автоматическую генерацию оракулов они, конечно, не замахиваются, но зато делают символьные вычисления, то есть анализируют не только потоки управления, но и потоки данных, что для генерации наборов входных данных большой плюс.
2) Недавно закрывшаяся компания Agitar делала инструмент Agitator, который в процессе выполнения кода анализировал входные и выходные данные и пытался на основании этой информации сделать оракулы и юнит-тесты. Но без статического анализа кода. То есть если при ручном выполнении какие-то участки кода не отрабатывали, то и оракулов для них не будет. Кроме того, иногда умная машинка "угадывает" неправильно, но можно вручную подкорректировать результаты анализа.
Тренинги для тестировщиков (тестирование производительности, защищенности, тест-дизайн, автоматизация):
Линейка тренингов по Selenium
#33
Отправлено 17 июня 2008 - 09:53
barancev, спасибо за ценные наводки. Посмотрю подробнее цели и результаты подобных анализов.
#34
Отправлено 16 сентября 2008 - 07:15
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных