Всем огромное спасибо за помощь. Диплом сдал, хоть все-таки меня и поклевали, поставили 5 за хорошую практическую разработку :) Видимо тестированием смог доказать то, что она хорошая :)

Текст диплома выкладывать бессмысленно ибо он один-в-один повторяет мысли литературы, уже указанной в этой теме.

Для тех, кто этим будет заниматься могу посоветовать подход по теории информации: http://mediaterra.ru/ui/un1_ch15.htm Кстати имеет смысл прочитать весь ресурс, несмотря на то, что он во многом повторяет книгу В. Головача.

Ну и рекомендую обратить внимание на ситуационное моделирование в среде MATLAB + Simulink (StateFlow) Этот пакет (StateFlow) позволяет моделировать пользовательские интерфейсы и человеко-машинное взаимодействие. Конечно готовых моделей нет, но построить их возможно и описать взаимодействие юзера и программы на языке моделирования. Ну а после создания модели можно получить с ее помощью практические все показатели которые только можно придумать.

Вот вроде бы и все. Еще раз всем спасибо за помощь, в первую очередь создателям http://software-testing.ru

С помощью OpenSTA удалось найти критическую ошибку, поэтому система сейчас действительно работает с многими пользователями :)

Case, именно не через интерфейс, а самого интерфейса. К этой же проблеме я отношу и продукты, которые помогают тестировать интерфейс не напрямую., а косвенно. Вот например разбираюсь с какой-то штукой в матлабе... заявлено что там можно модели строить для тестирования GUI. Строится графовая структура, параметры всякие и можно запускать. Подробностей пока не знаю...

разберусь если - доложу)

вопрос про приемы и хитрости тестирования юзабилити и удобста пользовательского интерфейса, советы профессионалов так сказать - актуален :)

Временно отсавляю всех тут в покое, до того момента как не появятся новые вопросы. Всех с наступающими праздниками и всего наилучшего.

Согласен, что формализация и создание автоматизированнного средства тестирования пользовательского интерфейса - совершенно другая задача. Однако в книге (http://www.uibook1.ru/) впринципе приведены основные критерии эффективности пользовательского интерфейса. Пусть даже не совсем математические, а больше психологические. Попробую позаниматься именно ими, максимально их формализуя :)

Я так понимаю, средств АВТОМАТИЗИРОВАННОГО тестирования пользовательских интерфейсов нет? Не надо полностью автоматический программ. Есть ли удобные инструменты для тестирования ПИ? Просто если таковые есть, то мне ОБЯЗАТЕЛЬНО надо с ними поработать... :( А потом скажу что я все инструменты для тестирования ПИ просмотрел :)

P.S. По поводу того что я понимаю под тестированием ПИ. Качество ПИ определяется некоторыми показателями, каждые из которых разбиваются на подпоказатели. Вплоть до того, что их можно замерить или оценить (экспертами или еще как-нибудь) Основной набор показателей эффективности я нашел в книге http://www.uibook1.ru/. Часть - в разных статьях. Среди методов измерения есть несколько цифровые GOMS. Плюс насколько я знаю этим на кафедре никто не занимался - что тоже плюс. Никто не шарит, да и тема актуальная для России, как я понимаю :)
вопщем вот :)

Как сложно с моими научруками... сами не знают чего хотят... Поэтому скорее всего я буду тестировать интерфейс пользователя. На это смелое решение повлияла книга "Дизайн Пользовательского Интерфейса". Прочитал и очень понравилось.

Как я понимаю средств автоматизированного тестирования пользовательского интерфейса не существует?

И вообще может кого-то был опыт тестирования именно интерфейса - подскажите основные ошибки новичков и прочие тонкости, на что обратить внимание...
Потому что я пока знаю только то, что прочитал и за плечами у меня ни одного протестированного интерфейса... :(

Прежде всего хочу сказать всем огромное спасибо. Не думал что меня удостоят ответом, причем в такие короткие сроки :)
Спасибо.
Теперь по порядку.
Диплом пишется в одной конторе, которая выступает в качестве заказчика, но защищается на кафедре.
Заказчику пофигу на мою защиту - ему важна система и ее работоспособность. Кафедре пофиг на контору - ей важно чтобы мой диплом содержал некоторую научность, математику, математическое моделирование, решал оптимизационные задачи и т.п. Сами понимаете тот факт что я просто написал информационную систему, которая удовлетворяет заказчика для основной темы диплома не катит. Получается у меня два научрука: из конторы - ему надо система и пофик на диплом как таковой и с кафедры - которому пофик на программы а важна научность и математика. Ввиду того, что их требования противоречивы,а защищаюсь я на кафедре - то приходится ВЫДУМЫВАТЬ научность и высасывать ее из пальца. Заказчик системой впринципе доволен. Так что решаю проблему с кафедрой. Научрук от кафедры предложил покопать тестирование - чем я и успешно занялся :)

Теперь о сути системы. В конторе есть информационная система на базе оракла, для которой я пишу некоторое веб-приложение. Основная задача этого веб-приложение - управление данными существующей информационной системы. Не буду вдаваться в подробности. Однако работа с веб-приложением будет сводиться к выполнению различных операций по извлечению, вставке, обновлению различных таблиц в БД. Написана она с учетом пожеланий заказчика. То есть в собственную базу системы вносятся скрипты и SQL запросы (типа создавая некоторую операцию), а пользователю нужно лишь выбрать нужную операцию и ввести необходимые параметры. Например, операция выборки из базы некоторых значений, где в качестве параметра указывается какой-нить ID. Пользователь выбирает нужную операцию, вводит ID и веб-приложение возвращает ему результат этого SQL запроса.

Задача получилась чисто программисткая, с разработкой базы данных, ER диаграммы и т.п. Вот научрук с кафедры и предложил потестировать созданное веб-приложение автоматическими тестами. Ввиду того что в этой области ни я, ни (как оказалось) он не спецы - то я к в ас и обратился :) Еще раз спасибо что прояснили ситуацию.

Теперь о моем представлении тестирования моей системы.
Основная задача тестирования - удобство пользовательского интерфейса и функциональности. Дополнительные - все остальные.
Подобные системы уже писались, но основной их недостаток - они по сути создавали средство для ввода SQL. Т.е. вместо написания insert into пользователь должен был нажать кнопку "добавить строку" и заполнить необходимые поля. Принципиально эти разработки ничем не лучше (а даже хуже) стандартных SQL-навигаторов (PL/SQL-Developer например).

Вопросы безопасности и защиты от взлома веб-приложения не рассматриваются. Т.е. считает что пользователь не хочет сломать или испортить работу системы. Поэтому защита может быть только "от дурака".

Case, попробую скачать openSTA и сделать то, что Вы рекомендовали. Одна важнейшая и основная транзация в системе есть и как оказалось припараллельном ее вызове система не работает :) Но это я уже обнаружил и исправил вручную.
тул, которому можно доверять... Ммм... Не знаю, это я так выразился. Имел в виду тул, который написан не мной и не конторой, а сторонними разработчиками, т.е. независимо и непредвзято оценивающий работоспособность моей системы.

barancev, основные параметры для оптимизации - удобство и интуитивная понятность интерфейса, а также функциональность. Т.е. система должна решать те задачи, которые на нее возложены. Задачи не описаны при ее создании, ввиду того что система - просто хранилище операций. Каждая операция должна выполнять корректно то действие для которого она написана. Задача системы - обеспечить эту функциональность.
Также наверное интересно ответить на вопросы:
какое максимальное количество человек может пользоваться системой одновременно?
Производительность, среднее время работы системы, время загрузки страниц, выполнения операций.
ну и пр.

SALar, если Вы не против, то я буду Вас цитировать при разговоре с научруком от кафедры :) Почитав за это время кучу дитературы по тестированию - пришел к выводу, что тестирование - отдельная тема для диплома :) Однако диплом надо сдавать именно мой и именно в мае :)

Kaluga, завтра еду разговаривать с научруком от кафедры. Попытаюсь ему объяснить про нереальность тестирования моей проги в качестве научной части работы...

Спасибо всем за отклик и советы. Они действительно для меня оказались бесценны...

Ну и если не затруднит проясните пожалуйста вопрос о тестировании пользовательского интерфейса и так сказать его удобстве для пользователя...
А может кто предложит какую научность сюда можно приписать... :)

Еще раз всем спасибо огромное.

P.S. За это время понял, что в список интересующих меня тем добавлен новый элемент - тестирование :)

Он хочет видеть доказательства того, что система качественная, удобная, способна решать поставленные задачи и не рухнет при критических нагрузках.
Грубо говоря, результат работы какой нибудь автоматизированной тестирующей проги, которой можно доверять (в том смысле что ее можно найти в продаже или скачать нахаляву и результаты ее работы можно обосновать умными словами) То есть сказать что тестировалось, каким образом чему это эквивалентно (в случае стресс-тестов) ну и прочее...

тема диплома еще не окончательно сформулирована :) от научной части и будет зависеть финальное название...
а по поводу того что тестирование - малонаучно... Честно говоря я сам не понял этот факт... но руководитель сказал что можно попробовать - я и пробую...
я так понял им важно факт того, что программа не просто написана, а написана как то качественно :) по методике какой-нить :)

одним словом, я щас экстренно изучаю применимость автоматизированного тестирования к диплому...
ну и очень нада помощь по выбору программного обеспечения для этого процесса... а то их что-то уж очень много...

Здравствуйте...
Возникла такая проблемка... Пишу диплом, в котором создаю некоторое веб-приложение под Оракл. Научный руководитель программой вполне доволен, однако научности в работе никакой, а очень надо... Поступило предложение применить некоторые средства тестирования пользовательского интерфейса (да и всего остальнго) дабы показать что приложение написано качествено и "оптимальным" образом :)

Веб-сервер Apache2, СУБД Oracle9, PHP, python...

Помогите пожалуйста с выбором программного обеспечения для тестирования и помогите с вопросом "что вообще и как тестировать". Сроки поджимают, а я только приблизительно представляю себе сам процесс тестирования... Конечно особое внимание хотелось бы уделить средствам автоматизированного тестирования.

Полазил по сайту, форуму... Очень много различных программных продуктов... Даже и не знаю что выбрать и где бесплатно скачать...