Сообщений в теме: 23

[KaNoN]

Доброго времени суток.

Мы (я и Genka) в настоящий момент пишем небольшую книгу/справочник по СилкТесту. Там мы планируем осветить все этапы автоматизации сценария тестирования, начиная с подготовки среды, описания фреймов, написания скриптов и вплоть до различных приемов, решений и прочих хитростей, которые в последствии могут упростить работу с SilkTest-ом. Мы конечно не расчитываем, что у этой книги будет большое количество читателей, но все-таки частенько приходят люди и обращаются за помощью. И подобная книжка вполне бы им помогла.

Скажите, какие вопросы и проблемы вы хотели бы видеть описанными там. С какими трудностями вы сталкивались в процессе изучения СилкТеста? Что вы не могли понять, будучи новичком, но что вам кажется элементарным сейчас?
Может возникали какие-то проблемы, для которых не нашлось красивого решения и приходилось искать обходные пути.
На что посоветуете обратить особое внимание?

Короче, любые предложения приветствуются. Может быть в процессе написания нам удастся найти ответы на интересующие вас вопросы.
Книга будет выложена для свободного доступа всем желающим.

[VegaX]

Молодцы!

А насчет вопросов, которые должны быть высветлены, то их свободно можно найти в этом форуме

Я думаю, что стоит остановится отдельно в различии Силк теста от других языков. Т.е. такие подходы в нем, которые не используются в других языках програмирования, как например Тест план. А также на таких вопросах, которые слабо освещены в справке к Силк Тесту.

[KaNoN]

А насчет вопросов, которые должны быть высветлены, то их свободно можно найти в этом форуме

Естественно, оттуда много чего интересного можно выдрать для разбора, но там далеко не все. Есть же случаи, когда решение проблемы было найдено, но оно несколько кривовато или работает нестабильно и человеку бы хотелось найти более пристойное решение (ну это один из моментов, которым мы интересуемся в данной теме).

Я думаю, что стоит остановится отдельно в различии Силк теста от других языков. Т.е. такие подходы в нем, которые не используются в других языках програмирования, как например Тест план. А также на таких вопросах, которые слабо освещены в справке к Силк Тесту

Замечательно, на этих моментах безусловно внимание будет акцентировано

[Scorpibear]

Интересно было бы увидеть обзор различных решений для борьбы с нестадартными объектами, который SilkTest не видит в лоб. Т.е. что делать, если элемент распознаётся как CustomWin. Что делать, если элемент не виден вообще.
Что касается азов, то они хорошо описаны в help'e, и на этом заостряться нет смысла.
Книга И.Винниченко "Автоматизация процессов тестирования" хороша, но почти все из написанного можно найти в help'e и те, кто поработал месяц-два в плотную найдут не много в ней полезного. Самое интересное, что я там нашёл в свое время - это раздел "Работа с нестандартными объектами в SilkTest". Однако 3-х страниц было недостаточно для обзора всех решений.
Хорошо было бы остановиться отдельно на вопросе автоматизации тестирования web-приложений. Их становиться все больше и больше, автоматизация имеет свои особенности, поэтому это необходимо осветить. В основном - какие проблемы возникали и как они решались.
Работа с Excel - тоже интересный вопрос. Хотя Silk работает через стандартный ODBC драйвер, есть свои особенности. Не одну шишку пришлось набить в свое время, исправляя ошибки касательные чтения excel файлов. Например, кто бы мог подумать, что Silk будет вылетать, если в читаемом Excel файле одна из ячеек редактируется? Интересные обходы пришлось искать при использовании числовых значений в ячейках наряду со строковыми.

[Case]

Коллеги, не хотите из этого новость сделать? И людей привлечём к событию и вам потом отступать некуда будет :)

В люом слечае - дайте знать когда появиться что-то что можно публиковать а Сервере.

[KaNoN]

Коллеги, не хотите из этого новость сделать? И людей привлечём к событию и вам потом отступать некуда будет :)

В люом слечае - дайте знать когда появиться что-то что можно публиковать а Сервере.

Как новость это делать не нужно.
Безусловно мы дадим знать, когда книга будет более-менее завершенной. Для этого и задумывалось.

[VegaX]

Интересные обходы пришлось искать при использовании числовых значений в ячейках наряду со строковыми.

А не подскажете какие?
Я как раз с такой проблемой сталкивался. Решение нашел такое - все поля в этой колонике сделать в Екселе текстовыми. А потом распределял уже в Силке. Есть ли другие решения?

[KaNoN]

Я как раз с такой проблемой сталкивался. Решение нашел такое - все поля в этой колонике сделать в Екселе текстовыми. А потом распределял уже в Силке. Есть ли другие решения?

Конечно есть. А что мешает? Такие функции, которые извлекают уже готовые данные, например DB_FetchNext(...), работают с ANYTYPE и соответственно эти данные можно преобразовывать как нужно. Другое дело, как узнать какой тип данных используется для значений той или иной ячейки.

Да, действительно тема стоит отдельного рассмотрения

[VegaX]

А что мешает? Такие функции, которые извлекают уже готовые данные, например DB_FetchNext(...), работают с ANYTYPE и соответственно эти данные можно преобразовывать как нужно.

Я теперь этим практически не пользуюсь... Но насколько я помню проблема было именно в том что ANYTYPE в этом случае не срабатывал. И выдавало ошибку о несовместимости типов если в колонке один тип данных заменялся на другой. Поэтому мне и пришлось приводить принудительно колонку в текстовый тип данных!

Извините, что задаю вопросы не по данной теме

[Scorpibear]

Интересные обходы пришлось искать при использовании числовых значений в ячейках наряду со строковыми.

А не подскажете какие?
Я как раз с такой проблемой сталкивался. Решение нашел такое - все поля в этой колонике сделать в Екселе текстовыми. А потом распределял уже в Силке. Есть ли другие решения?

Так и есть - если значения в одной колонке разного типа, то приходится делать их все текстовые. При чтении, проверять, что мы прочитали. Если значение начинается с цифр - тогда с помощью Val() приводим к INTEGER.

[Scorpibear]

Бывает ещё несколько другая проблема - все значения в колонке Excel вроде как цифры, однако вываливается эксепшн “*** Error: (HY000) [Microsoft][ODBC Excel Driver] Numeric field overflow.”. Чтобы обойти эту проблему, приходится идти на следующую хитрость:

Устанавливаю формат ячеек в ‘Number’ на некоторое время и значение “Decimal values” в 2. После этого все истинно целочисленные значения будут иметь .00 в конце. Если некоторые ячейки не содержат .00, то они храняться к строки. Редактируем эти ячейки и просто нажимаем ввод для преобразования. После этого устанавливаем формат всех ячеек в колонке в ‘General’ формат.

[Scorpibear]

Ещё одна тема, которую интересно было бы увидеть в книге - это работа с динамическим содержимым. Например, автоматизация http://google.com предполагает, что все линки будут определятся на лету. Казалось бы Google.HtmlLink("названия линка") и всего делов! Ан-нет. Если caption линка содержит спецсимволы, то тэг отличается от того, что мы видим на экране. В свое время пришлось написать функцию ConvertForTag() для такого преобразования видимого названия элемента в его tag caption.

[KaNoN]

Ещё одна тема, которую интересно было бы увидеть в книге - это работа с динамическим содержимым. Например, автоматизация http://google.com предполагает, что все линки будут определятся на лету. Казалось бы Google.HtmlLink("названия линка") и всего делов! Ан-нет. Если caption линка содержит спецсимволы, то тэг отличается от того, что мы видим на экране.

Нечто подобное будет включено. Конкретно данная задача имеет множество не очень-то стабильных решений, расчитанных на выполнение определенных условий, например то, что окно содержит только линки, которые и визуально воспринимаются как таковые (например мне попадался фрейм, в котором было куча фейковых линков и какой они реально смысл имеют - непонятно).

В разделе для веб приложений это будет включено наряду с работой с динамическими таблицами.

[Genka]

(например мне попадался фрейм, в котором было куча фейковых линков и какой они реально смысл имеют - непонятно).

Ууу, брат, это ты порносайт тестил... :)

[KaNoN]

Ууу, брат, это ты порносайт тестил... :)

О боже, у нас на фирме порносайты разрабатывают?!!!!

Я теперь этим практически не пользуюсь... Но насколько я помню проблема было именно в том что ANYTYPE в этом случае не срабатывал. И выдавало ошибку о несовместимости типов если в колонке один тип данных заменялся на другой. Поэтому мне и пришлось приводить принудительно колонку в текстовый тип данных!

Решений может быть множество. Вы же не забывайте, что источником данных могут быть не только Excel - таблицы, но и Access, например. А ведь данные они хранят по-разному. Поэтому и выкрутки свои, специфические.

Извините, что задаю вопросы не по данной теме

Все нормально. Одним из пунктов, которые мне хотелось увидеть освещенными в данной теме, было описать различные трудности, с которыми приходилось сталкиваться при работе с СилкТестом и как эти трудности решались (хотя бы частично).

[CVD]

Идея очень хорошая и полезная.
У меня пока ничего дельного нету, но книгу почитал бы с удовольствием.
Пишите и обрящете!!!;-)
Ждемс...

[Genka]

чтоб не забыть: описать ситуацию, когда некоторый диалог бокс, который может быть даже и не виден для пользователя, закрывает другие контролы
(Z-ordering)

из-за этого при просмотре контролов через Record - window declaration при наведении указателя мыши на нужный нам контрол он не подсвечивается в списке объектов

решение: Record -> Window declaration - > Paste to Editor, после чего Record -> Testcase и поклацать по этим контролам

в записанном тесткейсе будет видна иерархия. как добраться до невидимых контролов

[VegaX]

решение: Record -> Window declaration - > Paste to Editor, после чего Record -> Testcase и поклацать по этим контролам

А я в этих случаях использую Record -> Window Indentifier, а там уже тагам разбираю...

[Scorpibear]

Было бы неплохо предупредить читателя о вредности тотального пользования Record. Далеко ведь не все можно записать, и много багов в Силке есть по этому поводу. Например, некоторые элементы окошка не подсвечиваются, используя Record Window Declarations диалог, хотя и прекрасно распознаются. Вообще, надо приучаться к автоматизации в слепую, без всяких там визардов - просто смотришь на приложение и пишешь код, так как знаешь, как Silk это видит. После нескольких месяцев непрерывной автоматизации я и мои коллеги к этому пришли. Конечно, бывает полезно знать мнение Silk'a на этот счёт, но последнее слово всегда за тобой :).

Поэтому в книге стоит уделить внимание возможности переиспользования фрэймов, функций и тесткейсов. Как их дизайнить так, чтобы не пришлось потом тратить много усилий на поддержку. Например, не полезно, и даже вредно описывать декларации объектов, которые сейчас не используются в тестах, но "возможно пригодяться потом и я знаю как их описать". Какого они будут нужны, если GUI приложения меняется каждый билд? Кто-то скажет, зачем такое автоматизировать вообще, нужно иметь стабильный GUI, однако это бывает только в сказках и в Tutorial'aх.

Поэтому один из принципов - писать минимум кода для работы теста. Перекликается с принципом экстремального программирования - "вам это не понадобится". Простейшее решение работающее сейчас - вот что нужно.

[Genka]

Например, не полезно, и даже вредно описывать декларации объектов, которые сейчас не используются в тестах, но "возможно пригодяться потом и я знаю как их описать". Какого они будут нужны, если GUI приложения меняется каждый билд? Кто-то скажет, зачем такое автоматизировать вообще, нужно иметь стабильный GUI, однако это бывает только в сказках и в Tutorial'aх

не согласен
это справедливо в том случае, если автоматизация тестирования происходит одновременно с разработкой приложения

к примеру у нас написание скриптов происходит сейчас, когда большая функциональность приложения уже готова и работает
поэтому при описании фрейма описывабся все объекты, которые там есть
иногда пишется даже функциональность "на будущее"

да, изменения в ГУИ есть, иногда приходится переделывать весь фрейм, но это происходит далеко не каждый билд
тотальное изменение фреймов проводилось. пожалуй, раза 3-4 за два года

но, конечно, указать это надо будет, спасибо большое =)