Перейти к содержимому

Фотография

Новый курс "Подходы к разработке тестового фреймворка"


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 21

#1 Rebz

Rebz

    Опытный участник

  • Members
  • PipPipPipPip
  • 471 сообщений


Отправлено 17 декабря 2012 - 10:45

Все началось сегодня утром, когда в почту пришла рассылка software-testing.ru с анонсами своих тренингов на первый квартал 2013 года.
Сразу бросилось в глаза, что появился новый тренинг по TestComplete от неизвестных до селе авторов.
Почему неизвестных? Лукавлю :) Автора тренинга я уже где-то видел... да, точно, стратоплан: http://www.stratopla...t-testcomplete/
Почитав содержимое я немного удивился - да кто использует Keyword testing и ODT?!

Теперь тренинг есть и на этом портале. Странно, конечно. Обычно все авторы тренингов software-testing.ru тусуются на этом же форуме, отвечают на вопросы, помогают и т.д. Авторов нового курса я ниразу не видел здесь.

Вышла статья - ODT и KDT в TestComplete: миф или реальность? от автора нового курса. "Ну хорошие выводы сделаны, имхо. Использовать данные методики не имеет смысла", - такая была первая мысль у меня.

А теперь сам вопрос, который мне не надёт покоя - кто из участников уважаемого форума использует в своем фреймворке ТестКомплита Keyword testing и ODT?
Вопрос связан с целесообразностью подобного курса. Название громкое, но вот подходы не очень..
  • 0

#2 XXX

XXX

    Опытный участник

  • Members
  • PipPipPipPip
  • 284 сообщений
  • ФИО:Денис Викторович
  • Город:Санкт-Петербург


Отправлено 17 декабря 2012 - 10:56

Keyword testing даже не пытался осваивать, сразу стал использовать Script.
а что имеете против ODT ? )
  • 0

#3 Rebz

Rebz

    Опытный участник

  • Members
  • PipPipPipPip
  • 471 сообщений


Отправлено 17 декабря 2012 - 11:07

Keyword testing даже не пытался осваивать, сразу стал использовать Script.
а что имеете против ODT ? )

Как сказать, я, как и автор статьи, пришел к выводу что это не вариант. Редактор классов в ТестКомплите не парадовал, куда лучше их, действительно, создавать скриптовыми языками, чем использовать встроенный вариант. Он жутко не удобен. Имхо. Может у кого-то действительно есть тесткомплитовское ODT в фреймворке? Я не считаю, что прав, если кто-то использует ODT и оно его полностью устраивает - супер! Я поэтому и задался вопросом.
  • 0

#4 WishAway

WishAway

    Активный участник

  • Members
  • PipPip
  • 81 сообщений
  • ФИО:Дмитрий Марков
  • Город:Харьков


Отправлено 17 декабря 2012 - 11:34

Rebz,
Отвечая на Ваши вопросы:

от неизвестных до селе авторов

Согласен насчет "неизвестных до селе авторов", надеюсь, в скором времени это изменится :)

Автора тренинга я уже где-то видел... да, точно, стратоплан: http://www.stratopla...t-testcomplete/

Да, на стратоплане только закончили курс (до этого вели тренинги с Димой Махно, сейчас я один будут вести). На стратоплане очень разношерстная аудитория и вести там достаточно тяжело (уровень людей очень отличается и тяжело подтроситься, чтобы это было эффективно для всех). Данный портал - профессиональная площадка с более профессиональной аудиторией. Как видите, программа тренинга тоже изменилась и стала более узконаправленной.

кто использует в своем фреймворке ТестКомплита Keyword testing и ODT?

На моей практике, Keyword testing часто используют, когда не хватает экспертизы писать код. И иногда используют для регресионных тестов. Я не сторонник этого модуля TestComplete, о чем в статье написал. На тренинге не будет этого Keyword testing, там будет "правильный" KDT, модуля TestComplete вообще касаться не будем.
ODT испольуют частенько и ничего плохого в этом нет. Проблемы начинаются, когда кода становится больше и проект разрастается. По сути разницы большой нет - использовать классы JScript или классы ODT. Везде есть свои минусы и плюсы. На моей практике плюсов в JScript больше.

Вопрос связан с целесообразностью подобного курса. Название громкое, но вот подходы не очень..

На тренинге будут не модули инструмента, а реализация подходов. Модуль ODT будем использовать ограниченно (как я писал в статье - класс для шаблона данных и Data для хранения тестовых данных), модуль Keyword testing использовать вообще не будем, вместо этого напишем "движок" для полноценного KDT. Для DDT также будет свой "движок" на базе фреймворка и классов, которые уже будут готовы после занятий по "ODT".
Цель тренинга - на практических задачах разобрать по косточкам эти подходы и дать понимание сути и реализации, чтобы при возникновении проектных задач тестировщики могли выбрать подходящий подход и грамотно его реализовать.
Кто это уже умеет делать и умеет проектировать и писать полноценный фреймворк - наверное, этот тренинг слишком простой для них.

Почему возникла идея этого тренинга? Об этих подходах многие говорят, но на моей практике где-то 10% могут реализовать это в коде (остальные знают, что это такое в теории, но как это сделать - не всегда понимают или умеют). Возможно, мои данные не репрезентативны, не отрицаю этого. Время покажет :)

XXX,

Keyword testing даже не пытался осваивать, сразу стал использовать Script.

Если позволяют скилы - то это оптимальный вариант. Если не секрет, что отпугнуло от Keyword testing? Просто интересно, что именно в нем насторожило.

Спасибо,
Дмитрий Марков
  • 0
Дмитрий Марков
skype: dmitro.markov
email: dmytro_markov@testingforall.com
Blog: http://testingforall.com

#5 XXX

XXX

    Опытный участник

  • Members
  • PipPipPipPip
  • 284 сообщений
  • ФИО:Денис Викторович
  • Город:Санкт-Петербург


Отправлено 17 декабря 2012 - 11:38


Keyword testing даже не пытался осваивать, сразу стал использовать Script.
а что имеете против ODT ? )

Как сказать, я, как и автор статьи, пришел к выводу что это не вариант. Редактор классов в ТестКомплите не парадовал, куда лучше их, действительно, создавать скриптовыми языками, чем использовать встроенный вариант. Он жутко не удобен. Имхо. Может у кого-то действительно есть тесткомплитовское ODT в фреймворке? Я не считаю, что прав, если кто-то использует ODT и оно его полностью устраивает - супер! Я поэтому и задался вопросом.



в выводах о ODT в статье
"ODT.Data использовать можно и нужно — удобное хранилище тестовых данных. В связке с классами-шаблонами позволяет создать комплексную структуру тестовых данных, что удобно для автоматизации."
именно для таких целей и использую.
прям какогото неудобства не испытываю,
  • 0

#6 Rebz

Rebz

    Опытный участник

  • Members
  • PipPipPipPip
  • 471 сообщений


Отправлено 17 декабря 2012 - 11:56

Дмитрий, спасибо, что отписались :)
Я понял свое заблуждение. Но имхо нет какого-то общего фреймворка, который бы подходит для всех. Подходы для каждого вида ПО должны быть разными, особенно различая тестирование ПО и тестирование веба. Даже не так. Не "должны быть", а могут быть. Функционал также влияет на подход, в зависимости от целей автоматизации выбирается подход.
  • 0

#7 WishAway

WishAway

    Активный участник

  • Members
  • PipPip
  • 81 сообщений
  • ФИО:Дмитрий Марков
  • Город:Харьков


Отправлено 17 декабря 2012 - 12:31

Дмитрий, спасибо, что отписались :)
Я понял свое заблуждение. Но имхо нет какого-то общего фреймворка, который бы подходит для всех. Подходы для каждого вида ПО должны быть разными, особенно различая тестирование ПО и тестирование веба. Даже не так. Не "должны быть", а могут быть. Функционал также влияет на подход, в зависимости от целей автоматизации выбирается подход.


Абсолютно согласен насчет фреймворка. Есть общие подходы и паттерны, которые можно использовать при создании фреймворка, но для каждого проекта весь фрейворк в целом - это что-то уникальное и особенное. В частности, именно поэтому мне и нравится заниматься автоматизированным тестированием, потому что всегда есть элемент творчества :)
  • 0
Дмитрий Марков
skype: dmitro.markov
email: dmytro_markov@testingforall.com
Blog: http://testingforall.com

#8 Genka

Genka

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 328 сообщений
  • ФИО:Геннадий Алпаев
  • Город:Украина, Днепр


Отправлено 18 декабря 2012 - 07:16

Привет!

Я тут тоже влезу :)

Оба подхода (ODT, KDT) очень хорошие, но вот реализованы они в ТС, к сожалению, совсем не так, как это себе представляют пользователи.
И если KDT - достаточно экзотический подход, то без ODT я вообще себе жизни не представляю.

Я параллельно веду курсы у себя в городе (вот содержание курса) и обе эти темы есть в списке рассматриваемых. Причем KDT я даю последней темой, когда студенты изучают ТС уже месяц. Но даже в этих условиях у некоторых возникает неправильное понимание подхода.

И еще насчет KDT. Подход этот известен давно и используется больше 10ти лет, в том числе в русскоязычных странах. Проблема в том, что этот подход почти не описан в русскоязычной литературе (ни в книжках, ни в интернете). Для того, чтобы как-то исправить ситуацию, я решил сделать соответствующий доклад на конференции AT Days в феврале следующего года.
  • 0

TestComplete для начинающих (видеозаписи курса)

Software Testing Automation Tips (50 вещей, которые должен знать каждый автоматизатор, книга на английском языке)

Онлайн-учебник "Автоматизация тестирования от «А» до «Ы»"
Сборник рецептов по TestComplete (книга на английском языке)
Онлайн-учебник по TestComplete
Онлайн-учебник по SilkTest


#9 WishAway

WishAway

    Активный участник

  • Members
  • PipPip
  • 81 сообщений
  • ФИО:Дмитрий Марков
  • Город:Харьков


Отправлено 18 декабря 2012 - 17:07

Привет Гена,

Идея тренинга и возникла именно потому, что инструмент хороший, но подходы ODT и KDT в нем реализованы странно и неудобно, и из-за этого вносят путаницу в понятия. У каждого подхода (ODT, DDT, KDT) свое применение и свои задачи. С неправильным пониманием подходов (DDT и, особенно часто, KDT) я тоже сталкиваюсь.

Этот тренинг предполагает наличие базовых знаний в TestComplete (либо практика, либо самостоятельно изученные основы, либо твой тренинг "Автоматизация тестов с использованием TestComplete").

Аналогично, поставил KDT в конец, потому что он - самый тяжелый. И без подготовленного фреймворка после ODT-занятий его показать просто невозможно даже на самом базовом уровне.

На AT Days жду твоего доклада, интересно послушать твое видение и пообщаться в кулуарах :)
Мой доклад на ATDays более абстрактный, но, надеюсь, не менее полезный
  • 0
Дмитрий Марков
skype: dmitro.markov
email: dmytro_markov@testingforall.com
Blog: http://testingforall.com

#10 Rebz

Rebz

    Опытный участник

  • Members
  • PipPipPipPip
  • 471 сообщений


Отправлено 19 декабря 2012 - 06:26

Коллеги, может раскроете тайну что же это за подходы такие ODT и KDT? :)
Я про них почти ничего и не знаю, видимо :\

Где можно почитать? Ген, твой доклад будет доступен в открытом доступе?
  • 0

#11 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 19 декабря 2012 - 07:56

Коллеги, может раскроете тайну что же это за подходы такие ODT и KDT? :)
Я про них почти ничего и не знаю, видимо :\

Где можно почитать? Ген, твой доклад будет доступен в открытом доступе?

Это не то http://it-conf.ru/ru...t/524.htm#TOC-7 ?
  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#12 WishAway

WishAway

    Активный участник

  • Members
  • PipPip
  • 81 сообщений
  • ФИО:Дмитрий Марков
  • Город:Харьков


Отправлено 19 декабря 2012 - 09:22

Коллеги, может раскроете тайну что же это за подходы такие ODT и KDT? :)
Я про них почти ничего и не знаю, видимо :\

Где можно почитать?


Как я писал в ODT и KDT в TestComplete: миф или реальность?, ODT (object-driven testing) - это внутренний термин TestComplete. Нигде больше он не встречается. В мире за пределами TestComplete ближе всего к этому - DSL (domain specific language). Это если рассматривать как подход. Если как модуль - то это просто модуль инструмента, который предоставляет какую-то возможность работать с объектами.
DSL гораздо легче гуглится :)

KDT (keyword-driven testing) - популярный подход, и, как писал Гена, уже довольно старый. Просто его применять достаточно тяжело и не для всех случаев он подходит. За последний год я этот подход начинаю видеть все чаще и чаще. В основном, на больших проектах, а также учитывая тот факт, что разница в зарплатах ручных тестировщиков и автоматизаторов довольно существенная, и KDT как раз помогает разделить тестирование и автоматизацию между ними: на тех, кто пишет фреймворк под KDT и поддерживает его; и на тех, кто составляет тесты (не имея опыта автоматизации).

Есть еще DDT, который многие знают. Но то, что это подход и вынесение тестовых данных за пределы скриптов не есть DDT - уже знают не все. Написать полноценный DDT-loop, поддерживающий перенос логики проверок различных вариантов в файл с данными (на моей практике) могут единицы.
То есть, если копнуть глубже, то этот подход позволяет делать очень хорошее покрытие определенных (поддающихся DDT) модулей приложения. В сумме с ODT(DSL) и хорошим фреймворком микс этих подходов дает много возможностей.

Цель моего тренинга - рассказать об этих подходах и показать, как это делать на практике (в TestComplete)

Это не то http://it-conf.ru/ru...t/524.htm#TOC-7 ?


Да, это оно (KDT)
  • 0
Дмитрий Марков
skype: dmitro.markov
email: dmytro_markov@testingforall.com
Blog: http://testingforall.com

#13 Genka

Genka

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 328 сообщений
  • ФИО:Геннадий Алпаев
  • Город:Украина, Днепр


Отправлено 19 декабря 2012 - 09:37


Это не то http://it-conf.ru/ru...t/524.htm#TOC-7 ?


Да, это оно (KDT)


По описанию - оно, точнее не могу ничего сказать. Я не нашел, где можно тот доклад посмотреть.
Он вообще где-то есть в открытом доступе?
  • 0

TestComplete для начинающих (видеозаписи курса)

Software Testing Automation Tips (50 вещей, которые должен знать каждый автоматизатор, книга на английском языке)

Онлайн-учебник "Автоматизация тестирования от «А» до «Ы»"
Сборник рецептов по TestComplete (книга на английском языке)
Онлайн-учебник по TestComplete
Онлайн-учебник по SilkTest


#14 Rebz

Rebz

    Опытный участник

  • Members
  • PipPipPipPip
  • 471 сообщений


Отправлено 19 декабря 2012 - 10:48




Это не то http://it-conf.ru/ru...t/524.htm#TOC-7 ?


Да, это оно (KDT)


По описанию - оно, точнее не могу ничего сказать. Я не нашел, где можно тот доклад посмотреть.
Он вообще где-то есть в открытом доступе?

Вполне себе можно найти презенташку :)
http://www.slideshar...ddriven-testing

а также
http://www.slideshar...riven-framework

ну и другие, думаю, не проблема найти. Но это только презентация.
  • 0

#15 Genka

Genka

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 328 сообщений
  • ФИО:Геннадий Алпаев
  • Город:Украина, Днепр


Отправлено 19 декабря 2012 - 11:31

Вполне себе можно найти презенташку :)
http://www.slideshar...ddriven-testing

а также
http://www.slideshar...riven-framework


Ага, спасибо, глянул.
Из того, что я понял: в той презентации тема раскрыта шире, у меня больше ориентирована на новичков: объяснить, показать простой пример. Я совсем не буду затрагивать continuous integration, например, только KDT. Да и без того на 40 минут получается презентация.
  • 0

TestComplete для начинающих (видеозаписи курса)

Software Testing Automation Tips (50 вещей, которые должен знать каждый автоматизатор, книга на английском языке)

Онлайн-учебник "Автоматизация тестирования от «А» до «Ы»"
Сборник рецептов по TestComplete (книга на английском языке)
Онлайн-учебник по TestComplete
Онлайн-учебник по SilkTest


#16 WishAway

WishAway

    Активный участник

  • Members
  • PipPip
  • 81 сообщений
  • ФИО:Дмитрий Марков
  • Город:Харьков


Отправлено 19 декабря 2012 - 13:39

а также
http://www.slideshar...riven-framework


Это ближе всего к тому, что я буду показывать на тренинге в рамках KDT. Только в упрощенной форме и на простых примерах. TAF - отличный инструмент, у меня была возможность на него посмореть (поскольку работаем с Мишей в одной компании), пример правильно реализованного KDT подхода.
  • 0
Дмитрий Марков
skype: dmitro.markov
email: dmytro_markov@testingforall.com
Blog: http://testingforall.com

#17 Rebz

Rebz

    Опытный участник

  • Members
  • PipPipPipPip
  • 471 сообщений


Отправлено 19 декабря 2012 - 13:47

Ну видите как здорово, уже почти раскрыли тему =)
Хотел бы я посмотреть все же на KDT. С TestComplete что идет в связке? Excel? В табличном редакторе пишется последовательность функций (сценарий), мб тестовый набор, разветвление..?
Я как раз по наитию сейчас к этому иду - к этому, к KDT, чтобы ручной тестер мог написать тест сам, составляя его из готовых кубиков-функций.
  • 0

#18 WishAway

WishAway

    Активный участник

  • Members
  • PipPip
  • 81 сообщений
  • ФИО:Дмитрий Марков
  • Город:Харьков


Отправлено 19 декабря 2012 - 15:00

Ну видите как здорово, уже почти раскрыли тему =)
Хотел бы я посмотреть все же на KDT. С TestComplete что идет в связке? Excel? В табличном редакторе пишется последовательность функций (сценарий), мб тестовый набор, разветвление..?

Я буду показывать на примере Excel. Хотя можно где угодно это хранить. В реальных проектах это часто интегрируется с тест-менеджмент системами и эти тесты из кейвордов пишутся прямо там. В этом есть и плюсы, и минусы.
Это больше последовательность кейвордов, а не функций. Да, они потом трассируются на функции в скриптах. Но не один к одному.
Ветвления в кейворд-тестах не желательны. Их можно реализовать (тот же кейворд по сути), но это может добавить путаницу.

чтобы ручной тестер мог написать тест сам, составляя его из готовых кубиков-функций.

Да, все верно, это и есть одна из целей KDT. Но реализовать ее можно многими способами и с разным уровнем детализации.
Будет слишком детально - по сути ничем не будет отличаться от написания скрипта (по сути работа по написанию KDT в холостую). Зато можно написать любой тест.
Будет слишком верхнеуровнево - не все тесты можно будет написать, будет не хватать кейвордов или отдельных методов.

Как вы думаете, какой способ лучше? Или где балланс?

Раз уж тема живая, давайте пообсуждаем :)
  • 0
Дмитрий Марков
skype: dmitro.markov
email: dmytro_markov@testingforall.com
Blog: http://testingforall.com

#19 Genka

Genka

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 328 сообщений
  • ФИО:Геннадий Алпаев
  • Город:Украина, Днепр


Отправлено 19 декабря 2012 - 15:32

Как вы думаете, какой способ лучше? Или где балланс?


Как по мне, киворды "низкого уровня" (типа кликнуть по кнопке или выбрать пункт в списке) нужны, но пользоваться ими надо пореже, по мере крайней необходимости. А в остальном пользоваться кивордами более высокого уровня.
  • 0

TestComplete для начинающих (видеозаписи курса)

Software Testing Automation Tips (50 вещей, которые должен знать каждый автоматизатор, книга на английском языке)

Онлайн-учебник "Автоматизация тестирования от «А» до «Ы»"
Сборник рецептов по TestComplete (книга на английском языке)
Онлайн-учебник по TestComplete
Онлайн-учебник по SilkTest


#20 Rebz

Rebz

    Опытный участник

  • Members
  • PipPipPipPip
  • 471 сообщений


Отправлено 21 декабря 2012 - 06:43

Имхо, понятие баланс - размыто. Все зависит от целей тестирования и текущей ситуации: насколько нужен KDT, перспективы, покрытие и проч.

Немного расскажу про свою ситуацию.
От меня требуется написание тестов как позитивных, так и негативных. Как это реализовать - я примерно себе представляю, скрипт уже выглядит монстрообразно :), но видимо надо ещё навешивать "логику". Сделать отдельным параметром тип теста (позитив/негатив), в зависимости от этого параметра обрабатывать ошибочные сообщения там где надо. Т.е. если тест - негатив, то несохранившаяся сущность из-за незаполненности обязательных параметров - это, к примеру, успешный тест.

Набор данных у меня пока хранится в Dictionary, в сам тест передается именно словарь с набором данных. Далее я рассматриваю 2 варианта - таблица (excel) или XML.
Пока не знаю насколько все реально.
  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных