Сообщений в теме: 88

[churkin]

Здравствуйте,

 

Хочу поделиться с вами информацией о новом тестовом Open Source фреймворке для web - TestCafe. Этот, набирающий популярность, продукт является прямым конкурентом Selenium, так как, в отличии от оного, не использует WebDriver и, благодаря чему, имеет множество преимуществ, которые могут показаться вам любопытными. Я перечислю некоторые из них:

 

   - Не требует плагинов для браузеров  

   - Установка одной командой, все что необходимо - наличие NodeJs       

   - Возможность запускать тесты на любых устройствах имеющих выход в сеть и браузер

   - Использование ES6,ES7 JavaScript для написания тестов

   - Простой и понятный API

   - Набор плагинов отвечающих за формат репортов, и, как следствие, упрощенная интеграция с основными системами непрерывной интеграции.

 

Свои вопросы по фреймворку вы можете задать мне, здесь.

 

 

[Freiman]

Покажите пример "большой" автоматизации - чтоб сотни тестов, и это все эффективно запускается, поддерживается и анализируется.

[churkin]

Покажите пример "большой" автоматизации - чтоб сотни тестов, и это все эффективно запускается, поддерживается и анализируется.

 

Продукт был представлен Open Source сообществу не так давно, поэтому, я думаю, его еще не успели освоить в таких масштабах. Мне, во всяком случае, неизвесты такие примеры. Могу сказать что компания Developer Express тестирует свои ASP.NET компоненты с помощью TestCafe. Если вы знаете о компании и о линейке ее контролов, то можете представить какое огромное количество тестов они гоняют (речь не о сотнях а о тысячах тестов). И, что есстественно, это интегрированно в систему непрерывной интеграции. К сожалению, открытого и общедоступного примера я пока не могу вам предоставить.

[Spock]

интересно, что согласно автору поста, у этого фреймворка "одни преимущества перед WebDriver"

 

получается что TestCafe такой хороший фреймворк что у него нет недостатков по сравнению WebDriver? или это WebDriver плохой?

 

теперь все могут переходить с WebDriver на TestCafe, так как у TestCafe одни преимущества?

[Freiman]

 

Если вы знаете о компании и о линейке ее контролов, то можете представить какое огромное количество тестов они гоняют (речь не о сотнях а о тысячах тестов).

Ну, тыщи модульных тестов - это нормально.

А вот чтоб именно с тесткафе? Покажите мне тесты с разделением логики и описания локаторов (PageObject и пр.), покажите примеры с подгрузкой данных из внешних источников.

В общем, можно ли это использовать в промышленных масштабах?

 

Ок, ПейджОбджекты вроде нашел в примерах.

Сообщение отредактировал Freiman: 07 декабря 2016 - 11:59

[churkin]

 

 

Если вы знаете о компании и о линейке ее контролов, то можете представить какое огромное количество тестов они гоняют (речь не о сотнях а о тысячах тестов).

Ну, тыщи модульных тестов - это нормально.

А вот чтоб именно с тесткафе? Покажите мне тесты с разделением логики и описания локаторов (PageObject и пр.), покажите примеры с подгрузкой данных из внешних источников.

В общем, можно ли это использовать в промышленных масштабах?

 

Ок, ПейджОбджекты вроде нашел в примерах.

 

 

Developer Express - не маленькая компания, она выпускает продукты в промышленных масштабах. Cвязанные с web компоненты и продукты тестируются TestCafe (все функциональные web тесты написаны на TestCafe, их более 3 тысяч только для ASP.NET). 

Нужен ли вам более "масштабный пример"? Если вас интересует какие-то конкретные вопросы, то я готов сделать для вас пример.

[churkin]

интересно, что согласно автору поста, у этого фреймворка "одни преимущества перед WebDriver"

 

получается что TestCafe такой хороший фреймворк что у него нет недостатков по сравнению WebDriver? или это WebDriver плохой?

 

теперь все могут переходить с WebDriver на TestCafe, так как у TestCafe одни преимущества?

Нигде не написано что он имеет одни преимущества, написано что "имеет множество преимуществ", и это действительно так, так как имеет совершенно другой принцип работы. Конечно есть и недостатки, глупо это оспаривать, не бывает идеальных универсальных решений.

 

Если я хочу запустить свой тест на моем мобильном устройстве, то TestCafe мне позволит это сделать, а WebDriver? Все зависит от целей, требований и даже банального вкуса. 

[Spock]

ну хотелось бы услышать не только о достоинствах, но и о недостатках, если уж сравнивать

 

например, когда лучше использовать TestCafe, а когда WebDriver

 

 

а так получается как-будто рекламный пост, когда вроде как сравнивают два тулза, TestCafe против WebDriver, но говорят только лишь о преимуществах TestCafe... а где преимущества WebDriver?

[Spock]

 

 

Если я хочу запустить свой тест на моем мобильном устройстве, то TestCafe мне позволит это сделать, а WebDriver?

позволит. надо использовать Appium - он как раз работает через Selenium WebDriver API. то есть в принципе Appium и есть Selenium и WebDriver 

[churkin]

ну хотелось бы услышать не только о достоинствах, но и о недостатках, если уж сравнивать

 

например, когда лучше использовать TestCafe, а когда WebDriver

 

 

а так получается как-будто рекламный пост, когда вроде как сравнивают два тулза, TestCafe против WebDriver, но говорят только лишь о преимуществах TestCafe... а где преимущества WebDriver?

 

По большому счету, это и есть рекламный пост, так как я являюсь разработчиком TestCafe. Думаю мы напишем статью сравнения с Selenium, пока я могу предложить вот эту статью. На мой взгляд она вполне объективно сравнивает TestCafe c Nightwatch.js. Я не ставил целью сравнить в данном топике Selenium и TestCafe, но если эта тема интересна, то я ее конечно раскрою, позже.

[churkin]

 

 

 

Если я хочу запустить свой тест на моем мобильном устройстве, то TestCafe мне позволит это сделать, а WebDriver?

позволит. надо использовать Appium - он как раз работает через Selenium WebDriver API. то есть в принципе Appium и есть Selenium и WebDriver 

 

Appium. Вам необходимо установить приложение на телефон. А что если для вашего телефона этого приложения нет? что если у вас Symbian телефон? Это поверхностное решение. TestCafe позволит запустить тест на любом девайсе, ничего на него не устанавилвая.

 

UPD. Или что-то более реальное чем Symbian - Windows 10 Mobile?

[Spock]

выглядит конечно многообещающе, главное разобраться где лучше использовать WebDriver, а где TestCafe

 

и хватает ли бесплатной версии TestCafe для комфортной работы, и нужно ли идти на платную версию 400$ в год за место

[churkin]

выглядит конечно многообещающе, главное разобраться где лучше использовать WebDriver, а где TestCafe

 

и хватает ли бесплатной версии TestCafe для комфортной работы, и нужно ли идти на платную версию 400$ в год за место

Платной версии, основанной на open source версии, пока еще нет. Она будет отличаться от бесплатной только наличием UI и рекордером, который позволит записывать тесты визуально, а не писать код руками в вашей IDE. Т.е.  в открытой версии у вас будет доступ ко всей функциональности.

 

Ничто не мешает вам хотя бы бегло ознакомиться с продуктом, уверен вы найдете очень много приятных особенностей. Если у вас возникнут вопросы, обращайтесь, я постараюсь помочь.

[baxatob]

А можно чуть подробнее, как протестировать приложение на Windows Mobile? Или речь только о web-страницах?

 

Коротко, пошагово - что мне нужно сделать, чтобы протестировать страницу на Windows Mobile?

 

 

 

 

Использование ES6,ES7 JavaScript для написания тестов

 

А вот это по-моему недостаток (по сравнению с WebDriver). 

 

Ну и как гворили выше, очень хочется наглядных примеров использования.

[churkin]

А можно чуть подробнее, как протестировать приложение на Windows Mobile? Или речь только о web-страницах?

 

Для того чтобы протестировать на любом устройстве, вам необходимо открыть в его браузере специально сгенерированный URL (или сканировать QR код). Это все, больше ничего от устройства не требуется. Естественно речь идет о функциональном WEB тестировании. Вот наглядное, коротенькое видео, как это происходит, или документация. Процедура практически не отличается от запуска теста на локальном браузере.

 

1. Запускаем тесты одной командой на вашем десктопе:

 

testcafe remote tests/sample-fixture.js

 

2. В консоли появится QR код (URL), сканируете код или вручную вбиваете в девайс URL, и тест запускается на вашем устройстве.

 

 

 

 

 

 

Использование ES6,ES7 JavaScript для написания тестов

 

А вот это по-моему недостаток (по сравнению с WebDriver). 

 

В чем недостаток? Я не понял вас тут. На мой взгляд, использование очень популярного и распространенного языка да еще с синтаксическим сахором ES6, ES7 - это преимущество.

 

 

 

Ну и как гворили выше, очень хочется наглядных примеров использования.

 

Какой пример, пример теста?

[Freiman]

 

В чем недостаток? Я не понял вас тут. На мой взгляд, использование очень популярного и распространенного языка да еще с синтаксическим сахором ES6, ES7 - это преимущество.

А  если я не хочу использовать ES7? Selenium поддерживает Java, Ruby, C#, JS, Python, через сторонние реализации - PHP, Perl, R, Haskell и прочее. Выбирай на любой вкус!

[churkin]

 

 

В чем недостаток? Я не понял вас тут. На мой взгляд, использование очень популярного и распространенного языка да еще с синтаксическим сахором ES6, ES7 - это преимущество.

А  если я не хочу использовать ES7? Selenium поддерживает Java, Ruby, C#, JS, Python, через сторонние реализации - PHP, Perl, R, Haskell и прочее. Выбирай на любой вкус!

 

Если не хотите использовать ES7, пишите на чистом ES5, никто вас не заставит. На всякий случай поясню: ES5, ES6, ES7 - стандарты одного и того же языка - JavaScript.

TestCafe построен на стеке NodeJS технологий. Код теста - NodeJS код, а это значит что вы можете использовать десятки тысяч уже написанных пакетов репозитория NPM, на любой вкус,

которые покроют практически все ваши запросы.

 

UPD. Т.е. если по каким-то причинам вы не приемлете JavaScript и не можете на нем писать код, то да, вам не подойдет TestCafe, также как и любой NodeJS инструментарий.

[Spock]

вообще язык программирования не должен быть помехой для тестировщика

 

в одной компании где работал использовался .NET, на нём и писал тесты

перешёл в другую, где писали на Java, стал писать на джаве

перейду где пишут на Node.js, буду писать (или расширять уже написанное) на джаваскрипте

 

 

только синтаксис различается, а так всё те же объекты, листы, хешмапы и т.п.

[baxatob]

 

 

В чем недостаток? Я не понял вас тут. На мой взгляд, использование очень популярного и распространенного языка да еще с синтаксическим сахором ES6, ES7 - это преимущество.

 

Я смотрю с точки зрения человека, который принимает решение о том, какой подход к автоматизации тестирования будет использоваться на проекте.

Речь всегда о человечесикх ресурсах. Опыт показывает, что на рынке очень мало тестировщиков, которые хорошо владеют JavaScript. Но при этом почти все владеют Селениумом и могут пилить его на Python или Java.

В случае с вашим инструментом нужно либо переводить кого-то из веб-разработчиков в тестирование, либо переучивать тестировщика, что само по себе неплохо, но затратно, и не понятно где окупится.

[churkin]

вообще язык программирования не должен быть помехой для тестировщика

Золотые слова :). На самом деле, дело не только в языке, использование NodeJs позволяет вам в тесте использовать тысячи и тысячи уже написанных модулей. Это современная технология, которая имеет огромное распространение и продолжает свой рост. Я даже осмелюсь сказать - передовая технология.