Перейти к содержимому

Фотография

Сравнение инструментов для автоматизированного тестирования


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 38

#21 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 08 октября 2018 - 11:12

 

Вся прелесть в том, что Я - не учила. Люди освоили самостоятельно в том объёме, которым им на данном этапе нужен.

 

К слову, я тоже когда-то начинала не с чистого селениума. Первые мои тесты были на IDE. И уже потом, поняв, что IDE не может всего того, что мне нужно - я начала изучать и использовать уже Selenium WebDriver.

 

При изучении той же джавы с нуля тоже начинают учить не сразу с исключений, работы с сетью и т.д.. Всё постепенно. 

Меняется опыт, меняются знания, меняются инструменты.

начинать с простого надо, это понятно - но это когда мы смотрим на конкретного человека

 

а вот когда надо наладить автоматизацию в компании - то так делать категорически нельзя. Нельзя начать тесты делать на Селениум ИДЕ, потом перейти на Каталон, а потом понять что проект большой и требуется вся мощь и гибкость настоящего языка программирования и настоящей среды разработки


  • 0

#22 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 08 октября 2018 - 11:15

Я говорила о своём опыте изучения, а не о полноценном внедрении уже :).

С каталоном я познакомилась уже значительно позже, просто ради интереса и знакомства с новым инструментом.


  • 0

#23 MikhailS

MikhailS

    Новый участник

  • Members
  • Pip
  • 16 сообщений


Отправлено 08 октября 2018 - 11:20

Я знаю людей, которые его легко и быстро освоили и успешно пишут свои тесты без опыта в программировании и без помощи других сотрудников "с ненулевым скиллом". Достаточно серьезные тесты. Разобрались и вникли без проблем.

Встроит в CI? А оно нужно прям сразу для тех, кто с автоматизацией только знакомится? Кстати, встроить каталоновский тест не так уж и сложно. Сам каталон нажатием одной кнопки выдает готовую команду для запуска теста через консоль.

Если хотите аналогии, Каталон - инструмент для облечения изучения основ правил дорожного движения с симулятором органов управления автомобилем (как в автошколах), а Вы возмущаетесь, кому это нужно, надо сразу за грузовики с прицепами, автобусы с кучей пассажиров и гоночные болиды садиться.

п.с.: Ваши примеры в современном мире уже давно хоть и сложные, но вполне возможные вещи.

Ну т.е. каталон не надо на реальных проектах применять, т.к. он для изучения основ, а не решения задач
CI - это норма. Нет смысла в автоматизации без CI. Автоматизатор должен в ней разбираться. Ну и другой минус, для ui у вас каталон, для апи еще чет, для системных тестов еще чет, зоопарк.
  • 0

#24 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 08 октября 2018 - 11:37

Ну и другой минус, для ui у вас каталон, для апи еще чет, для системных тестов еще чет, зоопарк.

Вообще говоря, одна из указанных причин разработки ими Каталона - попытка сделать универсальный инструмент, без необходимости упомянутого зоопарка. 

Так что движутся они в теории в эту сторону.

К примеру, недавно начали добавлять туда свою альтернативу SoapUI.

Естественно эта "альтернатива" у них пока в зачаточном состоянии, но направление работ - такое.

 

И почему " у вас"? У меня джава и селениум.


  • 0

#25 MikhailS

MikhailS

    Новый участник

  • Members
  • Pip
  • 16 сообщений


Отправлено 08 октября 2018 - 12:29

 

Ну и другой минус, для ui у вас каталон, для апи еще чет, для системных тестов еще чет, зоопарк.

Вообще говоря, одна из указанных причин разработки ими Каталона - попытка сделать универсальный инструмент, без необходимости упомянутого зоопарка. 

Так что движутся они в теории в эту сторону.

К примеру, недавно начали добавлять туда свою альтернативу SoapUI.

Естественно эта "альтернатива" у них пока в зачаточном состоянии, но направление работ - такое.

 

И почему " у вас"? У меня джава и селениум.

 

У вас - для тех кто использует каталон.

Ну и в итоге у нас есть какой то корявенький инструмент каталон, который может только UI и выдавать строку для запуска в консоли. Ну такое себе. У меня вот python, который может все без всяких там приседаний.


  • 0

#26 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 08 октября 2018 - 12:30

 

Вообще говоря, одна из указанных причин разработки ими Каталона - попытка сделать универсальный инструмент, без необходимости упомянутого зоопарка. 

Так что движутся они в теории в эту сторону.

да не движутся они туда. универсальный инструмент всегда основан на мощном и гибком языке программирования. А все эти фреймворки на ключевых словах никогда не будут мощными и гибкими


  • 0

#27 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 08 октября 2018 - 13:11

Так у них там полная поддержка джавы и груви. Они просто не заставляют их использовать, если не знаете ни того, ни другого. 

И у них не тесты на ключевых словах. У них по сути пишется автоматом тест на груви, который использует их собственную библиотеку, в которой все унаследовано от селениума (а-ля Selenide), с некоторыми добавлениями.

И уже готовый груви-скрипт визуализируется для тех, кто с ЯПом не знаком.

При этом можно хоть прям сразу перейти во вкладку со скриптом и менять там (опять же джава/груви) все, что душе угодно.

 

На счет только UI. Мой пробный проект в каталоне - брал данные из excel (без танцев с бубном, просто указано было, в какой параметр из какого столбца значение подставлять), работал с БД, писал логи в нужном мне формате в файлик, делал скрины при ошибках (одна галочка в настройках), снимал видосы для упавших тестов (тоже одна галочка), отправлял лог по почте (галочка и данные для авторизации на почтовом сервере). Часть данных при этом генерилась рандомно.

У меня есть знание ЯП, поэтому в Каталоне с помощью джавы я без проблем могу сделать практически что угодно (практически, потому что пока не сталкивалась с тем, чего сделать было бы нельзя, но вполне вероятно, что такие вещи есть). 

Вопрос лишь в том, что я хочу получить в итоге и ради чего изначально делалось все.

Это по сути своей - модификация эклипса с встроенной надстройкой над селениумом (а-ля selenide).

 

Ещё раз - я НЕ агитирую вас забросить селениум и массово побежать в Каталон. У меня лишь сложилось впечатление, что большая часть комментариев про Каталон - из-за стереотипов, не понимания ЦА Каталона и из-за недостатка информации о его реальной сути и возможностях.

Мне захотелось хоть немного справедливости и непредвзятости. По той простой причине, что о его возможностях, плюсах и минусах я знаю не исходя из статьи-рекламы, а потому что не поленилась и попробовала Каталон на практике, чтобы сформировать о нём своё собственное мнение на основе личного опыта.

 

Да, у него есть недостатки (особенно с учётом того, что он в активной разработке), но и достоинства у него все таки тоже есть.


  • 0

#28 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 08 октября 2018 - 13:36

 

Так у них там полная поддержка джавы и груви. Они просто не заставляют их использовать, если не знаете ни того, ни другого. 

И у них не тесты на ключевых словах. У них по сути пишется автоматом тест на груви, который использует их собственную библиотеку, в которой все унаследовано от селениума (а-ля Selenide), с некоторыми добавлениями.

И уже готовый груви-скрипт визуализируется для тех, кто с ЯПом не знаком.

При этом можно хоть прям сразу перейти во вкладку со скриптом и менять там (опять же джава/груви) все, что душе угодно.

ну это не очень правда. "полная поддержка" != "настоящий ИДЕ для языка программирования"

 

весь этот генерируемый код значительно менее гибкий как в настоящей среде разработки, где пишешь как именно тебе надо, и рефакторишь используя все поддерживаемые методы (а их много)

 

а вот про ключевые слова прямо с их сайта:

 

 

Katalon Studio hides all technical complexities behind the scene and provides friendly UI with the manual mode (user can drag-drop, select keywords and test objects to form test steps), but still keeps necessary weapons for more technically powerful users who are able to dig deeper into coding with the scripting mode that fully supports development conveniences like syntax highlighting, code suggestion and debugging.

ключевые слова транслируются в код


  • 0

#29 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 08 октября 2018 - 13:48

Джаву/груви на вкладке скрипт можно использовать, каталон это поймет, корректно запустит и т.д.

Я нигде не говорила, что Каталон = IDE, но это не мешает Каталону запускать тесты, написанные в нём же на джаве.

 

"Весь этот код" гибкий ровно настолько, насколько это нужно лично Вам. Если Вас не устраивает какая-либо реализация в самом каталоне - подключаете чистый селениум как доп.библиотеку и пишите на чистом селениуме нужную Вам часть кода.

 

Keywords в каталоне - это надстройка над изначально чисто селениумовскими методами. Более того, можно самостоятельно продумать и написать свои "keywords", которые по сути своей - становятся просто отдельной самописной библиотекой из методов, написанных не внутри конкретного теста.

Я понятия не имею, почему они это назвали "Keywords".

В этом смысле - Каталон не отличается от того же Selenide, который при таком подходе тоже можно назвать "фреймворком на ключевых словах", но это не мешает людям его успешно использовать (сама не пользуюсь, поэтому могу ошибаться, но судя по форуму - любителей Selenide достаточно много).

 

п.с.: кстати, перечитайте последнюю фразу в своей же цитате.


  • 0

#30 MikhailS

MikhailS

    Новый участник

  • Members
  • Pip
  • 16 сообщений


Отправлено 08 октября 2018 - 13:48

Так у них там полная поддержка джавы и груви. Они просто не заставляют их использовать, если не знаете ни того, ни другого. 

И у них не тесты на ключевых словах. У них по сути пишется автоматом тест на груви, который использует их собственную библиотеку, в которой все унаследовано от селениума (а-ля Selenide), с некоторыми добавлениями.

И уже готовый груви-скрипт визуализируется для тех, кто с ЯПом не знаком.

При этом можно хоть прям сразу перейти во вкладку со скриптом и менять там (опять же джава/груви) все, что душе угодно.

 

На счет только UI. Мой пробный проект в каталоне - брал данные из excel (без танцев с бубном, просто указано было, в какой параметр из какого столбца значение подставлять), работал с БД, писал логи в нужном мне формате в файлик, делал скрины при ошибках (одна галочка в настройках), снимал видосы для упавших тестов (тоже одна галочка), отправлял лог по почте (галочка и данные для авторизации на почтовом сервере). Часть данных при этом генерилась рандомно.

У меня есть знание ЯП, поэтому в Каталоне с помощью джавы я без проблем могу сделать практически что угодно (практически, потому что пока не сталкивалась с тем, чего сделать было бы нельзя, но вполне вероятно, что такие вещи есть). 

Вопрос лишь в том, что я хочу получить в итоге и ради чего изначально делалось все.

Это по сути своей - модификация эклипса с встроенной надстройкой над селениумом (а-ля selenide).

 

Ещё раз - я НЕ агитирую вас забросить селениум и массово побежать в Каталон. У меня лишь сложилось впечатление, что большая часть комментариев про Каталон - из-за стереотипов, не понимания ЦА Каталона и из-за недостатка информации о его реальной сути и возможностях.

Мне захотелось хоть немного справедливости и непредвзятости. По той простой причине, что о его возможностях, плюсах и минусах я знаю не исходя из статьи-рекламы, а потому что не поленилась и попробовала Каталон на практике, чтобы сформировать о нём своё собственное мнение на основе личного опыта.

 

Да, у него есть недостатки (особенно с учётом того, что он в активной разработке), но и достоинства у него все таки тоже есть.

 

И вы опять описали тестирование UI просто с обвязкой, которая делается за 10-20 минут.

Я не считаю, что вы агитируете за его использование. Я думаю, что просто такой инструмент является игрушкой, которую не стоит использовать на реальных проектах, за исключением если это будет какое то мелкое веб-приложение.

Ну и то что мне не понравилось в статье в целом - это сравнение разных по классу вещей между собой. Нельзя сравнивать между собой фреймворк - selenium с софтом для написания тестов (katalon), а так же отсебятнические критерии оценки сильных и слабых сторон в стиле, что для Selenium нужно иметь сильные навыки в разработке. По большому счету selenium даже не фреймворк, а библиотека для использования драйвера браузера по крайне мере в части питона. Статьи с таким уровнем содержания меня очень огорчают и такого очень много от тестировщиков вижу, к сожалению. Не хватает людям технического скилла в тестировании :(


  • 0

#31 MikhailS

MikhailS

    Новый участник

  • Members
  • Pip
  • 16 сообщений


Отправлено 08 октября 2018 - 13:50

Джаву/груви на вкладке скрипт можно использовать, каталон это поймет, корректно запустит и т.д.

Я нигде не говорила, что Каталон = IDE, но это не мешает Каталону запускать тесты, написанные в нём же на джаве.

 

"Весь этот код" гибкий ровно настолько, насколько это нужно лично Вам. Если Вас не устраивает какая-либо реализация в самом каталоне - подключаете чистый селениум как доп.библиотеку и пишите на чистом селениуме нужную Вам часть кода.

 

Keywords в каталоне - это надстройка над изначально чисто селениумовскими методами. Более того, можно самостоятельно продумать и написать свои "keywords", которые по сути своей - становятся просто отдельной самописной библиотекой из методов, написанных не внутри конкретного теста.

В этом смысле - Каталон не отличается от того же Selenide, который при таком подходе тоже можно назвать "фреймворком на ключевых словах", но это не мешает людям его успешно использовать (сама не пользуюсь, поэтому могу ошибаться, но судя по форуму - любителей Selenide достаточно много).

Т.е. если вас не устраивает каталон используйте каталон как IDE:D Если меня не устраивает каталон я не буду его использовать просто.

Более того Java, Groovy далеко не лучший вариант в части ЯП для тестирования в целом.


  • 0

#32 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 08 октября 2018 - 13:52

 

"Весь этот код" гибкий ровно настолько, насколько это нужно лично Вам. Если Вас не устраивает какая-либо реализация в самом каталоне - подключаете чистый селениум как доп.библиотеку и пишите на чистом селениуме нужную Вам часть кода.

 

Keywords в каталоне - это надстройка над изначально чисто селениумовскими методами. Более того, можно самостоятельно продумать и написать свои "keywords", которые по сути своей - становятся просто отдельной самописной библиотекой из методов, написанных не внутри конкретного теста.

В этом смысле - Каталон не отличается от того же Selenide, который при таком подходе тоже можно назвать "фреймворком на ключевых словах", но это не мешает людям его успешно использовать (сама не пользуюсь, поэтому могу ошибаться, но судя по форуму - любителей Selenide достаточно много).

код на ключевых словах никогда не будет настолько же гибким насколько код на чистом языке программирования. Редактор кода и ключевых слов в Каталоне НАМНОГО менее гибкий чем настоящий ИДЕ для языка программирования

 

а те, кто фреймворки на ключевых словах "успешно" используют - у них либо проекты маленькие, либо затрачивают на поддержку тестов больше ресурсов чем если бы у них тесты были просто на языке программирования (так как надо поддерживать и код низкого уровня и обвязку)


  • 0

#33 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 08 октября 2018 - 13:54

Т.е. если вас не устраивает каталон используйте каталон как IDE:D Если меня не устраивает каталон я не буду его использовать просто.

 

 

Более того Java, Groovy далеко не лучший вариант в части ЯП для тестирования в целом.

Т.е. если не устраивает какая-то маленькая часть - эту маленькую часть можно переписать. 

Не устраивает - не используйте, вроде бы никто и не заставляет.

Java не лучший вариант? Ну ну, сколько людей, столько и мнений.


  • 0

#34 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 08 октября 2018 - 14:01

код на ключевых словах никогда не будет настолько же гибким насколько код на чистом языке программирования. Редактор кода и ключевых слов в Каталоне НАМНОГО менее гибкий чем настоящий ИДЕ для языка программирования

Вы не внимательно читали моё сообщение. Их "ключевые слова" - это методы, написанные на том же ЯП, для того, чтобы скрыть тонкости реализации о тех, кому они и не нужны. Те, кому они нужны - могут использовать тот же ЯП, чтобы написать все самостоятельно (или изначально писать на ЯП, как уже сказано выше и если есть знания ЯП).

Визуальный редактор скрипта - прост, потому что его основная задача быть простым.

А "редактор кода" - насколько я знаю, по сути таже IDE Eclipse с модификациями. 

 

Просто из интереса - что такого на Ваш взгляд может сделать IDE и чего нельзя сделать в "редакторе кода" Каталона (особенно с учётом того, что он себя как 100% IDE и не позиционирует)?


  • 0

#35 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 08 октября 2018 - 14:04

 

Вы не внимательно читали моё сообщение. Их "ключевые слова" - это методы, написанные на том же ЯП, для того, чтобы скрыть тонкости реализации о тех, кому они и не нужны. Те, кому они нужны - могут использовать тот же ЯП, чтобы написать все самостоятельно.

Визуальный редактор скрипта - прост, потому что его основная задача быть простым.

А "редактор кода" - насколько я знаю, по сути таже IDE Eclipse с модификациями. 

 

Просто из интереса - что такого на Ваш взгляд может сделать IDE и чего нельзя сделать в "редакторе кода" Каталона (особенно с учётом того, что он себя как 100% IDE и не позиционирует)?

привязка ключевых слов к методам это уже зло. Методы в языке программирования не привязаны ни к чему, и их можно рефакторить как хочешь, не боясь поломать "тот другой верхний уровень"


  • 0

#36 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 08 октября 2018 - 14:11

Да кто здесь про привязку то говорил? Они зачем то использовали слово "ключевые слова", хотя никаких ключевых слов (по своей сути) там нет. 


  • 0

#37 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 08 октября 2018 - 14:22

 

 

Да кто здесь про привязку то говорил? Они зачем то использовали слово "ключевые слова", хотя никаких ключевых слов (по своей сути) там нет. 

 

вот гляньте, сплошные ключевые слова, это их документация

https://www.katalon....katalon-studio/


  • 0

#38 TatyanaV

TatyanaV

    Опытный участник

  • Members
  • PipPipPipPip
  • 388 сообщений
  • ФИО:Воробьева Татьяна


Отправлено 09 октября 2018 - 05:32

Ладно, это бесполезно. Если Вам удобнее думать, что там все на ключевых словах (в изначальном их смысле) - пусть будет так.


  • 0

#39 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 09 октября 2018 - 06:47

 

 

Если Вам удобнее думать, что там все на ключевых словах (в изначальном их смысле)

да там по факту на ключевых словах, думай не думай

 

сами разве не видите - есть ключевое слово и за каждым ключевым словом описан низкоуровневый код. Точно так же как и во всех других фреймворках на ключевых словах


  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных