Перейти к содержимому

Фотография

Среда запуска jmeter тестов по расписанию c передачей в тест дополните


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 19

#1 necro

necro

    Новый участник

  • Members
  • Pip
  • 22 сообщений
  • ФИО:Алексей
  • Город:Третий Рим

Отправлено 09 января 2020 - 06:01

Добрый день.

 

В ALM/PC экосистеме была реализована замечательная возможность запуска тестов по расписанию и хранения собранных метрик в одном месте.

Кроме этого было удобно передавать в тест настройки непосредственно из ALM (через дополнительные атрибуты) 

Реализовано ли что-либо подобно для jmeter. Насколько я понимаю в плане автоматизации запусков нужно курить в сторону CI инструментов (того же jenkins),

а как дела обстоят с передачей внешних параметров а jmx тесты? Так же хотелось бы осуществлять централизованный сбор и хранение transaction time во внешней бд, без явно прописанных в каждой секции листенеров. Как и чем лучше это делать?

 

Леша

 

P.S. Опять же пока думаю покурить в сторону on-fly модификации специальным образом подготовленных jmx сценариев, но крайне не хотелось бы самому реализовывать этот механизм

 

 


  • 0

#2 APC

APC

    Опытный участник

  • Members
  • PipPipPipPip
  • 293 сообщений
  • ФИО:Похилько Андрей Федорович
  • Город:Москва


Отправлено 09 января 2020 - 07:08

Модификации на лету это сюда: https://gettaurus.or...xisting-Scripts

 

В принципе там же есть примеры модулей, отправляющих результаты на лету в API, если руки знают питон то можно написать свою сохранялку в произвольное место.


  • 0

#3 necro

necro

    Новый участник

  • Members
  • Pip
  • 22 сообщений
  • ФИО:Алексей
  • Город:Третий Рим

Отправлено 09 января 2020 - 08:16

Модификации на лету это сюда: https://gettaurus.or...xisting-Scripts

 

В принципе там же есть примеры модулей, отправляющих результаты на лету в API, если руки знают питон то можно написать свою сохранялку в произвольное место.

 

Ну как это все делать по-отдельности еще более менее понятно (в теории). На примере все той же связки jmeter + influx-grafana + jenkins + модификация\генерация сценариев jmx на лету (через кастомный код или через готовые плагины).

Микрофокус даже предлагает jmeter из ALM пускать (не переплачивая за тех вузеров, которых можно "без потерь" заменить jmeter тридами).

Просто удивляет, что для всего этого зоопарка до сих пор нет коробочной реализации (опенсорс или коммерческой, но за небольшие деньги, не по цене самолета, как у микрофокуса). 


  • 0

#4 Alex

Alex

    Постоянный участник

  • Members
  • PipPipPip
  • 237 сообщений
  • ФИО:Алексей

Отправлено 09 января 2020 - 13:19

 

Модификации на лету это сюда: https://gettaurus.or...xisting-Scripts

 

В принципе там же есть примеры модулей, отправляющих результаты на лету в API, если руки знают питон то можно написать свою сохранялку в произвольное место.

 

Ну как это все делать по-отдельности еще более менее понятно (в теории). На примере все той же связки jmeter + influx-grafana + jenkins + модификация\генерация сценариев jmx на лету (через кастомный код или через готовые плагины).

Микрофокус даже предлагает jmeter из ALM пускать (не переплачивая за тех вузеров, которых можно "без потерь" заменить jmeter тридами).

Просто удивляет, что для всего этого зоопарка до сих пор нет коробочной реализации (опенсорс или коммерческой, но за небольшие деньги, не по цене самолета, как у микрофокуса). 

 

https://www.blazemeter.com/

не об этом? Просто соль jmeter в том, что он бесплатный.

Делать такое решение (объединить весь зоопарк) за бесплатно вряд ли кто-то будет, а делать за деньги - риски. + c новой версией jmeter весь зоопарк может перестать работать.


  • 0

#5 necro

necro

    Новый участник

  • Members
  • Pip
  • 22 сообщений
  • ФИО:Алексей
  • Город:Третий Рим

Отправлено 13 января 2020 - 12:00

 

 

Модификации на лету это сюда: https://gettaurus.or...xisting-Scripts

 

В принципе там же есть примеры модулей, отправляющих результаты на лету в API, если руки знают питон то можно написать свою сохранялку в произвольное место.

 

Ну как это все делать по-отдельности еще более менее понятно (в теории). На примере все той же связки jmeter + influx-grafana + jenkins + модификация\генерация сценариев jmx на лету (через кастомный код или через готовые плагины).

Микрофокус даже предлагает jmeter из ALM пускать (не переплачивая за тех вузеров, которых можно "без потерь" заменить jmeter тридами).

Просто удивляет, что для всего этого зоопарка до сих пор нет коробочной реализации (опенсорс или коммерческой, но за небольшие деньги, не по цене самолета, как у микрофокуса). 

 

https://www.blazemeter.com/

не об этом? Просто соль jmeter в том, что он бесплатный.

Делать такое решение (объединить весь зоопарк) за бесплатно вряд ли кто-то будет, а делать за деньги - риски. + c новой версией jmeter весь зоопарк может перестать работать.

 

 

К сожалению, "облачное" не подходит, нужно чтобы все необходимое было развернуто за корпоративным фаерволом.

 

P.S.

Jmeter конечно бесплатен, но отсутствие централизованного исполнения тестов и хранения собранных метрик/репортов делает его "коныком бэз ногы". Это ни в коем разе не претензия, просто удивляет что за 20 лет с момента запуска проекта и 10-ти лет развития jmeter в его актуальной парадигме, не было придумано какого-то референсного инструмента управления тестированием (ну или плагинов для существующих инструментов) и сборку среды для тестирования надо костылить самому.

 

Насчет "бесплатно делать не будет", спорное утверждение, ИМХО. Весь опенсорс, условно говоря, примерно так и сделан, монетизировать поддержку не хуже лицензирования научились еще лет 15 назад )))


  • 0

#6 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 13 января 2020 - 12:39

 

P.S.

Jmeter конечно бесплатен, но отсутствие централизованного исполнения тестов и хранения собранных метрик/репортов делает его "коныком бэз ногы". Это ни в коем разе не претензия, просто удивляет что за 20 лет с момента запуска проекта и 10-ти лет развития jmeter в его актуальной парадигме, не было придумано какого-то референсного инструмента управления тестированием (ну или плагинов для существующих инструментов) и сборку среды для тестирования надо костылить самому.

Дженкинс есть ведь для этого


  • 0

#7 necro

necro

    Новый участник

  • Members
  • Pip
  • 22 сообщений
  • ФИО:Алексей
  • Город:Третий Рим

Отправлено 13 января 2020 - 14:22

 

 

P.S.

Jmeter конечно бесплатен, но отсутствие централизованного исполнения тестов и хранения собранных метрик/репортов делает его "коныком бэз ногы". Это ни в коем разе не претензия, просто удивляет что за 20 лет с момента запуска проекта и 10-ти лет развития jmeter в его актуальной парадигме, не было придумано какого-то референсного инструмента управления тестированием (ну или плагинов для существующих инструментов) и сборку среды для тестирования надо костылить самому.

Дженкинс есть ведь для этого

 

 

В таком контексте можно сказать - "дженскинс есть для всего". И в то же время можно сказать - "ни для чего", и тоже ни разу не ошибиться ))). Потому что интеграцию дженкиса с джимитером надо делать самописными костылями.  С приседаниями и танцами с бубном. Я три года самоосознания в стезе перформанс инженера жил в экоситеме HP и  всего этого чада и угара был полностью лишен. И если конкурентное бронирование слотов и версионирование скриптов и сценариев тестирования - это скорее больше вопрос корпоративной культуры, отсутствие которых даже в географически разделенной команде вполне можно легко пережить, то без некоторых мастхэв фишек все очень тоскливо. Я как бы не так уж много хочу: сквозная нумерация запусков, разнесение скрипта от теста по разным сущностям и централизованное хранение артефактов и все это "из коробки" - воспринимаются мной как минимальный набор для серьезной работы, иначе это не тестирование, а какая- то "игра в бирюльки".

Вот прямо сейчас мне "хочется" заниматься развертыванием APM ландшафта - чтобы дать бизнес заказчику ответы на интесующие его вопросы, а приходится разбираться в кастомизации CI/CD инструментария (((

 

Спасибо, Леша


  • 0

#8 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 13 января 2020 - 16:10

это наверное пост из прошлого :)

 

версионирование например уже давно с помощью гита делают :)

все остальное тоже поменялось :)


  • 0

#9 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 13 января 2020 - 19:26

это наверное пост из прошлого :)

 

версионирование например уже давно с помощью гита делают :)

все остальное тоже поменялось :)

Нет, это пост человека поработавшего с комплексной системой управления разработкой. Вы не поняли про что человек говорит.


  • 0

#10 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 13 января 2020 - 20:06

 

 

 

P.S.

Jmeter конечно бесплатен, но отсутствие централизованного исполнения тестов и хранения собранных метрик/репортов делает его "коныком бэз ногы". Это ни в коем разе не претензия, просто удивляет что за 20 лет с момента запуска проекта и 10-ти лет развития jmeter в его актуальной парадигме, не было придумано какого-то референсного инструмента управления тестированием (ну или плагинов для существующих инструментов) и сборку среды для тестирования надо костылить самому.

Дженкинс есть ведь для этого

 

 

В таком контексте можно сказать - "дженскинс есть для всего". И в то же время можно сказать - "ни для чего", и тоже ни разу не ошибиться ))). Потому что интеграцию дженкиса с джимитером надо делать самописными костылями.  С приседаниями и танцами с бубном. Я три года самоосознания в стезе перформанс инженера жил в экоситеме HP и  всего этого чада и угара был полностью лишен. И если конкурентное бронирование слотов и версионирование скриптов и сценариев тестирования - это скорее больше вопрос корпоративной культуры, отсутствие которых даже в географически разделенной команде вполне можно легко пережить, то без некоторых мастхэв фишек все очень тоскливо. Я как бы не так уж много хочу: сквозная нумерация запусков, разнесение скрипта от теста по разным сущностям и централизованное хранение артефактов и все это "из коробки" - воспринимаются мной как минимальный набор для серьезной работы, иначе это не тестирование, а какая- то "игра в бирюльки".

Вот прямо сейчас мне "хочется" заниматься развертыванием APM ландшафта - чтобы дать бизнес заказчику ответы на интесующие его вопросы, а приходится разбираться в кастомизации CI/CD инструментария (((

 

вы сравниваете опенсорсный универсальный инструмент автоматизации с коммерческой средой поддержки разработки. С дженкинсом можно сделать что угодно. главное понимать что. HP ALM, думаю, тоже не слишком прост в настройке с 0


  • 0

#11 Сергей

Сергей

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 245 сообщений
  • Город:Москва

Отправлено 13 января 2020 - 21:01

ALM Octane, денег нет - работаешь ручками с Jenkins + Git. А вообще, ALM с его убогим интерфейсом, аццкой версионностью, vbscript-м и тормознутостью в IE вгоняет в уныние. Это как тестирование веб UI комбайном HP UFT тем же vbscript-м вместо Java и Selenium, от того что не могем;) Да, есть метрики, прогоны, графики, кстати тоже убогие. Но кому это все нужно? Заказчику? Заказчику нужен готовый продукт, а не отчёт где будет зелёный кружок с прогонами тестов. Опять же, есть Kibaba, Allure, ну или Jira + плагины и т.п. Много что есть, не надо зацикливаться на одном инструменте. Но отчитываться перед бизнесом отчётами зелёным забором вот не надо. Спасибо.
  • 0

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#12 necro

necro

    Новый участник

  • Members
  • Pip
  • 22 сообщений
  • ФИО:Алексей
  • Город:Третий Рим

Отправлено 14 января 2020 - 11:37

ALM Octane, денег нет - работаешь ручками с Jenkins + Git. А вообще, ALM с его убогим интерфейсом, аццкой версионностью, vbscript-м и тормознутостью в IE вгоняет в уныние. Это как тестирование веб UI комбайном HP UFT тем же vbscript-м вместо Java и Selenium, от того что не могем;) Да, есть метрики, прогоны, графики, кстати тоже убогие. Но кому это все нужно? Заказчику? Заказчику нужен готовый продукт, а не отчёт где будет зелёный кружок с прогонами тестов. Опять же, есть Kibaba, Allure, ну или Jira + плагины и т.п. Много что есть, не надо зацикливаться на одном инструменте. Но отчитываться перед бизнесом отчётами зелёным забором вот не надо. Спасибо.

 

Меня очень устраивала в АЛМ возможность вернуться к анализу результатов прогона в любой момент. Удобно когда делаешь отчет по тестированию за "квартал", отфильтровал все что надо и вуаля. Плюс построение какой-никакой аналитики общего толка. Графички, распределения, персентили, ошибки. В целом убого, но как канарей тест сойдет. Но из коробки и "привязанной" к конкретному тестовому прогону. Плюс шаблоны для этой аналитики, убогие, но опять же из коробки.

 

А то что Вы задумываетесь о вечном, о готовности продукта - прекрасное качество, но это головная боль не моя, а продакт оунера. Я же человек приземленный, моя зона ответственности это как раз тот самый "зеленый забор" и адекватное поведение приложения под нагрузкой. А так же помощь разрабам в локализации инцидентов с производительностью и все что с этим связано, т.е. системный мониторинг, визуализация, APM. Причем не в развертывании и поддержке, а в интерпретации результатов.


  • 0

#13 necro

necro

    Новый участник

  • Members
  • Pip
  • 22 сообщений
  • ФИО:Алексей
  • Город:Третий Рим

Отправлено 14 января 2020 - 11:57

 

 

 

 

P.S.

Jmeter конечно бесплатен, но отсутствие централизованного исполнения тестов и хранения собранных метрик/репортов делает его "коныком бэз ногы". Это ни в коем разе не претензия, просто удивляет что за 20 лет с момента запуска проекта и 10-ти лет развития jmeter в его актуальной парадигме, не было придумано какого-то референсного инструмента управления тестированием (ну или плагинов для существующих инструментов) и сборку среды для тестирования надо костылить самому.

Дженкинс есть ведь для этого

 

 

В таком контексте можно сказать - "дженскинс есть для всего". И в то же время можно сказать - "ни для чего", и тоже ни разу не ошибиться ))). Потому что интеграцию дженкиса с джимитером надо делать самописными костылями.  С приседаниями и танцами с бубном. Я три года самоосознания в стезе перформанс инженера жил в экоситеме HP и  всего этого чада и угара был полностью лишен. И если конкурентное бронирование слотов и версионирование скриптов и сценариев тестирования - это скорее больше вопрос корпоративной культуры, отсутствие которых даже в географически разделенной команде вполне можно легко пережить, то без некоторых мастхэв фишек все очень тоскливо. Я как бы не так уж много хочу: сквозная нумерация запусков, разнесение скрипта от теста по разным сущностям и централизованное хранение артефактов и все это "из коробки" - воспринимаются мной как минимальный набор для серьезной работы, иначе это не тестирование, а какая- то "игра в бирюльки".

Вот прямо сейчас мне "хочется" заниматься развертыванием APM ландшафта - чтобы дать бизнес заказчику ответы на интесующие его вопросы, а приходится разбираться в кастомизации CI/CD инструментария (((

 

вы сравниваете опенсорсный универсальный инструмент автоматизации с коммерческой средой поддержки разработки. С дженкинсом можно сделать что угодно. главное понимать что. HP ALM, думаю, тоже не слишком прост в настройке с 0

 

Меня пугает это "сделать все что угодно". Я вообще не понимаю эту одержимость CI/CD, особенно применительно к НТ. Львиная доля осознанной активности по НТ это интерпретация результатов и поддержка\разработка скриптов тестирования. Чисто человеческая работа, с крайне малой долей какой-то внутренней автоматизации. Найти (корень проблемы), раскопать (зависимости), собрать (артефакты), описать (внятно).  На собственно настройку и запуски "прогонов" тратится от силы 5, а то и 1% времени. Работая безымянным пальцем левой ноги приглядывая левым глазом, чтобы не заснуть пока варится кофе(последнее не обязательно) ))) При этом в большинстве случае просто дичайшие зависимости от сторонних систем, когда приходится, чуть ли не в письменной форме согласовывать прогоны со всему вовлеченными сторонами. Чем тут поможет CI/CD? Что изменит автоматический запуск НТ после сборки билда? Что он покажет\докажет без человеческого анализа? Ответ: а ничего ))) Нету таких систем )))


  • 0

#14 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 14 января 2020 - 12:10

 

 

Меня пугает это "сделать все что угодно". Я вообще не понимаю эту одержимость CI/CD, особенно применительно к НТ. Львиная доля осознанной активности по НТ это интерпретация результатов и поддержка\разработка скриптов тестирования. Чисто человеческая работа, с крайне малой долей какой-то внутренней автоматизации. Найти (корень проблемы), раскопать (зависимости), собрать (артефакты), описать (внятно).  На собственно настройку и запуски "прогонов" тратится от силы 5, а то и 1% времени. Работая безымянным пальцем левой ноги приглядывая левым глазом, чтобы не заснуть пока варится кофе(последнее не обязательно) ))) При этом в большинстве случае просто дичайшие зависимости от сторонних систем, когда приходится, чуть ли не в письменной форме согласовывать прогоны со всему вовлеченными сторонами. Чем тут поможет CI/CD? Что изменит автоматический запуск НТ после сборки билда? Что он покажет\докажет без человеческого анализа? Ответ: а ничего ))) Нету таких систем )))

всё это опять же устарело, и системы появились, вуаля

 

как работает: 

система непрерывной сборки после пуша раскладывает контейнеры аппликации в облаке, нагрузочные тесты опять же облачные нагружают аппликацию, генерируются все необходимые отчёты и опять же складываются в облаке. Огромным плюсом идёт отсутствие "дичайших зависимостей". Если "графики упали" то билд фейлится, программисты получают автоматическую нотификацию и начинают дебажить свой бранч

 

в это время инженер нагрузочного тестирования спокойно пьёт своё или свой кофе и читает хабр


  • 0

#15 necro

necro

    Новый участник

  • Members
  • Pip
  • 22 сообщений
  • ФИО:Алексей
  • Город:Третий Рим

Отправлено 14 января 2020 - 12:58

 

 

 

Меня пугает это "сделать все что угодно". Я вообще не понимаю эту одержимость CI/CD, особенно применительно к НТ. Львиная доля осознанной активности по НТ это интерпретация результатов и поддержка\разработка скриптов тестирования. Чисто человеческая работа, с крайне малой долей какой-то внутренней автоматизации. Найти (корень проблемы), раскопать (зависимости), собрать (артефакты), описать (внятно).  На собственно настройку и запуски "прогонов" тратится от силы 5, а то и 1% времени. Работая безымянным пальцем левой ноги приглядывая левым глазом, чтобы не заснуть пока варится кофе(последнее не обязательно) ))) При этом в большинстве случае просто дичайшие зависимости от сторонних систем, когда приходится, чуть ли не в письменной форме согласовывать прогоны со всему вовлеченными сторонами. Чем тут поможет CI/CD? Что изменит автоматический запуск НТ после сборки билда? Что он покажет\докажет без человеческого анализа? Ответ: а ничего ))) Нету таких систем )))

всё это опять же устарело, и системы появились, вуаля

 

как работает: 

система непрерывной сборки после пуша раскладывает контейнеры аппликации в облаке, нагрузочные тесты опять же облачные нагружают аппликацию, генерируются все необходимые отчёты и опять же складываются в облаке. Огромным плюсом идёт отсутствие "дичайших зависимостей". Если "графики упали" то билд фейлится, программисты получают автоматическую нотификацию и начинают дебажить свой бранч

 

в это время инженер нагрузочного тестирования спокойно пьёт своё или свой кофе и читает хабр

 

Хорошо живется в мире розовых единорогов


  • 0

#16 Spock

Spock

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 772 сообщений
  • ФИО:Роман

Отправлено 14 января 2020 - 14:08

 

 

Хорошо живется в мире розовых единорогов

хорошо живётся тем кто хорошо применяет современные технологии

 

ну а остальные не знают нового и по-старинке бегают все в мыле, нагружая "серваки" :)


  • 0

#17 necro

necro

    Новый участник

  • Members
  • Pip
  • 22 сообщений
  • ФИО:Алексей
  • Город:Третий Рим

Отправлено 15 января 2020 - 04:48

 

 

 

Хорошо живется в мире розовых единорогов

хорошо живётся тем кто хорошо применяет современные технологии

 

ну а остальные не знают нового и по-старинке бегают все в мыле, нагружая "серваки" :)

 

Чем больше живу, тем больше убеждаюсь, что адепты чистого аджайла и CI/CD это секта по типу ЗОЖников или свидетелей иеговы. Спорить по существу с ними бесполезно от слова совсем. Выпилишь из контекста самолюбование и навязчивую рекламу своих идей, глянь, а смысловой нагрузки там и не останется. Поэтому извините, но впереть мне Ваше мнение неинтересно от слова совсем. И не из "идеалогических" соображений, а банально потому что Вы даже не пытались читать то, что я писал выше (по предметной области), а приходите потешить ЧСВ, получая просто нереальное удовольствие от осознания собственной крутости.

 

P.S. НТ на "стабах" в CI/CD пайпе - это эрзац который не найдет ничего, чего бы не нашло юнит тестирование от разрабов. Утрирую конечно, какие-то банальные джуновские болячки оно найдет, но не более того. Все реальные инциденты производительности из моего личного опыта в тестировании, были связаны с недостаточно проработанной постановкой задачи. То есть корневой проблемой была излюбленная фишка аджайл проектов отсутствие штатного аналитика. Поэтому весь этот пафос про оптимизацию времени перф инженера - от тривиального непонимания целей и задач тестирования производительности (а так же роли перф. инженера в цепочке разработки).

Еще раз для тех кто любит читать по диагонали: Запуск и настройка прогонов, при правильно подобранном инструментарии занимает от силы 1-2% времени инженера. Все остальное время уходит на взаимодействие с бизнес заказчиком, поддержание кода и анализ результатов. Поэтому "няшечное" НТ встроенное в пайплайн CI/CD абсолютно ничего не решает (и как показывает практика ничего не находит).

 

P.p.s. на этой радостной ноте считаю холивар на счет применимости CI/CD для НТ закрытым и дальнейшие остроумные опусы на этот счет буду игнорить )))


  • 0

#18 BabyRoot

BabyRoot

    Специалист

  • Members
  • PipPipPipPipPip
  • 833 сообщений


Отправлено 15 января 2020 - 08:24

По поводу запуска - крон более лёгкий чем дженкинс.

По поводу хранения параметров - https://jmeter-plugi...ariablesFromCSV

Отсылать в БД - http://jmeter.apache...ackend_Listener


  • 0

#19 Сергей

Сергей

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 245 сообщений
  • Город:Москва

Отправлено 15 января 2020 - 20:30

Леша, тебе не навязывают развивать «НТ на "стабах" в CI/CD пайпе».
  • 0

"Если ты хороший плотник и делаешь красивую тумбочку, ты не будешь прибивать сзади фанеру, даже несмотря на то, что задняя часть повернута к стене, и никто ее не видит. Ты будешь хорошо спать ночью, только если тебе удалось воплотить в своем произведении эстетическую красоту и качество." © Стив Джобс


#20 necro

necro

    Новый участник

  • Members
  • Pip
  • 22 сообщений
  • ФИО:Алексей
  • Город:Третий Рим

Отправлено 16 января 2020 - 11:27

Леша, тебе не навязывают развивать «НТ на "стабах" в CI/CD пайпе».

 

Умных людей уважаю, умников не перевариваю (с) не мое


  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных