Перейти к содержимому

Автоматизация функционального тестирования
онлайн, начало 3 июля
Автоматизатор мобильных приложений
онлайн, начало 8 июля
Тестирование безопасности
онлайн, начало 8 июля
Автоматизация тестов для REST API при помощи Postman
онлайн, начало 9 июля
Фотография

С чего начинается Performance Testing


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 53

#1 PeterL

PeterL

    Активный участник

  • Members
  • PipPip
  • 76 сообщений
  • ФИО:Лёвин Пётр Александрович
  • Город:Москва

Отправлено 11 марта 2005 - 17:54

Всем доброго вечера, хотелось бы прояснить для себя следующий момент:

Имеется: Распределенное приложение состоящие из клинтской части и кучи серверов(на винде) в пределах домена в LAN'е(100MBs).

Не подскажете ли что можно придумать для нагрузочного тестирования этой системы, кроме:
1.Response time
2.Объема пользователей прикотором один из 10-15 серваков сдохнет
И что использовать для тестирования выше перечисленного ?
  • 0
Best Regards,
Peter Levin

#2 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 12 марта 2005 - 00:35

Вы плохо сформулировали задачу. Придумать можно много чего, только это будут все глупости. Потому что вам надо исходить из требований к системе. В данном случае требований к производительности. Если есть требование по времени отклика выполнения определенных операций - надо замерять response time на эти операции. Если такого требования нет, то заниматься замером - пустая трата времени.

Под "что использовать для тестирования" имеется в виду инструмент? Если да, то никто вам на этот вопрос не ответит пока вы не скажете что-нибудь более конкретное, чем "распределенное приложение состоящие из клиентской части и кучи серверов". Какова архитектура приложения? Какие сервера - web, application, transaction, database? Каков протокол общения клиента с сервером?
  • 0
Дмитрий Шевченко

HP Software

#3 van

van

    Опытный участник

  • Members
  • PipPipPipPip
  • 475 сообщений
  • ФИО:Ваулин Артем Николаевич
  • Город:Россия, Санкт - Петербург

Отправлено 14 марта 2005 - 07:07

http://forums.softwa...=ST&f=15&t=2022
  • 0
Ваулин Артем
КОРУС Консалтинг
Руководитель отдела тестирования

Мой дневник

#4 PeterL

PeterL

    Активный участник

  • Members
  • PipPip
  • 76 сообщений
  • ФИО:Лёвин Пётр Александрович
  • Город:Москва

Отправлено 14 марта 2005 - 15:13

Потому что вам надо исходить из требований к системе. В данном случае требований к производительности

В том то и дело что их нет. Наша контора хочет предоставить новый вид сервиса - performance testing для одного из клиетов (клиент сам пока об этом не в курсе :) ), поэтому в данный момент ведётся, так сказать, исследовательский этап работы: а чтобы нам замерить и как. После чего клиенту будет предложен этот вид услуги. Поэтому хотелось бы узнать с чего следует начать подходить к данной задаче.

Какова архитектура приложения? Какие сервера - web, application, transaction, database? Каков протокол общения клиента с сервером?

Всего понемножку :) Это совокупность приложений, каждое из которых имеет свои функции, все они связаны с "главным сервером" через который ведётся общение с клиентом (начать тестирование предполагается с него) по FIX протоколу.
  • 0
Best Regards,
Peter Levin

#5 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 14 марта 2005 - 15:23

...поэтому в данный момент ведётся, так сказать, исследовательский этап работы: а чтобы нам замерить и как.

Тогда скачайте пару-тройку тулов и посмотрите в документации как делать performance testing и что вы можете замерять/мониторить в процессе тестирования. Это даст вам общее представление, во-первых, о предмете исследования, а во-вторых, о том как этот performance testing можно реально осуществить.

Это совокупность приложений, каждое из которых имеет свои функции, все они связаны с "главным сервером" через  который ведётся общение с клиентом (начать тестирование предполагается с него) по FIX протоколу.

Никогда не слышал про такой протокол.
  • 0
Дмитрий Шевченко

HP Software

#6 PeterL

PeterL

    Активный участник

  • Members
  • PipPip
  • 76 сообщений
  • ФИО:Лёвин Пётр Александрович
  • Город:Москва

Отправлено 14 марта 2005 - 15:30

Никогда не слышал про такой протокол.


Протокол Financial Information eXchange (протокол обмена финансовой информацией, FIX) [10] является стандартом обмена сообщениями, разработанным специально для осуществления в реальном времени транзакций электронного обмена ценными бумагами.

FIX протокол создан в 1992 году, группой американских учреждений и брокеров, заинтересованных упрощением процессов торговли. Открытый стандарт, избегающий чрезмерной стандартизации: работает с арендованными линиями, кадровой трансляцией (frame relay), Интернетом, и т. д. Не определяет конкретный тип протокола безопасности.
  • 0
Best Regards,
Peter Levin

#7 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 14 марта 2005 - 15:34

...работает с арендованными линиями, кадровой трансляцией (frame relay), Интернетом, и т. д. Не определяет конкретный тип протокола безопасности.

Так это протокол транспортного уровня что ли? Я имел в виду application level protocol. Как вы собираетесь инструмент подбирать?
  • 0
Дмитрий Шевченко

HP Software

#8 Case

Case

    Основатель

  • Members
  • PipPipPipPipPipPip
  • 7 071 сообщений
  • ФИО:Панкратов Вячеслав
  • Город:Украина, Киев.

Отправлено 14 марта 2005 - 15:57

поэтому в данный момент ведётся, так сказать, исследовательский этап работы: а чтобы нам замерить и как.

Я, конечно, не в курсе на каком уровне понимания задачи вы находитесь, но как по мне со старта стоит покумекать не что мерять, а как грузить.

Надеюсь, старшие товарищи меня поправят.
  • 0
Слава Панкратов
Редактор портала www.it4business.ru

#9 aleksey_kh

aleksey_kh

    Новый участник

  • Members
  • Pip
  • 62 сообщений
  • ФИО:Khudyakov Aleksey
  • Город:ВОЛОГДА-МОСКВА

Отправлено 14 марта 2005 - 16:16

Так это протокол транспортного уровня что ли? Я имел в виду application level protocol. Как вы собираетесь инструмент подбирать?

2Dmitry_NJ
Нет это не транспортный уровень:-)

Ето обыкновенный текст с делиметорами. через TCP. Например:

"<CmdID> <AcctTag>=<AcctID>|<MsgTag>=<MsgID>|......"

2Case

генерилку/парсилку для етого дела нписать несложно :)
Вопрос токо в том как ето распределить(я не знаток сокета и тому подобных изобретений)

2PeterL

А вот спараметрами для фиксирования перформанса правда помоч не могу, кроме СPU и Респондз тайм ничего сказать не могу. у самого проблема выявить критериии для перф тестинга:( Автоматизированное тестирование>>UDP applications testing
  • 0

#10 PeterL

PeterL

    Активный участник

  • Members
  • PipPip
  • 76 сообщений
  • ФИО:Лёвин Пётр Александрович
  • Город:Москва

Отправлено 14 марта 2005 - 16:22

2Aleksey_kh
Да Aleksey_kh вы абсолютно правы.

Генерилку етой байды я вроде как написал : и активно использую для функционального тестирования.
Сейчас стоит вопрос о том чего перформить :). Не понимаю к чему подступиться
  • 0
Best Regards,
Peter Levin

#11 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 14 марта 2005 - 16:33

Ето обыкновенный текст с делиметорами. через TCP. Например: "<CmdID> <AcctTag>=<AcctID>|<MsgTag>=<MsgID>|......"

Так он еще и encrypted будет, наверное, раз всякая финансовая информация идет?

А вот спараметрами для фиксирования перформанса правда помоч не могу, кроме СPU и Респондз тайм ничего сказать не могу.

Да сколько угодно - memory, disk space и вообще любые system resources, которые вы можете получить с помощью perfmon, если речь идет о Windows платформе. Average load, collisions rate, incoming/outgoing packets errors rate и т.д и т.п. для UNIX платформ. Network delay. Соответствующие performance counters для конкретных web/application/database серверов. Вопрос в том, чтобы из всего этого многообразия выбрать то, что нужно именно вам и именно для конкретного случая.
  • 0
Дмитрий Шевченко

HP Software

#12 aleksey_kh

aleksey_kh

    Новый участник

  • Members
  • Pip
  • 62 сообщений
  • ФИО:Khudyakov Aleksey
  • Город:ВОЛОГДА-МОСКВА

Отправлено 14 марта 2005 - 16:45

<AcctTag>=<AcctID>|<MsgTag>=<MsgID>|......"

Вероятно на входе будет екриптед, а при общении м\у серверами в одной сети нет :)

Dmitry_NJ
А про приложения использующие UDP ничего не подскажете :) ?
  • 0

#13 PeterL

PeterL

    Активный участник

  • Members
  • PipPip
  • 76 сообщений
  • ФИО:Лёвин Пётр Александрович
  • Город:Москва

Отправлено 14 марта 2005 - 16:52

Коллеги, а не подскажете ли какие-нибудь курсы по нагрузочному тестированию, я только в академии АйТи нашёл вот эти: http://www.academyit...es.html?cid=611

Заранее спасибо.
  • 0
Best Regards,
Peter Levin

#14 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 14 марта 2005 - 17:05

Коллеги, а не подскажете ли какие-нибудь курсы по нагрузочному тестированию, я только в академии АйТи нашёл вот эти: http://www.academyit...es.html?cid=611

Так надо от печки плясать. У вас инструменты Rational или вы хотите их приобрести? Если да, то эти курсы в тему. Если нет - то пустая трата времени. Сначала с инструментарием определитесь. А потом уже можно будет и курсы подходящие искать.
  • 0
Дмитрий Шевченко

HP Software

#15 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 14 марта 2005 - 17:06

Dmitry_NJ
А про приложения использующие UDP ничего не подскажете :) ?

Может network bandwidth?
  • 0
Дмитрий Шевченко

HP Software

#16 PeterL

PeterL

    Активный участник

  • Members
  • PipPip
  • 76 сообщений
  • ФИО:Лёвин Пётр Александрович
  • Город:Москва

Отправлено 14 марта 2005 - 17:23

Так надо от печки плясать. У вас инструменты Rational или вы хотите их приобрести? Если да, то эти курсы в тему. Если нет - то пустая трата времени. Сначала с инструментарием определитесь. А потом уже можно будет и курсы подходящие искать.

Как раз хотелось бы про сами методики тестирования узнать, потому что нет конкретной привязки к тулу, под одного клиента один тул хорош, под другого - другой, а мануал на тул прочитать и без курсов можно.
  • 0
Best Regards,
Peter Levin

#17 Dmitry_NJ

Dmitry_NJ

    Консультант

  • Members
  • PipPipPipPipPipPip
  • 3 122 сообщений
  • ФИО:Дмитрий Шевченко
  • Город:New Jersey, USA

Отправлено 14 марта 2005 - 17:38

Как раз хотелось бы про сами методики тестирования узнать, потому что нет конкретной привязки к тулу, под одного клиента один тул хорош, под другого - другой, а мануал на тул прочитать и без курсов можно.

Вряд ли вы найдете курсы, где вам расскажут исключительно методику. Скорее можно найти подходящие материалы где-нибудь в интернете на специализированных сайтах. А курсы от дистрибьюторов производителей инструментов имеют своей целью научить вас пользоваться конкретным инструментом. Про методику, конечно, тоже немного расскажут, но пять же применительно к тому, как она реализована в данном туле.
  • 0
Дмитрий Шевченко

HP Software

#18 van

van

    Опытный участник

  • Members
  • PipPipPipPip
  • 475 сообщений
  • ФИО:Ваулин Артем Николаевич
  • Город:Россия, Санкт - Петербург

Отправлено 15 марта 2005 - 07:10

Так надо от печки плясать. У вас инструменты Rational или вы хотите их приобрести? Если да, то эти курсы в тему. Если нет - то пустая трата времени. Сначала с инструментарием определитесь. А потом уже можно будет и курсы подходящие искать.

Как раз хотелось бы про сами методики тестирования узнать, потому что нет конкретной привязки к тулу, под одного клиента один тул хорош, под другого - другой, а мануал на тул прочитать и без курсов можно.

Ссылочку я Вам почти в самом начале дал. Уверен, что там Вы сможете найти ответы на все интересующие Вас вопросы. По крайней мере, когда я неделю назад оказался в похожей ситуации, я нашел.

Еще очень помогли журналы "Software Test & Performance"
http://www.stpmag.com/backissues.htm
  • 0
Ваулин Артем
КОРУС Консалтинг
Руководитель отдела тестирования

Мой дневник

#19 bolshik

bolshik

    Новый участник

  • Members
  • Pip
  • 44 сообщений
  • Город:Санкт-Петербург

Отправлено 15 марта 2005 - 08:24

Вопрос по вашей системе -- вы только Acceptor в терминах FIX или и acceptor, и initiator?
  • 0

#20 PeterL

PeterL

    Активный участник

  • Members
  • PipPip
  • 76 сообщений
  • ФИО:Лёвин Пётр Александрович
  • Город:Москва

Отправлено 15 марта 2005 - 15:18

Вопрос по вашей системе -- вы только Acceptor в терминах FIX или и acceptor, и initiator?

И acceptor и initiator.
  • 0
Best Regards,
Peter Levin


Программирование на С# для тестировщиков
онлайн
Автоматизатор мобильных приложений
онлайн
Selenium WebDriver: полное руководство
онлайн
Программирование на Python для тестировщиков
онлайн



Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных

Яндекс.Метрика
Реклама на портале