Сообщений в теме: 23

[cmsobzor]

Мой сайт посвящен обзору cms. Созрела идея протестировать системы управления контентом. Но хорошая идея так и остается идеей без консультации у профессионалов. Так вот вопрос - кто сталкивался с вопросом тестирования скриптов, что для этого нужно, какие есть бесплатные программы или предоставить платные на время.

[Case]

Какие задачи вы ставите? Получить обзор или протестировать несколько различных систем?

Если дело идёт об обзоре - инструменты вам по-моему не нужны, нужно попользоваться разными СМС и сказать своё авторское мнение - я верно понял задачу?

Если же вам нужно _протестировать_, то вам нужен документ в котором вы определите задачи вашего тестирования, отсюда и будем танцевать дальше.

[cmsobzor]

Обзор это только одна из частей. Проблемы с его подготовкой не будут - в основном пользователей интересует модули и наличие базы данных, но в связи со спецификой моего сайта это уже наработанный материал.
Вторая часть вопроса - пользователи при выборе системы часто интересуются сколько посетителей она выдержит, так-же неплохо выделить отдельно результаты при тестированиии на отдельном сервере, при использовании на стандартном хостинге провайдера (до каких пор не попросят прикупить сервер из-за превышений процесорных мощностей).
Как правильно я понял задачи вытекают следующие - максимальное количество пользователей при загрузке процесора и памяти на 10% (это пока приблизительные варианты) и при загрузке на 100% - это при варианте выделенного сервера.
Вообще с вопросом тестирования я не сталкивался - надеюсь постепенно меня направят в нужное русло, возможно кто-то и избявит желание провести совместное тестирование (в этом случае важна в первую очередь консультация специалиста).
Вообще интересует можно ли учитывать запросы к базе, время ответа на запрос - я новичок в этом деле и прошу отнестись с пониманием. Если кто сталкивался с подобными вопросами, то обьясните основные нюансы, слабые точки, и т.д.

[Dmitry_NJ]

Вторая часть вопроса - пользователи при выборе системы часто интересуются сколько посетителей она выдержит, так-же неплохо выделить отдельно результаты при тестированиии на отдельном сервере, при использовании на стандартном хостинге провайдера (до каких пор не попросят прикупить сервер из-за превышений процесорных мощностей).
Как правильно я понял задачи вытекают следующие - максимальное количество пользователей при загрузке процесора и памяти на 10% (это пока приблизительные варианты) и при загрузке на 100% - это при варианте выделенного сервера.
...
Вообще интересует можно ли учитывать запросы к базе, время ответа на запрос...

Выглядит все так, что перед вами стоит классическая задача по нагрузочному тестированию вашей системы. То, что вы хотите, сделать вполне реально. Если ваша система работает по HTTP(S), то вы сможете получить практически любую статистику - сколько времени ушло на DNS resolution, network time, server time, download time etc., сможете узнать какие компоненты на web страницах грузились дольше всего и т.д. и т.п. Можно будет узнать и при каком количестве пользователей ваша система или совсем перестанет функционировать или производительность работы деградирует до неприемлемого уровня. Единственное, что вам нужно - хороший load testing tool и толковый специалист, умеющий с этим тулом работать (я так понимаю, что у вас соответствующего опыта нет).

[cmsobzor]

1

сколько времени ушло на DNS resolution, network time, server time, download time etc., сможете узнать какие компоненты на web страницах грузились дольше всего

2

совсем перестанет функционировать или производительность работы деградирует до неприемлемого уровня

Спасибо. Именно результаты этих тестов мне и нужны. В основном второго пункта. Словами профи вырисовывается задача.

load testing tool

- это как я понимаю оборудование для тестирования. т.е. не только програмное обеспечение, а все в комплексе.
Также постепенно становится ясно что простого интузиазма для тестирования не достаточно. не теряя времени даром я постепенно изучаю информацию. Как и ожидалось на русском языке ее ничтожно мало применительно к моей задаче - т.е. без знания иностранного языка мне "толковым специалистом" даже в рамках тестирования cms мне не стать. Вторая проблема - довольно высокие цены на програмное обеспечение (удобное понятное и сильное) которое позволит провести тесты. для моего сайта, который поддерживает группа альтруистов это не осуществимо.
Пробовал Webserver Stress Tool 6 триал - сильные ограничения (но нашлись интузиасты которые руссифицировали эту программу)
AppPerfect DevSuite 3.0 - тоже вроде есть ограничения, отсутствует информация на русском языке, да и программа сильно глючит.

[Dmitry_NJ]

load testing tool

- это как я понимаю оборудование для тестирования. т.е. не только програмное обеспечение, а все в комплексе.

Нет, это именно software. Может вполне хватить и одной машины, где такой tool будет установлен и откуда будет создаваться нагрузка. Но это уже технические детали.

Когда я говорил о том, что хороший load testing tool позволяет сделать, я, естественно, имел в виду коммерческое software. Средства нагрузочного тестирования дорогие, поэтому в вашем случае придется довольствоваться или freeware/shareware (возможности подобных инструментов мне неизвестны) или арендовать инструмент на время тестирования, например на неделю. Естественно, в этом случае вам придется арендовать вместе с инструментом и специалиста, который выполнит саму работу. То есть, по сути купить load testing service. Не знаю, правда, насколько это реально, если сайт поддерживается на общественных началах.

Вот здесь вы можете скачать evaluation версии инстриментов для нагрузочного тестирования - LoadRunner (универсальный тул) и/или Astra LoadTest (только для web-приложений): Download

Вы не проведете полноценного нагрузочного тестирования с evaluation версиями, но, по крайней мере, получите представление о том что подобные инструменты умеют делать и как с ними работать. Все, естественно, на английском языке. Если вы не очень хорошо им владеете, то я даже не знаю что вам посоветовать в таком случае :(

[cmsobzor]

А какая была идея :) . В принципе я уже описывал один из продуктов Webserver Stress Tool, возможно разработчика заинтересуются если их указать в спонсорах (проекту помогали и многие другие комерческие разработчики также просто как помощь - вот только помогали русские). Темболее что там довольно понятно все. И не очень дорого - 500$ для разработчиков не убудет :) . А с английским - худо бедно, но читаем, с програмами разберемся - большие обьмы документации просто сложнее. Вот только скачивать LoadRunner заранее зная что он не выполнит тестирования не хочется, тем более 300 метров.
а теперь наверное последний вопрос в моей несбыточной идеи - Русские производители есть ? Т.к. все что я находил было забугорным. Не могу поверить что русские такое пропустили - это наверное последняя надежда. (хотя альтруизм насколько известно не в почете)

[Dmitry_NJ]

Вот только скачивать LoadRunner заранее зная что он не выполнит тестирования не хочется, тем более 300 метров.
а теперь наверное последний вопрос в моей несбыточной идеи - Русские производители есть ? Т.к. все что я находил было забугорным. Не могу поверить что русские такое пропустили - это наверное последняя надежда. (хотя альтруизм насколько известно не в почете)

Так я изначально и сказал, что evaluation версии - именно для ознакомления с принципами работы и возможностями продуктов, дело тут не в LoadRunner'e. Он то как раз выполнит тестирование, если вы умеете им пользоваться. Просто компании разработчики коммерческих продуктов не занимаются благотворительностью - 10 виртуальных пользователей вполне достаточно, чтобы оценить полезность инструмента, но недостаточно, чтобы использовать его в реальных проектах. Все логично.

Про русских разработчиков средств нагрузочного тестирования я не слышал (имею в виду компании; люди то наши везде работают, в том числе немало их и в Mercury). Может кто-то что-то и делает, но думаю, что это скорее всего ограничивается чем-то сильно заточенным под конкретные системы/проекты, т.е. сугубо для внутренних нужд. В принципе, если вас интересует только web, то в инете можно найти бесплатные программульки, которые худо-бедно помогут вам.

[cmsobzor]

Спасибо Dmitry_NJ. Хоть немного я вник в эту область и обозначились направления. Возможно просто придется писать свое програмное обеспечение именно для этой задачи - простое , убогое (ничего не поделаешь). Уж хоть програмистов в друзьях недостатка нет.
З.Ы. :D митино :D

[cmsobzor]

А профессионалы тестировщики ограничились только советами, конкретно ничего не предложив. чесно говоря не ожидал. Ведь не нужно точности результатов до сотых процента. Если ли продукт который можно использовать бесплатно ?

[barancev]

А профессионалы тестировщики ограничились только советами, конкретно ничего не предложив. чесно говоря не ожидал. Ведь не нужно точности результатов до сотых процента. Если ли продукт который можно использовать бесплатно ?

А Вы, вероятно, ожидали готовых решений? На неконкретный вопрос неконкретный ответ :P

Ну хорошо, добавим конкректики.

Конкретных инструментов хотите? Пожалуйста: http://www.qalinks.c...rmance_Testing/, я думаю, там штук двадцать разных наберётся, иногда и бесплатные попадаются. НО: выбрать из них "самый правильный" Вам никто не поможет при столь общей постановке вопроса.

Обязательно хотите, чтобы был сделан, конкретно, русскими? Попробуйте WAPT: http://www.loadtestingtool.com/, made in Novosibirsk. Правда, русского интерфейса и у них нет. А оно действительно так важно?

Бесплатно хотите? Это уже неконкретно :) Но если очень хочется - ищите в местах типа http://www.opensourc...performance.php. А попробовать вообще почти все производители дают бесплатно, хоть и ненадолго. Кроме того, я думаю, $500 от Вашей компании не убудет, чтобы купить инструмент :)

А вообще-то, поскольку у Вас возникла проблема выбора инструмента, я бы посоветовал Вам сначала найти человека, который будет выполнять тестирование, а потом уж он пусть ищет инструмент себе по руке. А то Вам тут специалисты да профессионалы насоветуют, что использовать, а он откажется пользоваться предложенными инструментами, потому что он привык пользоваться другим. И будеть пользоваться им, потому что для него именно этот инструмент ЛУЧШИЙ.

[cmsobzor]

barancev. Это уже ближе к конкретике. Спасибо за ссылки. Вот на счет 500$ неувязочка - я не работаю ни в какой компании, тестирование планировалось для "общественности" на добровольных началах. Почему не подойдут триал версии - тестирование не только конкретных нагрузок, но и нахождение "потолка" , т.е. до тех пор, пока cms (скрипт) не упадет полностью и безнадежно. А 10 пользователей всетаки маловато для этого. Огромное спасибо за WAPT
P.S. 500$ - увы. это две мои зарплаты. (факт) :(

[Green]

Вам нужна конкретика, их есть у меня!
B)

Экскурс в персональную историю...
На протяжении нескольких лет я занимался тестированием контент менджмент системы (CMS), разработанной американской компанией. Система этой компании использовалась (и сейчас используется :), просто я уже работаю в другой компании) для организации контента на самом посещаемом сайте Америки - www.lasvegas.com.

Исходя из вышеизложенного можете считать меня профессионалом в этой области.
:P

Теперь по делу...

Я не понял, что именно Вы хотите сделать и для каких целей.
:(

Вы хотите протестировать СМS разных компаний на предмет чего?
Какова Ваша цель?
Производительность?
Работоспособность/наличие багов?
Юзабилити?
Способность управлять разными типами файлов?
Совместимость с разными интернет технологиями или протоколами?
Конкурентоспособность?

И в каком объему?
(Сколько времени Вы готовы этим заниматься?)

Ответив на эти главные вопросы можно будет продолжать обсуждение.
А пока, обсуждать нечего.
:(

[cmsobzor]

Я постараюсь ответить. Ведь первоначально я даже не знаю как правильно поставить вопрос - я никогда не вдавался в вопросы тестирования (тут просто прошу отнестись с пониманием - сам знаю что здесь профи обсуждаю вопросы и всунулся я).
Целью скорее всего думаю можно считать
производительность - это первоначально,
наличие багов - подразумевается тестирование бесплатных cms, так-что наличие багов там гарантировано :D
все остальные критерии приобретают смысл при тестировании комерческих систем - на что у нас думаю не хватит не средсв, не знаний (как не печально), но это всетаки уже другой этап и выходит за рамки первоначального вопроса в моем понимании.

обьем - как я говорил выше из-за своей безграмотности в этой сфере я не представляю о каких обьемах может идти речь. Неделя, месяц, пол года - вполне реальные сроки, всетаки для меня главное результат.

[Green]

Давайте тогда разбираться с самого начала.
B)

Во первых немного истории...
В те далекие времена, когда земля еще была совсем тепленькой...
существовал только HTML. И были страницы статические - дальше некуда.

Что бы своять сайтик страниц этак на 1000, а то и больше, нанимали 100 кодировщиков и они усердно строчили HTML. И даже когда работа была закончена и сайт запускали в жизнь, вся эта сотня не оставалась без работы, так как постоянно надо было что-нибудь исправлять или вносить изменения.

Довольно быстро поняли, что так жить нельзя. И появились средства, позволяющие объединять некоторые задачи для разных страниц в одну. Для дизайна появились стили, для функциональности - скриптовые язуки.

На этом эволюция не закончилась, но по-прежнему любые изменения занимают много сил, времени и имеют высокую степень вероятности внесения ошибок, так как вначале разрабатывается дизайн, готовится контент, а затем кодировщик изображает это все в коде.

Если рассмотреть веб сайт вооруженным взглядом, то можно увидеть одну, две, а то и все три составляющие веб сайтов, а именно:
- контент,
- дизайн,
- функциональность.

И был рожден CMS, или рождена (если система)... :-)

Главное назначение CMS (КМС - контент менеджмент системы) разделить усилия по созданию всех трех составляющих. Другими словами, сделать так, что бы над контентом трудились авторы, над дизайном - дизайнеры, а над функциональностью - программисты. А затем, по мановению волшебной палочки, немного колдовства и нажатию большой красной кнопки все это собиралось (заметьте, автоматически) в один большой сайт и публиковалось куда надо.

Самым модным направление работ в этой области является идея создания модулей, которые могут разбираться и вновь собираться в уже новую конструкцию на подобии детского конструктора Лего.

[Case]

производительность
наличие багов
остальные критерии
обьем

Нормальный список задач для отдела по тестированию.
На энтузиазме не потянете. Тем более что хочется сравнить - т.е. протестить не одну а много (кстати сколько?) систем.

PS
Потому народ не особо рвался в ответы, наверное. Смысл? Рекомендовать решения для тестирования штук по 30$? Или предлагать свои услуги (аутсорсить) так опять-таки: 4-5 человек отдел + ведущий, который будет общаться с вами, ставить задачи своим товарищам и т.д. Пусть команда удалённая, работы месяца на 2-3. Пусть товарищи просто на ЗП возьмутся работать (то есть самой компании прибыли 0) - имеем: 4 * 500 (минимум) = 2000 + 750 ведущему + накладные расходы, будет 3.000 в месяц (не уверен что много фирм кинутся за эти денги что-то делать). Умножаем хотя бы на 2 месяца - получаем 6.000$ Что тут посоветуешь?

[Green]

Продолжим...

Новое применение CMS получили с утверждением XML в качестве стандарта, а так же с появлением новых технологий, использующих XSLT и XSX/XSD.

На базе языка XML стали разрабатываться словари в различных областях деятельности, которые в последствии утверждались в качестве стандарта. Что это дало?

Приведу пример из своей практики.
Несколько лет назад ведущие международные ассоциации туристического бизнеса утвердили в качестве стандарта правила представления бизнес информации в терминах XML. Теперь любой производитель ПО может разработать свою программу, которая будет обрабатывать запросы на путевки, бронировать номера в отелях и т.п. и, используя утвержденный стандарт, конвертировать свои сообщения в формат, распознаваемый программами других производителей.
Моей задачей и было тестирование системы, которая тренсформировала запросы из старого стандарта в новый и обратно.

Из этой области применения CMS я читал только об одном случае. Компания Майкрософт разработала свой словарь для медицинской области и выпустила систему, позволяющую работать и обмениваться информацией по сети.

Судя по тому буму, который разразился вокруг создания словарей для различных бизнес областей, можно утверждать, что разработка программ для них так же идет полным ходом.

[Green]

Теперь можно вернуться к задаче.

Тестировать CMS нет никакого смысла. Пусть этим занимаются разработчики, каждый своим. Они за это получаю деньги.

Другой вопрос, подготовить достоверную и свежую информацию о самих CMS. История возникновения этого направления в программной индустрии. Классификацию CMS. Примеры использования. Перечень разработчиков и описание плюсов и мунусов их продуктов.

Такой информации я пока не встречал, а вот сами разработчики, т.е. их сайты :) , в сети попадались.

1. В первую очередь это Майкрософт с их Sharepoint.
2. http://www.ansiko.com/tech/cms.html
3. http://www.fogcreek.com/CityDesk/
4. http://www.epam.com/...nt-services.htm

Все эти системы разнородны и предназначены для различных категорий заказчиков. Возможно, имеет смысл разделить их по "весовым" категориям и сравнивать каждое решение в своем классе.

B)

[barancev]

Обзор это только одна из частей. Проблемы с его подготовкой не будут - в основном пользователей интересует модули и наличие базы данных, но в связи со спецификой моего сайта это уже наработанный материал.

А нельзя ли получить ссылку на упоминаемый сайт?
Возможно после ознакомления с его содержанием нам станут яснее Ваши замыслы.

[cmsobzor]

http://cmsobzor.ru - это и есть тот пресловутый сайт преткновения. Что такой CMS я знаю, для чего он предназначен тоже. Но дело в том, что как раз коммерческие системы живучие и тестировать их по крайней мере будут те, кто покупает. Вопрос стоит как раз по бесплатным системам. Для чего все это и задумывалось - пользователь просит в форуме подсказать систему с определенным набором параметров и степенью живучести. Если с комплектацией модулей проблем не возникает, то ВСЕХ интересует какую нагрузку, выдержит система на обычном хостинге, выделенном сервере, да и выдержит ли совсем. Заранее хочу сказать что не стоит пренебрежительно относиться к free cms - есть прекрасные представители которые могут составить конкуренцию платным системам, даже в семействе *-Nuke.
Вот только тестирование в моем понимании складывалось следующим образом - устанавливаю cms, запускаю программу, cms падает, смотрю, на каком уровне у нее были приемлемые показатели. У нас есть и программисты и все знают cms, но как обычно нет денег и мы хотим сделать все Сами - вот только нужно научиться. Ведь даже поверим в утопию, и нам поможет контора - так через год данные уже устареют, и потребуется новое тестирование. Да и регулярно выходят новые системы.