Перейти к содержимому

Английский для тестировщиков
онлайн, начало 7 декабря
Chrome DevTools: Инструменты тестировщика
онлайн, начало 10 декабря
Школа Тест-Аналитика
онлайн, начало 9 декабря
Школа тест-менеджеров v. 2.0
онлайн, начало 9 декабря

BaAbaKa

Регистрация: 23 окт 2006
Offline Активность: 19 авг 2013 08:34
-----

Мои сообщения

В теме: Нагрузочное тестирование в Яндексе

22 октября 2012 - 10:02


Андрей, такой ещё вопрос по организации процесса :blush:
Ситуация: разрабатывается сервис (приложение, сайт, ... ). Пехота прошлась по функционалу, можно теперь и по нагрузке продавить :)
У вас есть результаты тестов, допустим (не приведи Господь конечно), что всё плохо именно с точки зрения перформанса, сколько у вас времени на сообщение результатов?
Да, как-то мутнова-то получилось, пример:
Релиз нового функционала через две недели (итерация), доработали фичу и прошлись по функционалу тестировщиками ( :beach: ).
Отдали танкистам, через полторы недели.. у вас есть три дня на проведение тестов, анализ результатов и отправке "совета".. Если всё плохо, но об этом узнают за день до релиза, чего происходит?
Раньше стрелять нельзя, ибо не во что (пишется пока что), далее стрелять нельзя ибо тестируется (функциональные баги там и всё такое).. сколько времени на нагрузку отводится и что бывает , когда (не приведи Господь конечно) всё плохо?
Или у вас процессы ваще по-другому построены? Может нет определённого времени, к которому нужно выпустить новый сервис (функционал, приложение и др.).. или всё же умудряетесь стрелять с коленок, пока ещё мишень только пишется... ммм? :angel:

Привет! Приму эстафету рассказов о нагрузочном тестировании в Яндексе.
Итак, как устроен процесс.
Если речь идет о новом проекте, то мы можем начать исследования (либо выдать уже имеющиеся данные) компонентов сервиса, например стораджа, прокси, шаблонизатора, без интерграции в проект. Либо выделить разработчику лоад-генератор для отладки своего кода с точки зрения перфоманса, дабы не пришлось переписывать заново. Непроизводительные куски выявляются сразу, это экономит время танкистам и всему проекту.

После того как сервис готов пройти приемочное тестирование, разработчик на отладочных стрельбах не обнаружил каких-либо проблем, мы раскатываем проект в тестинге, определяемся с требованиями и проводим тесты. Обычно проблемы вылазят после первых стрельб, наша задача показать, где именно проблема. Разработчик уходит оптимизировать код, если нужно мы помогаем в исследовании узких мест и отладке.

Что касается нехватки времени. Мы даем информацию о качестве продукта, выкатить его в продакшен или нет, это дело менеджера. Он берет на себя все риски. Если времени нехватает, мы можем порекомендовать менеджеру выключить критичные фичи в продукте, которые нагрузку заведомо не держат, либо подготовить failover-механизмы для минимизации факапа.



Док, спасибо! :) Со всем согласен.

Тесты производительности по большому вскрывают или проблемы в архитектуре, или проблемы с кодом разной сложности, или в конфигурации среды. Первые надо вскрывать как можно раньше. Ровно для этого и привлечение специалистов по тестированию производительности на этапе проектирования более чем оправдано. Вторые — на этапе разработки (здесь правда и сам разработчик может отлаживаться и профилироваться автономно). Третьи — на этапе подготовки к эксплуатации. В таком случае все ключевые проблемы можно решать в тот же момент, когда они возникают. И тогда перед запуском обычно достаточно просто приемочного тестирования.

В теме: Ведущий специалист по тестированию в Объединенную компанию «Афиши» и «

14 декабря 2011 - 08:41

Ага, ап.

В теме: Нагрузочное тестирование в Яндексе

07 ноября 2011 - 08:45


Если какого-то стартапа для Яндекс.Старта нет, то напишите, пожалуйста, о своем предложении Грише Бакунову (bobuk@yandex-team.ru) — он заместитель руководителя департамента разработки и самый правильный человек для начала такого разговора.

Написал туда, вот уже полторы недели нет никакого ответа..... :(


Можно попробовать ещё через Яндекс-Старт: http://company.yandex.ru/public/start

Или через инсайдеров, я уже не.

В теме: Ведущий специалист по тестированию в Объединенную компанию «Афиши» и «

03 ноября 2011 - 03:25

Да-да, вакансия всё ещё актуальна. Ищут пожарные, ищет милиция...

В теме: Нагрузочное тестирование в Яндексе

29 октября 2011 - 20:59

BaAbaKa, а можно рассказать, что конкретно в LoadRunner вас не устроило? Ну так, чисто между нами)


На тот момент были вот такие 4 пункта именно в таком порядке:
  • Объемы железа для load generator
  • Цена для требуемого в масштабах Яндекса числа vusers
  • Наличие зачатков хорошего генератора нагрузок внутри
  • Модель на основе виртуальных пользователей (для высоконагруженного веба сильно удобнее применять hit-base подход)

Яндекс.Метрика
Реклама на портале