Перейти к содержимому

Публикации BaAbaKa

6 публикаций создано BaAbaKa (учитываются публикации только с 29 марта 2023)


#111208 Нагрузочное тестирование в Яндексе

Отправлено автор: BaAbaKa 22 октября 2012 - 10:02 в Тестирование производительности


Андрей, такой ещё вопрос по организации процесса :blush:
Ситуация: разрабатывается сервис (приложение, сайт, ... ). Пехота прошлась по функционалу, можно теперь и по нагрузке продавить :)
У вас есть результаты тестов, допустим (не приведи Господь конечно), что всё плохо именно с точки зрения перформанса, сколько у вас времени на сообщение результатов?
Да, как-то мутнова-то получилось, пример:
Релиз нового функционала через две недели (итерация), доработали фичу и прошлись по функционалу тестировщиками ( :beach: ).
Отдали танкистам, через полторы недели.. у вас есть три дня на проведение тестов, анализ результатов и отправке "совета".. Если всё плохо, но об этом узнают за день до релиза, чего происходит?
Раньше стрелять нельзя, ибо не во что (пишется пока что), далее стрелять нельзя ибо тестируется (функциональные баги там и всё такое).. сколько времени на нагрузку отводится и что бывает , когда (не приведи Господь конечно) всё плохо?
Или у вас процессы ваще по-другому построены? Может нет определённого времени, к которому нужно выпустить новый сервис (функционал, приложение и др.).. или всё же умудряетесь стрелять с коленок, пока ещё мишень только пишется... ммм? :angel:

Привет! Приму эстафету рассказов о нагрузочном тестировании в Яндексе.
Итак, как устроен процесс.
Если речь идет о новом проекте, то мы можем начать исследования (либо выдать уже имеющиеся данные) компонентов сервиса, например стораджа, прокси, шаблонизатора, без интерграции в проект. Либо выделить разработчику лоад-генератор для отладки своего кода с точки зрения перфоманса, дабы не пришлось переписывать заново. Непроизводительные куски выявляются сразу, это экономит время танкистам и всему проекту.

После того как сервис готов пройти приемочное тестирование, разработчик на отладочных стрельбах не обнаружил каких-либо проблем, мы раскатываем проект в тестинге, определяемся с требованиями и проводим тесты. Обычно проблемы вылазят после первых стрельб, наша задача показать, где именно проблема. Разработчик уходит оптимизировать код, если нужно мы помогаем в исследовании узких мест и отладке.

Что касается нехватки времени. Мы даем информацию о качестве продукта, выкатить его в продакшен или нет, это дело менеджера. Он берет на себя все риски. Если времени нехватает, мы можем порекомендовать менеджеру выключить критичные фичи в продукте, которые нагрузку заведомо не держат, либо подготовить failover-механизмы для минимизации факапа.



Док, спасибо! :) Со всем согласен.

Тесты производительности по большому вскрывают или проблемы в архитектуре, или проблемы с кодом разной сложности, или в конфигурации среды. Первые надо вскрывать как можно раньше. Ровно для этого и привлечение специалистов по тестированию производительности на этапе проектирования более чем оправдано. Вторые — на этапе разработки (здесь правда и сам разработчик может отлаживаться и профилироваться автономно). Третьи — на этапе подготовки к эксплуатации. В таком случае все ключевые проблемы можно решать в тот же момент, когда они возникают. И тогда перед запуском обычно достаточно просто приемочного тестирования.



#98697 Ведущий специалист по тестированию в Объединенную компанию «Афиши» и «

Отправлено автор: BaAbaKa 14 декабря 2011 - 08:41 в Работа/Москва

Ага, ап.



#96674 Нагрузочное тестирование в Яндексе

Отправлено автор: BaAbaKa 07 ноября 2011 - 08:45 в Тестирование производительности


Если какого-то стартапа для Яндекс.Старта нет, то напишите, пожалуйста, о своем предложении Грише Бакунову (bobuk@yandex-team.ru) — он заместитель руководителя департамента разработки и самый правильный человек для начала такого разговора.

Написал туда, вот уже полторы недели нет никакого ответа..... :(


Можно попробовать ещё через Яндекс-Старт: http://company.yandex.ru/public/start

Или через инсайдеров, я уже не.



#96546 Ведущий специалист по тестированию в Объединенную компанию «Афиши» и «

Отправлено автор: BaAbaKa 03 ноября 2011 - 03:25 в Работа/Москва

Да-да, вакансия всё ещё актуальна. Ищут пожарные, ищет милиция...



#96382 Нагрузочное тестирование в Яндексе

Отправлено автор: BaAbaKa 29 октября 2011 - 20:59 в Тестирование производительности

BaAbaKa, а можно рассказать, что конкретно в LoadRunner вас не устроило? Ну так, чисто между нами)


На тот момент были вот такие 4 пункта именно в таком порядке:
  • Объемы железа для load generator
  • Цена для требуемого в масштабах Яндекса числа vusers
  • Наличие зачатков хорошего генератора нагрузок внутри
  • Модель на основе виртуальных пользователей (для высоконагруженного веба сильно удобнее применять hit-base подход)



#96235 Нагрузочное тестирование в Яндексе

Отправлено автор: BaAbaKa 26 октября 2011 - 10:52 в Тестирование производительности


Офисы разработки мы готовы открывать там, где появляются сильные команды разработки — именно так появился офис разработки в Екатеринбурге и Симферополе. Так что или создавайте хорошую команду разработки, которая потом сможет присоединиться к команде Яндекса, или можете сделать хороший стартап и поучаствовать в Яндекс.Старте :)


Какие условия для получения стартапа? Есть у меня много друзей разработчиков достаточно серьёзного уровня. Мы работаем в IT-компании, которая нас не очень интересует на перспективу. Не хотелось бы уезжать в Москву, а работать в своём городе как команда.



Если какого-то стартапа для Яндекс.Старта нет, то напишите, пожалуйста, о своем предложении Грише Бакунову (bobuk@yandex-team.ru) — он заместитель руководителя департамента разработки и самый правильный человек для начала такого разговора.