Нагрузочное тестирование в Яндексе

Привет, меня зовут Андрей и я вместе с ребятами занимаюсь нагрузочным тестирование в Яндексе.

Мы достаточно много ездим по разным конференциям вокруг разработки и тестирования. И каждый раз нам задают похожие вопросы и интересуются тем, как у нас внутри всё устроено. Что-то мы уже рассказывали публично (например на YaC-2010 я немного рассказал о нашем внутреннем инструменте нагрузочного тестирования — Лунапарке), многое объясняли и показывали у флип-чартов. И вот теперь мы с ребятами готовы рассказать вам о нагрузочном тестировании в Яндексе и тут :)

Я с полной уверенностью могу сказать, что в Яндексе сейчас трудится самая большая, серьезная и старая (по времени существования, а не среднему возрасту) команда в рунете, занимающаяся нагрузочным тестированием. Мы решаем практические задачи тестирования производительности и отказоустойчивости сервисов Яндекса, исследуем фундаментальные проблемы тестирования, изобретаем новые подходы и методики, делаем «Лунапарк» — наш собственный open-source toolkit для нагрузочного тестирования.

Давайте попробуем вот какой формат: в этом посте мы будем собирать вопросы и пожелания, а собственно развернутые ответы выносить в отдельные посты. Ну или как пойдет :)

Поехали!

P.S. А ещё мы ищем людей ;)

С 1 августа 2011 я отвечаю за тестирование сервисов объединенной компании Афиши и Рамблера :) Всем нагрузочным тестированием в Яндексе сейчас заведуют Олесь Писаренко (Док) — http://Oles-Pisarenko.moikrug.ru/

Сообщение отредактировал BaAbaKa: 05 августа 2011 - 10:27

Это круто!

И каждый раз нам задают похожие вопросы и интерисуются тем, как у нас внутри всё устроено.

Мне интересен поиск в Яндексе. Я выбираю его обычно.
Когда, интересно, появятся интересные вакансии в глубинке - Ярославле.
Иногда так хочется смены обстановки. Даже если в целом все хорошо.
Мне недавно разработчик из Московского офиса говорит: "Все, уезжаю, надоела мне Ваша Москва".

Интересует тестирования Яндекс Видео, проводилось ли оно ? Если да, то как и чем эммулировалось большое количество видео стримов ?

Андрей, какой инструмент нагрузочного тестирования вы использовали чаще всего до Танков Лунопарка ?

И каждый раз нам задают похожие вопросы и интерисуются тем, как у нас внутри всё устроено.

Мне интересен поиск в Яндексе. Я выбираю его обычно.
Когда, интересно, появятся интересные вакансии в глубинке - Ярославле.
Иногда так хочется смены обстановки. Даже если в целом все хорошо.
Мне недавно разработчик из Московского офиса говорит: "Все, уезжаю, надоела мне Ваша Москва".

Нам тоже :)

Вот тут мы собрали все наши офисы: http://company.yandex.ru/contacts/all/ Как вы видите, они расположены во всех крупных городах. Офисы разработки мы готовы открывать там, где появляются сильные команды разработки — именно так появился офис разработки в Екатеринбурге и Симферополе. Так что или создавайте хорошую команду разработки, которая потом сможет присоединиться к команде Яндекса, или посмотрите наши вакансии удаленной работы (http://company.yande.../job/vacancies/), или можете сделать хороший стартап и поучаствовать в Яндекс.Старте :)

Андрей, самый главный вопрос, конечно же -- когда??? :)
Когда Лунапарк появится в открытом доступе?

Андрей, какой инструмент нагрузочного тестирования вы использовали чаще всего до Танков Лунопарка ?

Ммм... Никакой :) Нагрузочное тестирование сразу завертелось вокруг phantom'а. Кроме этого мы пробовали и смотрели практически все opensource-инструменты нагрузочного тестирования. Для некоторых задач использовали JMeter, dnsperf, pylot и что-то ещё. Из интереса смотрели на коммерческие продукты, но ничего интересного для себя там не нашли.

Важно отметить, что прежде чем проводить с помощью какого-нибудь инструмента какие-либо тесты, мы достаточно много времени уделяем границам его применения, достоверности получаемых результатов, стабильности подаваемой нагрузки. И результаты тут в общем не утешительные — почти всё начинает заметно искажать результаты, кто-то раньше, кто-то позже :) Так, например, сейчас APC очень основательно подходит к определению границы применимости JMeter — там всё очень интересно получается, думаю, расскажем как завершим.

Андрей, самый главный вопрос, конечно же -- когда??? :)
Когда Лунапарк появится в открытом доступе?

О да, мне тоже очень интересен ответ на этот вопрос :) Тут, к сожалению, много зависит не от нас. И у меня в ближайших планах есть-таки пункт допинать этот вопрос. Самому очень не комфортно, что столько времени уже прошло.

Важно отметить, что прежде чем проводить с помощью какого-нибудь интрумента какие-либо тесты, мы достаточно много времени уделяем границам его применения, достоверности получаемых результатов, стабильности подаваемой нагрузки. И результаты тут в общем не утешительные — почти всё начинает заметно искажать результаты, кто-то раньше, кто-то позже :) Так, например, сейчас APC очень основательно подходит к определению границы применимости JMeter — там всё очень интересно получается, думаю, расскажем как завершим.

А по исследованию инструментов - будете какие-либо результаты выкладывать?

Интересует тестирования Яндекс Видео, проводилось ли оно ? Если да, то как и чем эммулировалось большое количество видео стримов ?

Любой сервис, который мы запускаем проходит обязательный этап нагрузочного тестирования. Яндекс.Видео тут конечно же не исключение. Грубо говоря Видео — это сами интерфейсы + поиск + хранилище + стримминг. Для тестирования именно стримовой части использовали JMeter — его для этой задачи было более чем достаточно.

Важно отметить, что прежде чем проводить с помощью какого-нибудь интрумента какие-либо тесты, мы достаточно много времени уделяем границам его применения, достоверности получаемых результатов, стабильности подаваемой нагрузки. И результаты тут в общем не утешительные — почти всё начинает заметно искажать результаты, кто-то раньше, кто-то позже :) Так, например, сейчас APC очень основательно подходит к определению границы применимости JMeter — там всё очень интересно получается, думаю, расскажем как завершим.

А по исследованию инструментов - будете какие-либо результаты выкладывать?

Феликс, а какие именно инструменты интересны? Дело в том, что подавляющему большинству сайтов и приложений производительности инструментов скорее всего будет достаточно. В крайнем случае можно горизонтально масштабировать генераторы нагрузки. Или чисто из академического интереса?

А по исследованию инструментов - будете какие-либо результаты выкладывать?

Феликс, а какие именно инструменты интересны? Дело в том, что подавляющему большенству сайтов и приложений производительности инструментов скорее всего будет достаточно. В крайнем случае можно горизонтально масштабировать генераторы нагрузки. Или чисто из академического интереса?

В Яндексе, как я понял, есть свои метрики по которым делаются выводы о применимости инструмента. В целом, либо под определенный проект. Так ведь? Хотелось бы знать эту систему оценки, и результаты по этим метрикам - это возможно? :)

Андрей, - а какой порядок нагрузки Танков Лунопарка при нагрузочном тестировани в Яндексе? 100 тыс запросов в сек? 1 млн? больше?

Андрей, - а какой порядок нагрузки Танков Лунопарка при нагрузочном тестировани в Яндексе? 100 тыс запросов в сек? 1 млн? больше?

Я в твиттере как-то писал какие-то общие цифры. Максимальная нагрузка, которой мы пользовались — это 100К rps при времени ответа сервиса в единицы миллисекунд и очень стабильно подаваемой нагрузке. Можно было больше, но смысла не было. В общем на моей памяти не было случая, когда мы упирались бы в инструмент. Обычно это или тестируемый сервис, или сеть (но это решается обычно переходом на 10Gb). Хотя была как-то задача вместе с сетевыми инженерами потестировать железный балансер. Вот там пришлось уже собирать кластер из танков с 10Gb интерфейсами, было интересно :)

Привет, меня зовут Андрей и мы с ребятами готовы рассказать вам о нагрузочном тестировании в Яндексе :)
Давайте попробуем вот какой формат: в этом посте мы будем собирать вопросы и пожелания, а собственно развернутые ответы выносить в отдельные посты. Ну или как пойдет :)

Привет, Андрей!
Давайте попробуем ещё и такой формат: в этом посте вы задаёте вопросы по тем затруднениям, которые испытываете, а мы - на них отвечать (брэйншторм?). Своеобразная оплата за ваши труды

Андрей, - а какой порядок нагрузки Танков Лунопарка при нагрузочном тестировани в Яндексе? 100 тыс запросов в сек? 1 млн? больше?

Я в твиттере как-то писал какие-то общие цифры. Максимальная нагрузка, которой мы пользовались — это 100К rps при времени ответа сервиса в единицы миллисекунд и очень стабильно подоваемой нагрзуке. Можно было больше, но смысла не было. В общем на моей памяти не было случая, когда мы упирались бы в инструмент. Обычно это или тестируемый сервис, или сеть (но это решается обычно переходом на 10Cb). Хотя была как-то задача вместе с сетевыми инженерами потестировать железный балансер. Вот там пришлось уже собирать кластер из танков с 10Gb интерфейсами, было интересно :)

ЖЖку не вы грохаете? ;)

А по исследованию инструментов - будете какие-либо результаты выкладывать?

Феликс, а какие именно инструменты интересны? Дело в том, что подавляющему большенству сайтов и приложений производительности инструментов скорее всего будет достаточно. В крайнем случае можно горизонтально масштабировать генераторы нагрузки. Или чисто из академического интереса?

В Яндексе, как я понял, есть свои метрики по которым делаются выводы о применимости инструмента. В целом, либо под определенный проект. Так ведь? Хотелось бы знать эту систему оценки, и результаты по этим метрикам - это возможно? :)

Метрики в общем вот такие: стабильность подаваемой нагрузки и точность измерения времени ответа. Плюс на первые две накладывается максимально подаваемая нагрузка. Плюс смотрим как эти все характеристики зависят от характеристик сервиса (время и размер ответа, например, достаточно часто сильно влияют на область применимости инструментов). Чего-нибудь расскажем, принято.

Андрей, а какими средствами выполняется тестирование производительности клиентской стороны для приложений, где много DHTML?
Ясно, что это немного в сторону вопрос, совсем не про генераторы нагрузки и Лунапарк, но всё равно интересно, ведь общая производительность складывается из многих составляющих.

Андрей, - а какой порядок нагрузки Танков Лунопарка при нагрузочном тестировани в Яндексе? 100 тыс запросов в сек? 1 млн? больше?

Я в твиттере как-то писал какие-то общие цифры. Максимальная нагрузка, которой мы пользовались — это 100К rps при времени ответа сервиса в единицы миллисекунд и очень стабильно подоваемой нагрзуке. Можно было больше, но смысла не было. В общем на моей памяти не было случая, когда мы упирались бы в инструмент. Обычно это или тестируемый сервис, или сеть (но это решается обычно переходом на 10Cb). Хотя была как-то задача вместе с сетевыми инженерами потестировать железный балансер. Вот там пришлось уже собирать кластер из танков с 10Gb интерфейсами, было интересно :)

ЖЖку не вы грохаете? ;)

Нет :) Нас забанить легко — мы ж едажесли всеми танками, то это очень небольшое чило ip. Ну и не про Яндекс это, мы такими штукаим не занимаемся :)