Видео курс HighLoad++ 2017. Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не разориться. - видео уроки ITVDN
ITVDN: курсы программирования
Видеокурсы по
программированию

Выбери свою IT специальность

Начать бесплатно
ITVDN logo
Видеокурсы по
программированию

Выбери свою IT специальность

Начать бесплатно

ВИДЕОУРОК №7. Как построить кластер для расчета сотен тысяч high-CPU/high-MEM-задач и не разориться

Список видеоуроков

Доступ к полному курсу с учебными материалами и тестированием на 30 дней за 9.99 USD

Купить
Описание видеоурока
Титры видеоурока
Скачать материалы
Рекомендуемая литература
Наш проект – это облачный CI-сервис, на котором пользователи запускают тесты разрабатываемых проектов. В этом году система автозакупки нашего проекта приобрела 37218 машин (Amazon Instances). Это позволило обработать 189488 "задач" (прогонов тестов) наших клиентов. Тесты – это всегда ресурсоемкие задачи с максимальным потреблением процессорных мощностей и памяти. Мы не можем прогнозировать, сколько параллельных вычислений и в какой момент времени будет. Перед нами стояла задача построения архитектуры системы, которая умеет очень быстро увеличивать, а также быстро уменьшать мощности кластера Все это осложнялось тем, что ресурсоемкость вычислений не позволяла нам использовать классические инструменты AWS или GoogleComputeEngine. Мы приняли решение написать собственную систему автоматического масштабирования, учитывая требования нашей предметной области. В докладе я расскажу о том, как мы спроектировали и построили архитектуру нашего сервиса, что из себя представляет система автоматической закупки машин, а также расскажу подробнее об основных архитектурных блоках проектов, решающих подобные задачи.
Титров к данному уроку не предусмотрено
Рекомендуемой литературы к данному уроку не предусмотрено
комментарии и обсуждения
Notification success