Виртуальный ЦОД для корпоративных клиентов на базе Virtuozzo Дмитрий Канаев, Caravan Aero Денис Лунев, Virtuozzo
Jan 06, 2017
Виртуальный ЦОД для корпоративных клиентов на базе VirtuozzoДмитрий Канаев, Caravan AeroДенис Лунев, Virtuozzo
Что мы делаемVPS (Virtual Private Server) +
> 6000 инстансов95% контейнеры
Плотность: 350 контейнеров/сервер
IaaS (Облачная инфраструктура) +> 2000 инстансов
50% виртуальные машиныПлотность: 200 контейнеров/сервер
VDC (Виртуальный датацентр) +++> 200 клиентов
95% виртуальные машиныПлотность: 40 ВМ/сервер
Облачный бекап (Acronis) ++> 300 ТБ под защитой
Как мы делаем
VDC – выгодный, но сложный сервис
VDC (Виртуальный датацентр) +++> 200 клиентов
95% виртуальные машиныПлотность: 40 ВМ/сервер
• Высокая производительность• Высокая доступность• Latency и IO• Произвольная ОС• Высокая плотность• SDN• Низкая стоимость внедрения и
поддержки
KVM для VDC: производительность, стабильность и высокая плотность
Что хорошего есть в QEMU/KVM?• Память VM unswappable• Дедупликация памяти (KSM)• Полноценная поддержка NUMA архитектуры• Поддержка протокола SPICE• Паравиртуализированный диск для Linux гостя• Проброс PCI устройств• Вложенная виртуализация
VM limits• QEMU/KVM• 255 VCPU• 2 TB RAM• Гибкая конфигурация,
ограниченная только возможностями шины PCI/PCIe
• PCS (Virtuozzo 6)• 32 VCPU• 128 GB RAM• 25 виртуальных дисков• 16 сетевых карт
Базовая система• Ядро - RedHat 7, 3.10
• Безопасность• Поддержка аппаратура (!)
• QEMU - RHEV, 2.1 (позднее 2.3, готовится 2.6)• Безопасность• На самом деле, это оказалось не важно
Банальные находки, потребовавшие больших усилийДьявол, как известно, в детальках
Оптимизация дисковой подсистемы• Размер кеша метаданных для QCOW2
http://www.linux-kvm.org/images/9/92/Qcow2-why-not.pdf• Оптимизация вызовов flush()• Невыровненная запись
• Дисковые буфера должны быть выровнены на страницу при работе с O_DIRECT дескрипторами
• Преаллокация при увеличении размера образа (невыровненные на блок операции записи)
Небольшое ускорение процессора• Ускорение доставки прерываний (адаптивный halt_poll_ns,
vanilla 4.3)• Отключение изменения тактовой частоты процессора• Сбор статистики
Память• Привязка к NUMA нодам и большие страницы при наличии
свободной памяти• KSM фантастически хорош на тестах при большом количестве
ВМок• KSM разрушает большие страницы• KSM работает намного лучше в режиме cross-NUMA• khugepaged - фрагментация heap-а в QEMU
Гостевая Windows• Включение эмуляции Hyper-V обязательно• Эмуляция Hyper-V дотянула до Windows 2012: SynIC (auto EOI),
SynTimers и ничего не дала• SynIC не может работать с включенным APICv (Xeon E7) • HyperV TSC page• Windows - специфичные паттерны нагрузки на APIC
CPU overcommit
RAM overcommit
Virtuozzo 7 VMs are up to
25% faster than Virtuozzo 6 VMs
Windows Guest Performance
Virtuozzo 7Virtuozzo 6
CPU overcommit
RAM overcommit
Virtuozzo 7 VMs are up to
57% faster than Virtuozzo 6 VMs
Linux Guest Performance
Virtuozzo 7Virtuozzo 6
CPU overcommit
RAM overcommit
Virtuozzo 7 VMs are up to
53% faster than Virtuozzo 6 VMs
vConsolidate Linux Performance
Virtuozzo 7Virtuozzo 6
up to
33%better performanceresults
Windows Guest Performance
Copyright © 2016 Virtuozzo. All Rights Reserved.
up to
63%greater densitycompared to CentOS 7 KVM
up 2xbetter response times
System Containers Density (Drupal CMS)
Хочешь VDC? Спроси меня как[email protected]/company/virtuozzohttp://www.caravan.ru/aero/