Распределенная файловая система NDFS и базирующаяся на ней Компьютерная платформа Nutanix Максим Шапошников
Распределенная файловая система NDFS и базирующаяся
на ней Компьютерная платформа Nutanix Максим Шапошников
1990
2005
Буд
ущ
ее
Эффективность
Эволюция дата-центров
Physical transforms to virtual
Converged architecture
Services delivered via software
Commodity hardware alters economics
Google изменил все в ранних
2000
Традиционные (ранняя Yahoo, Altavista)
Сервера, коммутаторы, SAN, NAS
Модульные (Google, Amazon, Facebook)
Стандартное оборудование, Map/Reduce, NoSQL
Google File System
• Масштабируемость. Датацентры – как кубики лего.
• Производительность. Скорость ответа на запросы миллисекунды.
• Управляемость. Простые, идентичные компоненты, для легкости управления в любом масштабе.
• Отказоустойчивость. Репликация данных и замена аппаратных компонент на лету.
RAID надежен? MythBusters могли бы
возразить ;)
• RAID6 практически гарантирует потерю данных в единой рейд-группе размером >500TB менее чем за год (вероятность 99.999%)
• MTBF – маркетинг, на самом деле диски умирают партиями и не вовремя
• Современные СХД могут восстанавливаться после сбоев дисков сутками и даже неделями, подъем из бэкапа – еще дольше
• Отказ двух контроллеров в большинстве случаев – потеря данных или долговременный отказ в обслуживании
NDFS: Задачи и их решение
• Создать ФС, подобную GFS, но спроектированную для общих задач / виртуализацию
Создана NDFS, работающая «поверх» KVM, vmWare, HyperV
• Предложить распределенную ФС на недорогом, стандарном X86 оборудовании высокой плотности размещения
Поместили в 2 юнита сверхбыструю СХД + 4 «сервера»
• Предоставить разделяемый доступ к датастору для всего кластера через стандартные протоколы
NDFS способна работать через NFS, iSCSI, SMB3 • Решить проблему split-brain
Используем paxos, наиболее продвинутый алгоритм на сегодняшний день
NDFS: Задачи и их решение
• Решить множество проблем cтандартных IT инфраструктур Увеличили скорость ввода в эксплуатацию до минут, уменьшили стоимость и сложность, понизили энергопотребление, требуемое охлаждение, стойко-места
• Предоставить реальную масштабируемость – от маленьких до очень больших проектов
NDFS не имеет центральных точек отказа, использует NoSQL решения для работы с метаданными, масштабируется от 3-х узлов и не имеет теоритических лимитов расширения
• Не использовать RAID ввиду устарелости, медленности и ненадежности Используется технология «размазывания данных» (dispersed data)
Кстати, нужна ли виртуализация? («у нас много денег на железо»)
• Постоянная головная боль для всей команды – высчитывать оптимальную аппаратную конфигруацию под конкретные задачи (или тратить $$$)
• Считаем ядрами процессоров, гибайтами памяти и IOPS – сервера дешевле всего покупать одинаковые (память лишней не бывает)
• Переезд сервисов на другое «железо» - трагикомедия • Пара команд из CLI или «кликов» мышкой, ни единого разрыва (с)!
• «Мы тут чуть код улучшили в пятницу вечером» – требования к конфигурации могут кардинально измениться
• Автоматически перераспределяемая нагрузка между аппаратными серверами (вплоть до времени суток) – как в сторону уменьшения, так и увеличения ресурсов, с учетом приоритетов
• Множество точек управления, сложности развертывания ОС и ПО • Практически мнговенный деплой любых виртуальных машин и ПО, линкованный клон автоматически кэшируется
на нужных аппаратных серверах, апдейт ОС всех VM кластера за минуты, загрузка ОС на них – секунды
• Изоляция сервисов – условна, безопаснее разносить аппаратно • В пределах одного физического сервера абсолютно безопасно может находиться множество различных задач,
вплоть до смешения разработки и продакшена
Новое поколение ДЦ?
Универсальная платформа для гибридных облаков
Гибкое управление нагрузками
Общий интерфейс управления
Управление данными ориентированное на виртуальные машины
Как оно работает?
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
Распределенная Файловая Система Nutanix является масштабируемой, децентрализованной распределенной файловой системой, изначально разработанной для целей виртуализации.
Distributed File System (NDFS) Распределенная Файловая Система
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
Distributed File System (NDFS) Архитектура
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
Distributed File System (NDFS) Архитектура
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
Distributed File System (NDFS) Архитектура
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
Distributed File System (NDFS) Архитектура
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
Distributed File System (NDFS) Архитектура
VM VM
Гипервизор Контроллерная VM
Гипервизор Контроллерная VM
Гипервизор Контроллерная VM
DEF GHI
VM
ABC данные данные данные
Distributed File System (NDFS) Резервирование данных в кластере
VM
DEF данные
Гипервизор Контроллерная VM
Гипервизор Контроллерная VM
Гипервизор Контроллерная VM
VM
ABC данные
VM
GHI данные
VM
ABC данные
Distributed File System (NDFS) Как работает высокая доступность (HA)?
Гипервизор Контроллерная VM
Гипервизор Контроллерная VM
Гипервизор Контроллерная VM
VM
ABC данные
VM
DEF данные
VM
GHI данные
Distributed File System (NDFS) Как работает миграция VM?
cVM
Гипервизор
HDD SATA
SSD
Гостевая VM
Гостевая VM
Гостевая VM
Гостевая
VM
SATA
SSD HDD HDD HDD
NFS датастор
Холодные данные
Горячие данные
• Данные попадают на SSD • Передвигаются на более медленные диски «Куратором» • Поднимаются обратно на SSD в зависимости от количества и частоты обращений
Distributed File System (NDFS) Оптимизация размещения данных
• Данные сжимаются при записи (синхронно)
• Идеально для архивации
• Высокая производительность для
последовательных нагрузок
• Данные сжимаются после того как стали
«холодными» и мигрировали на
низкопроизводительные уровни СХД
• Осуществляется (только) когда есть свободные
вычислительные ресурсы
• Нет негативного эффекта на скорость ввода-
вывода данных
• Идеально для нагрузок со случайным доступом
Distributed File System (NDFS) Оптимизация ёмкости СХД. Сжатие.
78% Сжатия
До
Distributed File System (NDFS) Оптимизация ёмкости СХД.
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
В едином кластере могут независимо масштабироваться процессорные
мощности и СХД
Линейное масштабирование В
ирту
ал
ьны
х м
аш
ин
Количество модулей (4 модуля на блок)
Аварийное восстановление Репликация каждой виртуальной машины
Управляем из единого интерфейса
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
Виртуализация высокой плотности
Сервера 4x Независимых серверных модуля
8x Intel CPUs (80 ядер)
До 1TB RAM
Два 10Gbit Ethernet
4 модуля в 2U
4 независимых модуля,
совмещающих СХД и сервера
Сценарии использования
Виртуализация рабочих мест
Виртуализация серверов
Big data
Приватные облака
Hadoop
Восстановление из аварий
Непрерывность бизнеса
Удаленные офисы
Локальные сервисы в
офисах
Как сказал Альберт Эйнштейн,
«Безумие - делать одно и то же, и
каждый раз ожидать иного результата»
NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY