Проблемы проектирования больших коммерческих ЦОДов на примере NORD 4 DataLine Сергей Мищук [email protected]
Проблемы проектирования больших
коммерческих ЦОДов на примере
NORD 4 DataLine
Сергей Мищук
КТО МЫ
2
Историческая справка
3
ЦОД Начало
эксплуатации
Особенности
OST-1 (Боровая) 2009 Существующее здание. Кондиционирование CW. TIA-942
Первый ЦОД, первые грабли
Выводы (по состоянию на начало эксплуатации):
•CW – дорого!!! И долго!!! (особенно в монтаже!
особенно в старом здании!)
•Проектировщики слабо разбираются в экономике
NORD-1 (Коровинское)
2010 Существующее здание. Кондиционирование DX. 285
стоек
NORD-2 (Коровинское)
2011-2012 Новое здание. Кондиционирование DX. 450 стоек
NORD-3 (Коровинское)
2013 Новое здание. Кондиционирование DX. 450 стоек
NORD-4 (Коровинское)
2014 Новое здание. Кондиционирование CW. 2000 стоек
•Tier-III (Uptime)
•Снижение эксплуатационных затрат
Площадка NORD 2013-2014
4
Генеральный план и фасады
нового здания
NORD 4: большой ЦОД
• 2000 стойко-мест
• Установленная мощность - 20 МВА
• 8 машинных залов суммарной площадью 4276 кв.м.
• Общая площадь здания -11 700 кв.м
• 3.5 этажа
• 1 – энергетика
• 2, 3 –машинные залы
• тех. этаж – хладоцентр
• кровля - чиллеры
5
Проблемы большого ЦОДа
• На этапе капитального строительства увеличение масштаба
не приводит к снижению удельной себестоимости из
расчета на стойко-место или киловатт (если не говорить о
потенциальных скидках поставщиков)
• Большой ЦОД, большие затраты
• Модульная архитектура инженерных систем,
позволяющая вводить мощности очередями (4 очереди)
• Проблемы с компоновкой
• Большая абсолютная стоимость проектных ошибок
6
Проблемы компоновки
7
1-й этаж
Проблемы большого ЦОДа
8
Этажи 2,3
Технико-экономические проблемы
• Не специфичны для большого ЦОДа, но их последствия в
абсолютном выражении растут вместе с объектом
• Трудности корректной экономической оценки того или иного
инженерного решения:
• Во что обойдется закупка инженерного оборудования (самый
простой вопрос)
• Сколько будет стоить монтаж
• Сколько будет стоить адаптация смежных систем
• Сколько будет стоить эксплуатация конкретного решения
• Какие еще скрытые расходы нас ждут
• Как корректно посчитать экономический эффект
(лучший/худший/средний сценарий)?
9
NORD-4. Новый ЦОД, новые задачи
• PUE по холоду не более 1.3
• Возвращаемся к CW
• Соответствие Tier III по Uptime Institute
• Проект: готовность к сертификации
• В случае принятия решения начинаем процедуру
сертификации
• Объект: готовность к сертификации
• Чтобы снизить риски в новых для себя областях, мы
приняли решение воспользоваться опытом Schneider Electric
10
Schneider Electirc: история сотрудничества
• С самого начала в ЦОДах DataLine используются ИБП APC
(MGE) by Schneider Electric: Galaxy 5000, 6000, 7000
• Электротехнические шкафы Prisma и автоматы Masterpact
• 2010 г.: в одном из залов ЦОД OST (Боровая) реализована
система изоляции горячих коридоров (HACS)
• 2011 г.: переход на DX кондиционеры Uniflair (ЦОДы NORD
2,3)
• Разумеется, стойки NetShelter
• А теперь еще и проектирование и консультации
11
NORD 4: Schneider Electirc
•Архитектурный надзор: анализ проектных решений на предмет
формального соответствия требованиям Uptime Institute. В
первую очередь это относится к электроустановке, включая
ДЭС.
•Проектирование системы холодоснабжения
•Проектирование ДЭС
12
NORD 4: Холодоснабжение
• Проектный среднегодовой PUE по холоду не более 1.3
• Гидравлическая схема с переменным расходом холодоносителя
обеспечивает повышенную энергоэффективность (отсутствует
смешение холодной и горячей воды)
• Схема на чиллерной воде позволяет использовать преимущества
свободного охлаждения (free cooling)
• Высокая температура холодоносителя (16/21 0C этиленгликоль, 18/23 вода)
позволяет увеличить среднегодовую продолжительность фрикулинга
• 14 холодильных машин на кровле (резерв 12+2)
• Шкафные кондиционеры в машинных залах по схеме N+1 (традиционная
схема с подачей холодного воздуха под фальшпол)
13
NORD 4: Холодоснабжение
14
NORD 4: Опыт и развитие
Опыт эксплуатации оборудования Schneider Electric позволяет
уверенно выбирать это оборудование в дальнейших проектах
Опыт эксплуатации чиллерных (CW) и фреоновых (DX) схем
холодоснабжения дает нам надежные данные по экономическому
обоснованию выбираемых решений
Опыт эксплуатации различных моделей ИБП а сочетании с
различными схемами резервирования показывает, что схема 2N на
ИБП APC Galaxy 7000 обеспечивает отличную энергоэффективность
при высокой надежности
Опыт управления строительством ЦОД позволяет нам обеспечивать
ввод в эксплуатацию мощностей ЦОД очередями, без ущерба для
уже введенных в эксплуатацию
Партнерство со Schneider Electric в проектировании дает нам
уверенность в правильности проектных решений 15
КОНТАКТЫ
Центральный офис: 127521, Москва, ул. Октябрьская, 72
Телефон +7 (495) 784-65-05 Факс +7 (495) 784-65-05
E-mail [email protected]
Дата-центр на Боровой: Москва, Боровая ул., дом 7, строение 10
Дата-центры на Коровинском: Москва, Коровинское ш., д. 41
16