«Исследование и разработка системы визуального контроля загруженности высокопроизводительных систем» Карпов М.А. СПбГПУ, ФУИТ, 2011
«Исследование и разработка системы визуального контроля
загруженности высокопроизводительных
систем»
Карпов М.А.СПбГПУ, ФУИТ, 2011
Постановка задачи
Проблема: на крупных кластерных архитектурах, учитывая большое количество запущенных задач, сложно производить диагностику системы.
Требуется система, предоставляющая возможности: Визуального и программного контроля над
загруженностью ядер кластера Анализа системы в целом и её отдельных частей
Intel Trace Analyzer
Microsoft HPC Manager
Vampir
3
Аналоги
• Нет возможности post-mortem анализа• Жёсткая привязанность к компьютеру и
ОС• Проблема при отображении на крупных
архитектурах
Проблематика
HPC SERVER 2008
• Работы проводились на базе 16-ядерного кластера под управлением Windows HPC Server 2008 (предоставленном университету СПбГПУ корпорацией Intel) с использованием предоставляемых фирмой Microsoft утилит и библиотек HPC Pack и HPC SDK
5
Кластер Lawrencium
• Структура кластера университета Berkeley: – Linux– 212 узлов, 1698 ядер– 6 модулей (24 узла / 8 ядер)
ВИЗУАЛИЗАЦИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ
Визуализация помогаетпонизить интеллектуальную сложность за счёт использования разнообразныхметодик.
7ФУИТ. Карпов М.А. 21 стр
Наиболее эффективны:
трёхмерностьанимация
Проблемы и пути решения
• Реализация 3D-объектов• Postmortem replay• Веб-интерфейс• Локализация под
планшетные устройства
Технологии
• C# HPC Pack и HPC SDK• X3D markup• HTML5• WebGL• jQuery, JS, AJAX• iPad, Android
Метафора молекулы Выделение цветом родственых подзадач Отображение загруженности ядерВложенность структуры кластера
Метафора «парник»
Характеристики:
• Свободная и используемая память
• Использование ресурсов системы
• Возможность управлять задачами и ресурсами
12
Job
Serial Application MPI ApplicationParametric Sweep
Application
Task Task Task Task Task
Task Task Task
Task Task Task
Task flow
Task
Task
Task
Task Task
Proc Proc Proc Proc
One JobOne Task
One JobMultiple Tasks
1. Данные в realtime2. Логирование 3. Формирование отчета4. Просмотр отчета5-6. Считывание bar-code7. Replay
• Более 10 публикаций, в том числе в журнале из каталога ВАК
• Участие в крупнейших научных школах: • Москва (Microsoft)• Владимир (Суперкомпьют. консорциум
России)
• 1 место в конкурсе-конференции от Microsoft
• Дипломы СПбГПУ за научные достижения в фундаментальных исследованиях
• Грант Правительства Петербурга
Научные достижения
Вычислительные мощности HPC Server
Оборудование EMC
Работа над прикладной задачей (н-р медицинской). Диагностика и оптимальная настройка кластера.
В будущем
Реализовать для распределенной сети (учитывая скорость доступа).
• Снятие информации с кластера
• Метафоры «молекула»/«парник»
• Веб-интерфейс X3D• Postmortem-анализ
Заключение
Программный комплекс для диагностики кластерных систем:
<запасные слайды>
Про скептицизм
• Это не «серийная» разработка
• К 3D и планшетам не привыкли
• 3D не является «серебрянной пулей»
<схемы и структуры (много)>