刘光亚 ([email protected])

刘光亚 ([email protected])

Jul 2014

HEAT 部署 Hadoop 集群

© 2013 IBM Corporation2IBM Technical Computing

• Orchestration service for OpenStack• 使用 Template 来定义应用 (JSON Or YAML)

– 自动部署– 自动扩展– 高可用– 。。。

什么是 HEAT

© 2013 IBM Corporation3IBM Technical Computing

• 自动部署– 自动部署 Hadoop 集群

• 自动扩展– 根据 CPU ， Memory 等等来自动扩展 Hadoop 集群

Hadoop Cluster On HEAT

© 2013 IBM Corporation4IBM Technical Computing

• Hadoop 的模板– 一个 Hadoop 管理节点– 多个 Hadoop 计算节点

• 可以自动扩展、收缩等等– 告警

• 监控 CPU 或者 Memory

• 触发策略执行– 策略

• 自动扩展收缩等等

Hadoop Cluster On HEAT

© 2013 IBM Corporation5IBM Technical Computing

• Hadoop Template For HEAT

Hadoop Cluster On HEAT

创建虚拟机的镜像文件虚拟机的flavor

访问虚拟机的 private key

user data 是虚拟机创建完成后，需要做的一些 post install 工

作

Hadoop 管理节点

Hadoop 管理节点安装完成后，需要发一个信号来通知 HEAT

Engine 可以开始创建 Hadoop计算节点了

© 2013 IBM Corporation6IBM Technical Computing

• Hadoop Template For HEAT

Hadoop Cluster On HEAT

Hadoop 计算节点自动扩展资源组

Hadoop 计算节点自动扩展资源组最小虚拟机个数

Hadoop 计算节点自动扩展资源组最大虚拟机个数

© 2013 IBM Corporation7IBM Technical Computing

• Hadoop Template For HEAT

Hadoop Cluster On HEAT

将 metrics 发给 heat engine ， heatengine 会根据

metircs 来决定是否要自动扩展或者收缩。

© 2013 IBM Corporation8IBM Technical Computing

• Hadoop Template For HEAT

Hadoop Cluster On HEAT

Hadoop 自动扩展策略

每次扩展只会添加一台虚拟机 用来触发自动扩展

的 Alarm

触发自动扩展的阈值

当前的这个自动扩展策略针对的是哪个资源扩展组连续两次自动扩展的时间间隔

触发自动扩展的 Metrics

Alarm 多长时间触发一次

© 2013 IBM Corporation9IBM Technical Computing

• 创建 Stack

Hadoop Cluster On HEAT

© 2013 IBM Corporation10IBM Technical Computing

• Stack 创建完成

Hadoop Cluster On HEAT

© 2013 IBM Corporation11IBM Technical Computing

• 检查 VM 是否创建成功

Hadoop Cluster On HEAT

Hadoop Master

Hadoop Compute

© 2013 IBM Corporation12IBM Technical Computing

• 检查 Hadoop 集群

Hadoop Cluster On HEAT

One Hadoop Compute

© 2013 IBM Corporation13IBM Technical Computing

• 自动扩展一台虚拟机

Hadoop Cluster On HEAT

© 2013 IBM Corporation14IBM Technical Computing

• 自动扩展成功

Hadoop Cluster On HEAT

© 2013 IBM Corporation15IBM Technical Computing

• 检查 Hadoop 集群

Hadoop Cluster On HEAT

Scale up to Two Hadoop Compute

© 2013 IBM Corporation16IBM Technical Computing

• 可以用同样的方法来自动收缩– 现在自动收缩会将创建最早的虚拟机删除，没有任何的策略让用户挑选要删除

的虚拟机。– 在删除虚拟机前，用户没有机会为即将删除的虚拟机执行一些清理工作。

Hadoop Cluster On HEAT

© 2013 IBM Corporation17IBM Technical Computing

• https://wiki.openstack.org/Heat

• https://w3-connections.ibm.com/wikis/home?lang=en-us

#!/wiki/Wc50c94953cb5_4158_b054_b5af88796998/page/BigData%20on%20Cloud

• http://aws.amazon.com/documentation/cloudformation/

• https://w3-connections.ibm.com/wikis/home?lang=en-us#!/wiki/W6756ebb33c0c_43ca_9ae8_3cd8b377a1be/page/Heat

参考

© 2013 IBM Corporation18IBM Technical Computing

HEAT 自动扩展工作流

© 2013 IBM Corporation19IBM Technical Computing

Thanks!