Hadoopの標準GUI HUEの最新情報

HADOOPの標準GUI HUEの 最新情報

Tatsuo Kawasaki [email protected] Hadoop User Conference 2014, Jul 8, 2014

HUE以前 基本的な操作はコマンドラインから エンジニア、パワーユーザー以外には敷居が高い

HUE以後

Hadoop用のGUI ブラウザから操作 ・Windowsでも ・Macでも ・Linuxでも その気になれば、タブレットやスマホでも！

HUEの目標 APACHE HADOOPで データを分析するための ウェブインタフェース

シンプル＆統合 無料＆オープンソース ̶> ビッグデータを多くの人に

おおまかな概要

Hadoop Web Server あなた、同僚、 IE9を使っている友人でさえも ;)

オープンソース

~3350 のコミット 38 人のコントリビュータ 698 のスター 245 のフォーク github.com/cloudera/hue

開発コアチーム

Join  us  at  team.gethue.com  

Romain  Rigaux   Enrico  Ber5  Chang   Abraham  Elmahrek  Amstel  

トーク ミートアップとイベント:    NYC,  Paris,  LA,  Tokyo,  SF,  Stockholm,  Vienna,  San  Jose,  Singapore,  Budapest…  近日予定:  London,  West  coast  

AROUNDTHE WORLD

避暑 Nov  13  Koh  Chang,  Thailand  May  14  Curaçao,  Netherlands  An5lles  Nov  14  Goa,  India  

トレンド: 成長

gethue.com  

HISTORY HUE 1

ブラウザ内でデスクトップのような機能を実現していたが、かなり遅く、メモリリークもあり、IEには適していなかった。 しかし、その当時 (2009-2010)は明らかに先進的だった。

HISTORY HUE 2

いたるところがTwitterのブートストラップによる最初のフラット構造な実装 HUE 2.5

自動補完とドラッグ＆ドロップのような新しい良い機能を追加し、ユーザーエクスペリエンスを改善した新しいアプリ

HISTORY HUE 3 ALPHA

提案されたデザイン。 うまくいかなかった

HISTORY HUE 3.5 新しいUI、いくつかの新しいアプリ、これまでで最もユーザーフレンドリーな機能  

HISTORY HUE 3.6+

そして今… データを検索、探索するための全く新しい方法

どちらのバージョンを使うべきか?

その後の2500以上のコミット、新しいUI、インタラクティブな検索、SQL、ダッシュボード…

1～2年古いバージョンで、Hive0.12以前に依存している場合にのみ使用する

HUE 2.X HUE 3.X

どのディストリビューションを使うべきか?

先進的なプレビュー版 最も安定し、コンポーネント間での確認もなされている

非常に新しい GITHUB CDH / CM TARBALL

ハッカー 先進的なユーザー 一般ユーザー

どこにHUEを配置するべきか? 1台のマシン

どこにHUEを配置するべきか? クラスタの外

どこにHUEを配置するべきか? クラスタの内側

Python 2.4 2.6 パッケージを使用する場合。ソースからビルドする場合はその他の packagesが必要

SERVER CLIENT ウェブブラウザ IE 9+, FF 10+, Chrome, Safari

必要なものは?

Hi  there,  I’m  “just”  a  web  server.  

HUEのサービスは?

ページ、および静的コンテンツも提供するプロセス

1 SERVER 1 DB クッキー、保存したクエリ、ワークフロー用

Hi  there,  I’m  “just”  a  web  server.  

HUEの設定方法 HUE.INI

core-site.xmlに似ているが、.INI形式の構文 場所?

/etc/hue/conf/hue.ini または $HUE_HOME/desktop/conf/pseudo-distributed.ini

[desktop] [[database]] # Database engine is typically one of: # postgresql_psycopg2, mysql, or sqlite3 engine=sqlite3 ## host= ## port= ## user= ## password= name=desktop/desktop.db

認証

データベース (SQLite, MySQL, …)にLogin/Passwordを管理

SIMPLE ENTERPRISE LDAP (最も使用されている), OAuth, OpenID, SAML

DBバックエンド

LDAPバックエンド

Integrate  your  employees:  LDAP  How  to  guide  

ユーザー

ユーザーまたはユーザーのグループに、権限を付与、破棄できる

管理者 ユーザー 標準ユーザー + 権限

グループのリストと権限 権限ができること: - アプリ(例: Hiveエディタ)へのアクセスを許可

- アプリからデータを修正 (例: HiveテーブルのDROPや、HBaseブラウザでセルを編集）

設定 ‒ アプリケーションと権限

A  list  of  permissions  

実行中の権限 「test」ユーザーは「hive」権限のみを持つ「hiveonly」グループに属している

設定 ‒ アプリケーションと権限

どのようにHUEはHADOOPとやり取りするのか

YARN

JobTracker

Oozie

Hue Plugins

LDAP SAML

Pig

HDFS HiveServer2

Hive Metastore

Cloudera Impala

Solr

HBase

Sqoop2

Zookeeper

RPC CALL 全てのHADOOPコンポーネントに HDFSの例

WebHDFS REST

DN

DN

DN

…

DN

NN

h\p://localhost:50070/webhdfs/v1/<PATH>?op=LISTSTATUS  

HOW hue.iniにHadoop APIの全てのホストとポートをリスト HBaseとHiveの例

Full  list  

[hbase] # Comma-separated list of HBase Thrift servers for # clusters in the format of '(name|host:port)'. hbase_clusters=(Cluster|localhost:9090) [beeswax] hive_server_host=host-abc hive_server_port=10000

RPC CALL 全てのHADOOPコンポーネントに

HTTPS SSL DB SSL WITH HIVESERVER2

さらに多く … AUDITING

セキュリティ

KERBEROS

2つのHueインスタンス HA proxy Multi DB パフォーマンス: ウェブサイトのようにほとんどがRPCコール

高可用性 HOW

Impala, Hiveの統合, Spark (Shark も) 対話的なSQLエディタ MapReduce、メタストア、HDFSを統合

SQL WHAT

Solr&Cloudを統合 カスタムできる対話的なダッシュボード ドラッグ＆ドロップウィジェット (チャート、タイムライン…)

SEARCH（検索） WHAT

シンプルなカスタムクエリ言語 HBaseフィルタ言語をサポート 選択、コピー＆ペースト 自動補完のヘルプメニュー

HBASEブラウザ WHAT

DEMO TIME

まとめ

HueでプロキシーユーザーとしてHadoop Service APIを有効化

各サービスAPIを示すようにhue.iniを設定

@gethue や hue-user

マシンにHueを インストール

LDAPバックエンドを使用

インストール 設定 有効化

ヘルプ LDAP

次の6ヶ月のロードマップ Sentry Search, Spark, SQL 多くのダッシュボード!Oozie v2 内部コンポーネントの統合 (HBase <-> Search, インデックス作成ウィザード、ドキュメントの権限), Hadoop Web apps SDK あなたのアイデアは？

WHAT

…GIVE CLOUDERA MANAGER A TRY!

vimeo.com/91805055  

設定が難しい…

何か間違っている?

learn.gethue.com  

インストールせずに試してみる

demo.gethue.com  

TWITTER

@gethue  

USER GROUP hue-­‐user@  

WEBSITE

h\p://gethue.com  LEARN

h\p://learn.gethue.com  

THANK YOU!

翻訳版ブログ公開中  h\p://gethue.com/blog/?lang=ja