OpenStack Summit Vancouver Swift 報告

Copyright©2015 NTT Corp. All Rights Reserved.

OpenStack Summit Vancouver Swift 報告 (2015/6/10)

Kota Tsuyuzaki [IRC: kota_] [email protected] NTT Software Innovation Center

Copyright(c)2009-2015 NTT CORPORATION. All Rights Reserved.

2 Copyright©2015 NTT Corp. All Rights Reserved.

NTT Confidential

• OpenStack Swift

• Swift Erasure Code

• Basic Concept

• Benefits

• PUT/GET path

• Reconstructor

• Community Activity

• What’s next?

• Encryption

• Storlets

• Hamming bird (Go)

• EC follow work

アジェンダ

3 Copyright©2015 NTT Corp. All Rights Reserved.

NTT Confidential

• OpenStack Swift

• Swift Erasure Code

• Basic Concept

• Benefits

• PUT/GET path

• Reconstructor

• Community Activity

• What’s next?

• Encryption

• Storlets

• Hamming bird (Go)

• EC follow work

アジェンダ

4 Copyright©2015 NTT Corp. All Rights Reserved.

NTT Confidential

• Heading Cats at Vancouver Summit

• https://goo.gl/iWUw91

OSSのコミュニティ活動をする全ての人に

5 Copyright©2015 NTT Corp. All Rights Reserved.

NTT Confidential

以上です

6 Copyright©2015 NTT Corp. All Rights Reserved.

NTT Confidential

というとさすがにマズそうなので…

7 Copyright©2015 NTT Corp. All Rights Reserved.

NTT Confidential

[プロフィール]

氏名：露﨑 浩太 (29)

Launchpad: tsuyuzaki-kota

IRC: kota_

所属：日本電信電話株式会社 (NTT)

ソフトウェアイノベーションセンタ (R&D部門）

[OpenStack Swiftとの関わり]

2012～: 社内のSwift関連のお仕事を開始

2014 Atlanta: Design Summit提案

2014 Paris: Design Summit提案

2015 Vancouver: パネルディスカッション

Design Summit提案

2015/6/4 Swiftのコアチームに入りました

自己紹介

バンクーバー パネルディスカッションの様子

8 Copyright©2015 NTT Corp. All Rights Reserved.

NTT Confidential

• Swift Erasure Code

• What’s next?

• Encryption

• Storlets

• Hamming bird (Go)

• EC follow work

アジェンダ

9 Copyright©2015 NTT Corp. All Rights Reserved.

NTT Confidential

• Erasure Codes in OpenStack Explained

（Japanese Subscription)

• https://youtu.be/I0HytEfQzjw

Swift Erasure Code

10 Copyright©2015 NTT Corp. All Rights Reserved.

NTT Confidential

Encryption：https://goo.gl/JxETay

• IBM, HPがメインに開発

• オブジェクト本体、各ユーザメタデータを対象にサーバ側で暗号化を行う

• PUT/GETの基本的な実装は完了しておりデモとして見せられる程度には動作可能で、Libertyまでに導入の確度は高い

• COPYの際のRe-EncryptionなどのケースでFunctionalテストがFailしており、どう解くかが課題

• KeyマネージメントのセキュリティについてはTrivialでUnsecureなリファレンスモデルとしてOSSでメンテナンスする方向

Storlets: https://goo.gl/ypqCRE

• IBMのSwift上での処理基盤デプロイフレームワーク

• 既に保存された動画、画像などを後からストレージ側で処理することが可能

• どのように制御するか、異常系処理やテストをどうするかなど、机上での課題を議論

• IBMから動作するOSSとして出てきているのでLiberty向けには各社実験してみて今後を検討しようという方向

What’s next? (1/2)

11 Copyright©2015 NTT Corp. All Rights Reserved.

NTT Confidential

Hummingbird(Go): https://goo.gl/ER6G4e

• RackSpaceがメインに開発

• Object-Serverをコンパイル言語であるGoで書きなおしたのをメインラインで管理したいという提案

• RackSpaceの 6 cluster 100PB以上、50bill ion objects以上、10k+requests /secondという規模でオブジェクトサーバーのCPUが問題になるため書き直したとのこと

• Go書くことでパフォーマンスを得られる反面、Swiftが今までウリにしていたExtensibility（ミドルウェアやDiskFile抽象化）の部分がほとんど失われるのでコミュニティ的には慎重に検討

• 置き換えはない、あるとすれば共存というスタンスでStorlets同様検証していく

EC Overview, EC follow on work: https://goo.gl/eLIJYf https://goo.gl/El0EI9

• KiloでBetaリリースされたECの紹介、及び、今後の活動の議論

• 提案していたDurability CalculatorがAssociated Project[1]になりました

• SwiftのコミュニティとしてはLibertyまではQA期間として異常系のフォローやコード改善に取り組む

• 主な予定

• DiskFileのCleanup

• ディスク故障時のHandoff対応

• Rebalance時のデッドロック回避

• Global Cluster対応

What’s next? (2/2)

1：https://github.com/enovance/swift-durability-calculator 2: http://d.not.mn/ec-v-repl.png

SwiftStack社のSwft-EC性能測定結果 [2]

12 Copyright©2015 NTT Corp. All Rights Reserved.

NTT Confidential

質疑応答

[email protected] IRC: kota_