Embulk mBaaS
Embulk mBaaS
Embulk mBaaS
• ニフティ株式会社 • 2015年4月 新卒入社 • 研修中 • 研修中 • 研修中
• EmbulkのmBaaSプラグインを書きました!
mBaaS
mBaaS
REST API
mBaaS
• アプリで利用するデータを保存できるクラウドストレージ (mongoDB, ニフティクラウド上で稼動)
• データのインポート機能の提供はなし(2015/12/15現在)
• エクスポートは一括・JSON形式でのみ提供
• EmbulkのmBaaS用Importプラグインを開発し データのインポートをできるようにしよう!
mBaaS
OJT
弊社エンジニア (OJTトレーナー)
弊社開発リーダー
OJT 6
Embulk mBaaS Input / Output
OJT 6
Embulk mBaaS Input / Output
大丈夫だよ!絶対、大丈夫だよっ!
• (´-`).。o0(Embulkとは…)
古橋さんによるリリース時の資料を読む →理解した気がしてくる
1: Embulk
• (´-`).。o0(次はコードを読もう!)
2: Embulk
→よくわからない
• embulk-core • embulk-cli • embulk-output-s3
• embulk-input-gcs
• embulk-output-gcs
• embulk-output-hdfs
• embulk-output-salesforce
• データストアの操作は提供されているAPI・SDKを用いて実行可能.
3:
• API• APIリクエストにはアプリケーションキー等を含む 署名用文字列を元に生成したシグネチャの付加が必須。
• ヘッダの付加→メソッドの設定→キーの昇順並び替え→ クライアントキーを秘密鍵としてエンコード→ さらにエンコード…
• つらさ
3:
Outputembulk-core OutputPlugin.java
• ここにたどり着くのが遅かったのが今回の敗因。
5: Output
弊社エンジニア (OJTトレーナー)
˘ ˘
弊社開発リーダー
• Embulk-output-mbaas https://github.com/NIFTYCloud-mbaas/embulk-output-ncmb
• よろしくお願いします!!!!!
: Output
* 100MB (0.3M [rows] * 16 [columns]) * まさかの20時間
* 検証不足
- OutputではなくInput (単一csvファイル)の問題? - データの分割と冪等性の確保を両方行うのが大変
ToDo: Input
問題:mbaasが返してくるJSONをページスライスできない 原因: JSON->Javaオブジェクト変換用のクラスの宣言ができない
クラスの要素はymlファイルの中身で決定されるため起動時まで わからない。
: mBaaS JSON
ToDo:
Blog by Sadayuki Furuhashi: http://frsyuki.hatenablog.com/entry/2015/02/16/080150
• 会社の宣伝をします。
大事なことなので2回
•
We are hiring!!
•