Top Banner
Amazon FSx(Lustre用) Lustreユーザーガイド
111

Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Sep 20, 2020

Download

Documents

dariahiddleston
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Page 1: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用)Lustreユーザーガイド

Page 2: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド

Amazon FSx(Lustre用): LustreユーザーガイドCopyright © 2020 Amazon Web Services, Inc. and/or its affiliates. All rights reserved.

Amazon's trademarks and trade dress may not be used in connection with any product or service that is not Amazon's,in any manner that is likely to cause confusion among customers, or in any manner that disparages or discreditsAmazon. All other trademarks not owned by Amazon are the property of their respective owners, who may or may notbe affiliated with, connected to, or sponsored by Amazon.

Page 3: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド

Table of ContentsAmazon FSx for Lustre とは ................................................................................................................ 1

複数の展開オプション ................................................................................................................. 1複数のストレージ・オプション ..................................................................................................... 1Amazon FSx for Lustre およびデータリポジトリ ............................................................................. 2

Amazon S3 の統合 ............................................................................................................. 2オンプレミスのデータリポジトリ .......................................................................................... 2

ファイル・システムへのアクセス .................................................................................................. 2との統合 AWS サービス .............................................................................................................. 3セキュリティとコンプライアンス .................................................................................................. 3Assumptions .............................................................................................................................. 3Amazon FSx for Lustre の料金 ..................................................................................................... 4Amazon FSx for Lustre フォーラム ............................................................................................... 4Amazon FSx for Lustre を初めてお使いになる方向けの情報 .............................................................. 4

セットアップ ..................................................................................................................................... 5AWS にサインアップする ............................................................................................................ 5IAM ユーザーを作成する .............................................................................................................. 5

でデータリポジトリを使用する許可を追加する Amazon S3 ...................................................... 7次のステップ ............................................................................................................................. 7

はじめに ............................................................................................................................................ 8Prerequisites .............................................................................................................................. 8ステップ1: 作成 Amazon FSx for Lustre ファイル・システム ............................................................ 8ステップ2: Lustre Clientのインストール ....................................................................................... 12ステップ3: 分析の実行 ............................................................................................................... 14(オプション)ステップ4: 確認 Amazon FSx ファイル システム ステータス ......................................... 14ステップ5: リソースのクリーンアップ ......................................................................................... 15

ファイル・システム導入オプションの使用 ............................................................................................ 16ファイル・システムの導入オプション .......................................................................................... 16

スクラッチ ファイル システム ............................................................................................ 16永続ファイル・システム .................................................................................................... 17

データ リポジトリの使用 ................................................................................................................... 19データリポジトリの概要 ............................................................................................................ 19

POSIXメタデータのサポート .............................................................................................. 20データ リポジトリ ライフサイクルの状態 ............................................................................. 21

ファイルシステムを S3 バケットにリンクする .............................................................................. 21S3バケットにリンクされたファイル システムの作成 .............................................................. 21サーバ側暗号化による作業 Amazon S3 バケット ................................................................... 24ファイル システムのエクスポート パスの表示 ....................................................................... 25

データ リポジトリからのファイルのインポート ............................................................................. 27S3バケットから更新を自動的にインポート ........................................................................... 27ファイルをファイル システムにプリロードする ..................................................................... 30

データ リポジトリ タスク .......................................................................................................... 30データ リポジトリ タスクのタイプ ...................................................................................... 31タスクのステータスと詳細 ................................................................................................. 31データ リポジトリ タスクの使用 ......................................................................................... 32タスク完了レポートを使用する ........................................................................................... 39失敗したタスクのトラブルシューティング ............................................................................ 39

データ リポジトリへの変更のエクスポート ................................................................................... 40データ リポジトリ タスクを使用したデータおよびメタデータの変更のエクスポート ................... 41HSM コマンドを使用したファイルのエクスポート ................................................................. 43

ファイル・システムからのデータのリリース ................................................................................. 43使用 Amazon FSx オンプレミスのデータリポジトリで ................................................................... 43

パフォーマンス ................................................................................................................................. 45Lustreファイル・システムの仕組み .............................................................................................. 45ファイル・システム・パフォーマンスの集約 ................................................................................. 46

iii

Page 4: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド

例: ベースラインとバースト・スループットの集約 ................................................................. 47ファイル・システム・ストレージ・レイアウト .............................................................................. 48ファイル・システム内のデータのストライピング ........................................................................... 48パフォーマンスと使用状況の監視 ................................................................................................ 49パフォーマンスのヒント ............................................................................................................ 49

ファイル・システムへのアクセス ........................................................................................................ 51Lustreクライアントのインストール .............................................................................................. 51からの取り付け Amazon EC2 インスタンス .................................................................................. 62オンプレミスまたは別のVPCからの取り付け ................................................................................. 63取り付け Amazon FSx 自動的に ................................................................................................. 64

/etc/fstabを使用したオートマウント ..................................................................................... 64ファイルシステムをアンマウントする .......................................................................................... 66EC2 スポットインスタンスの使用 ............................................................................................... 67

ファイル システムの管理 ................................................................................................................... 68バックアップでの作業 ............................................................................................................... 68

のバックアップサポート Amazon FSx for Lustre ................................................................... 68手動バックアップでの作業 ................................................................................................. 69毎日の自動バックアップの処理 ........................................................................................... 69バックアップのリストア .................................................................................................... 70バックアップの削除 .......................................................................................................... 70カスタム バックアップ スケジュールの設定 .......................................................................... 71

メンテナンスウィンドウ ............................................................................................................ 73ファイルシステムのモニタリング ........................................................................................................ 75

CloudWatch のモニタリング ....................................................................................................... 75Amazon FSx for Lustre のディメンション .................................................................................... 77使い方 Amazon FSx for Lustre 指標 ............................................................................................ 77CloudWatch メトリクスへのアクセス ........................................................................................... 78アラームの作成 ....................................................................................................................... 78

Security ........................................................................................................................................... 80データ保護 ............................................................................................................................... 80

Amazon FSx でのデータの暗号化 ........................................................................................ 81ネットワーク間のプライバシー ........................................................................................... 83

ファイル・システム・アクセス制御 Amazon VPC ......................................................................... 84Amazon VPC セキュリティグループ .................................................................................... 84Lustre Client VPCセキュリティグループルール ..................................................................... 87

Amazon VPC ネットワークACL .................................................................................................. 88IAMベースのアクセス制御 .......................................................................................................... 88

のリソースとオペレーション Amazon FSx for Lustre ............................................................. 89サービスにリンクされたロールの使用 .................................................................................. 89リソース所有権について .................................................................................................... 91リソースへのアクセスの管理 .............................................................................................. 91Amazon FSx for Lustre API アクセス許可のリファレンス ....................................................... 91

コンプライアンス検証 ............................................................................................................... 93AWS CloudTrail でのログ記録 ............................................................................................................ 94

CloudTrail での Amazon FSx for Lustre 情報 ................................................................................ 94Amazon FSx for Lustre ログファイルエントリについて .................................................................. 95

Quotas ............................................................................................................................................ 97増加できるノルマ ...................................................................................................................... 97各ファイル・システムのリソース・クォータ ................................................................................. 98

Troubleshooting ................................................................................................................................ 99ファイル・システム・マウントがすぐに失敗する ........................................................................... 99ファイルシステムのマウントがハングした後、タイムアウトエラーで失敗する ................................... 99自動マウントが失敗してインスタンスが応答しない ...................................................................... 100DNS 名を使用したファイルシステムのマウントが失敗する ........................................................... 100誤設定のリンクされたS3バケットのトラブルシューティング ......................................................... 101S3バケットにリンクされているファイル システムを作成できません ............................................... 102

ドキュメント履歴 ............................................................................................................................ 103

iv

Page 5: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド

...................................................................................................................................................... cvi

v

Page 6: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド複数の展開オプション

Amazon FSx for Lustre とはAmazon FSx for Lustre は、一般的な高性能Lustreファイル・システムの起動と実行を簡単かつコスト・パフォーマンスに優れた方法で行います。機械学習、高性能コンピューティング(HPC)、ビデオ処理、財務モデリングなど、スピードが重要なワークロードにLustreを使用します。

オープンソースのLustreファイルシステムは、高速ストレージを必要とするアプリケーション向けに設計されています。—ストレージがコンピューティングに追いつく場所。Lustre は、増え続ける世界のデータセットを迅速かつ安価に処理するという問題を解決するために構築されました。これは、世界最速のコンピュータ用に設計された広く使用されているファイルシステムです。また、ミリ秒未満のレーテンシー、最大数百GBpsのスループット、最大数百万IOPSを実現します。Lustreの詳細については、 ラスターのウェブサイト.

完全マネージドサービスとして、 Amazon FSx は、ストレージ速度が重要なワークロードにLustreを使いやすくします。 Amazon FSx for Lustre Lustreファイルシステムのセットアップと管理の従来の複雑さを排除し、実績ある高性能ファイルシステムを数分でスピンアップおよび実行できるようにします。また、複数の導入オプションも提供するため、コストをニーズに応じて最適化できます。

Amazon FSx for Lustre はPOSIX準拠であるため、現在のLinuxベースのアプリケーションを変更する必要はありません。 Amazon FSx for Lustre は、ネイティブのファイル システム インタフェースを提供し、Linuxオペレーティング システムと同様に機能します。また、書き込み後の読み取りの整合性も確保され、ファイル・ロックもサポートされます。

トピック• 複数の展開オプション (p. 1)• 複数のストレージ・オプション (p. 1)• Amazon FSx for Lustre およびデータリポジトリ (p. 2)• ファイル・システムへのアクセス (p. 2)• との統合 AWS サービス (p. 3)• セキュリティとコンプライアンス (p. 3)• Assumptions (p. 3)• Amazon FSx for Lustre の料金 (p. 4)• Amazon FSx for Lustre フォーラム (p. 4)• Amazon FSx for Lustre を初めてお使いになる方向けの情報 (p. 4)

複数の展開オプションAmazon FSx for Lustre は、 スクラッチ および 持続性 ファイル・システムを使用して、さまざまなデータ処理ニーズに対応できます。スクラッチ・ファイル・システムは、データの一時的なストレージと短期間の処理に最適です。データはレプリケートされず、ファイル・サーバに障害が発生した場合も保持されません。永続的なファイル・システムは、長期のストレージとワークロードに最適です。永続的なファイル・システムでは、データはレプリケートされ、ファイル・サーバは障害発生時に置き換えられます。詳細については、のファイル・システム導入オプション Amazon FSx for Lustre (p. 16) を参照してください。

複数のストレージ・オプションAmazon FSx for Lustre は、さまざまなデータ処理要件に合わせて最適化されたSSD(ソリッド・ステート・ドライブ)およびHDD(ハード・ディスク・ドライブ)ストレージ・タイプの選択肢を提供します。

1

Page 7: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドAmazon FSx for Lustre およびデータリポジトリ

• SSDストレージオプション — 通常は小さなランダムなファイル操作を行う、低レーテンシー、IOPS集中型のワークロードの場合は、SSDストレージ・オプションの1つを選択します。

• HDD ストレージ・オプション — スループットを大量に消費するワークロードで、通常、大きなシーケンシャルなファイル操作を実行する場合は、HDDストレージ・オプションの1つを選択します。

HDDストレージオプションを使用してファイルシステムをプロビジョニングする場合は、HDDストレージ容量の20%に自動的にサイズ設定された読み取り専用SSDキャッシュのプロビジョニングも検討してください。これは、頻繁にアクセスされるファイルに対して、ミリ秒未満のレイテンシと高いIOPSを提供します。SSDベースとHDDベースの両方のファイル・システムは、SSDベースのメタデータ・サーバでプロビジョニングされるため、ファイル・システム・オペレーションの大部分を占めるすべてのメタデータ・オペレーションが、ミリ秒未満のレイテンシーで提供されます。

これらのストレージ オプションのパフォーマンスの詳細については、以下を参照してください。 AmazonFSx for Lustre のパフォーマンス (p. 45).

Amazon FSx for Lustre およびデータリポジトリAmazon FSx for Lustre ファイル・システムは、 Amazon S3 またはオンプレミスのデータストアに接続できます。

Amazon S3 の統合Amazon FSx for Lustre は、 Amazon S3により、Lustre高性能ファイルシステムを使用してクラウドデータセットを簡単に処理できます。_にリンクされている場合 Amazon S3 バケット、 Amazon FSx forLustre ファイルシステムは、S3 オブジェクトをファイルとして透過的に表示します。 Amazon FSx は、ファイルシステム作成時に、S3 バケット内のすべての既存のファイルのリストをインポートします。Amazon FSx また、ファイル システムの作成後にデータ リポジトリに追加されたファイルのリストをインポートすることもできます。インポートの基本設定は、ワークフローのニーズに合わせて設定できます。また、ファイル・システムでは、ファイル・システム・データをS3に書き戻すこともできます。データリポジトリ タスクは、データおよびメタデータの転送を Amazon FSx for Lustre ファイル・システムとその耐久性の高いデータ・リポジトリを Amazon S3. 詳細については、「でデータ リポジトリを使用するAmazon FSx for Lustre (p. 19)」および「データ リポジトリ タスク (p. 30)」を参照してください。

オンプレミスのデータリポジトリ付 Amazon FSx for Lustreでは、オンプレミスのデータ処理ワークロードを AWS を使用したデータのインポートによるクラウド AWS Direct Connect 又は AWS VPN. 詳細については、使用 Amazon FSx オンプレミスのデータリポジトリで (p. 43) を参照してください。

ファイル・システムへのアクセス付 Amazon FSx for Lustre1つのファイル システムに接続されているインスタンス タイプとLinuxのAMI(Amazon Machine Images)を混在させて一致させることができます。

Amazon FSx for Lustre は、 上で実行しているコンピューティングワークロードからアクセス可能です。Amazon Elastic Compute Cloud (Amazon EC2) インスタンスとコンテナが Amazon Elastic KubernetesService (Amazon EKS)。ファイル システムには、 Amazon EC2 オープンソースのLustreクライアントを使用してインスタンスを計算します。あなたの Amazon FSx for Lustre ファイル システムがマウントされている場合、ローカル ファイル システムを使用するのと同様に、ファイルとディレクトリを操作することができます。アクセス Amazon FSx for Lustre 実行しているコンテナから Amazon EKS オープンソースを使用して Lustre CSI ドライバ用 FSx」を参照してください。 Amazon EKS ユーザーガイド. で実行しているコンテナ Amazon EKS は、 Amazon FSx for Lustre.

2

Page 8: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドとの統合 AWS サービス

Amazon FSx for Lustre は、 Amazon Linux、Red Hat Enterprise Linux(RHEL)、CentOS、Ubuntu、SUSELinux。Lustreクライアントは、 Amazon Linux 2 および Amazon Linux. RHEL、CentOS、Ubuntuの場合、AWS Lustreクライアントリポジトリは、これらのオペレーティングシステムと互換性のあるクライアントを提供します。

使用 Amazon FSxを使用して、オンプレミスからAWS Cloudにコンピューティング集約型のワークロードをバーストできます。 AWS Direct Connect またはVPN。以下にアクセスできます。 Amazon FSx オンプレミスのファイル・システム、必要に応じてファイル・システムへのデータのコピー、クラウド・インスタンス上の計算集約型ワークロードの実行など、さまざまな機能を使用できます。

詳細については、ファイル・システムへのアクセス (p. 51) を参照してください。

との統合 AWS サービスAmazon FSx for Lustre は、 SageMaker 入力データ ソースです。利用時 SageMaker と Amazon FSx forLustre、お客様の機械学習トレーニングジョブは、 Amazon S3. また、S3 でコストを要求した場合、同じデータセット上の反復ジョブの共通オブジェクトを繰り返しダウンロードするのを回避することで、総所有コスト(TCO)を削減できます。詳細については、以下を参照してください。 とは SageMaker? をAmazon SageMaker 開発者ガイド.

Amazon FSx for Lustre は、 AWS Batch EC2 Launch Templates(EC2起動テンプレート)を使用します。AWS Batch では、高性能コンピューティング(HPC)、機械学習(ML)、その他の非同期ワークロードを含む、AWSクラウド上でバッチコンピューティングワークロードを実行できます。 AWS Batch ジョブのリソース要件に基づいてインスタンスを自動的かつ動的にサイズ変更します。詳細については、以下を参照してください。 AWSバッチとは? を AWS Batch ユーザーガイド.

Amazon FSx for Lustre は、 AWS ParallelCluster. AWS ParallelCluster は AWS- HPC クラスタの導入と管理に使用する、サポートされているオープンソースのクラスタ管理ツール。自動的に Amazon FSx forLustre または既存のファイル システムを使用することもできます。

セキュリティとコンプライアンスAmazon FSx for Lustre ファイル・システムは、保存時および転送中の暗号化をサポートします。 AmazonFSx で管理されているキーを使用して、保存中のファイル・システム・データを自動的に暗号化 AWS KeyManagement Service (AWS KMS)。転送中のデータは、特定の AWS サポートされているEC2インスタンスからアクセスする地域。でのデータ暗号化の詳細については、 Amazon FSx for Lustre、転送中のデータの暗号化がサポートされている AWS 地域を含みます。 をご覧ください。 Amazon FSx for Lustre でのデータの暗号化 (p. 81). Amazon FSx は、ISO、PCI-DSS、およびSOC認定に準拠していることが評価されており、HIPAAの対象です。詳細については、Amazon FSx for Lustre のセキュリティ (p. 80) を参照してください。

Assumptionsこのガイドでは、以下の前提を前提にしています。

• 以下を使用する場合: Amazon Elastic Compute Cloud (Amazon EC2)、そのサービスに詳しいと想定します。使用方法の詳細については、 Amazon EC2」を参照してください。 Amazon EC2 文書.

• 当社では、お客様が Amazon Virtual Private Cloud (Amazon VPC)。使用方法の詳細については、Amazon VPC」を参照してください。 Amazon VPC ユーザーガイド.

• 以下に基づいて、VPCのデフォルトセキュリティグループのルールを変更していないと仮定します。Amazon VPC サービス。存在する場合は、 Amazon EC2 インスタンスを Amazon FSx for Lustre ファイ

3

Page 9: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドAmazon FSx for Lustre の料金

ル システム。詳細については、「ファイル・システム・アクセス制御 Amazon VPC (p. 84)」を参照してください。

Amazon FSx for Lustre の料金付 Amazon FSx for Lustreハードウェアやソフトウェアの初期コストは発生しません。最低契約金額、セットアップ費用、追加料金なしで、使用したリソースのみを支払う。サービスに関連する価格と料金の詳細については、以下を参照してください。 Amazon FSx for Lustre 価格.

Amazon FSx for Lustre フォーラム使用中に問題が発生した場合 Amazon FSx for Lustre、 フォーラム.

Amazon FSx for Lustre を初めてお使いになる方向けの情報

Amazon FSx for Lustre を初めて使用するユーザーは、次のセクションを順に読むことをお勧めします。

1. 初めて Amazon FSx for Lustre ファイル システム、試行 Amazon FSx for Lustre の使用を開始する (p. 8).

2. パフォーマンスの詳細については、「Amazon FSx for Lustre のパフォーマンス (p. 45)」を参照してください。

3. ファイル システムを Amazon S3 バケット データ リポジトリ、参照バケットデータリポジトリ でデータ リポジトリを使用する Amazon FSx for Lustre (p. 19).

4. 対象 Amazon FSx for Lustre セキュリティの詳細、参照セキュリティノショウサイ、シヨウ AmazonFSx for Lustre のセキュリティ (p. 80).

5. 拡張性の制限事項については、 Amazon FSx for Lustreスループットとファイル システム サイズを含む、を参照してください。 Quotas (p. 97).

6. 『 Amazon FSx for Lustre APIについては、 Amazon FSx for Lustre APIリファレンス.

4

Page 10: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドAWS にサインアップする

セットアップAmazon FSx for Lustre を初めて使用する場合は、事前に以下のタスクをすべて実行してください。

1. AWS にサインアップする (p. 5)2. IAM ユーザーを作成する (p. 5)

AWS にサインアップするアマゾン ウェブ サービス (AWS) にサインアップすると、AWS アカウントが AWS 内のすべてのサーバー(Amazon FSx for Lustre など) に自動的にサインアップされます。

既に AWS アカウントをお持ちの場合は次のタスクに進んでください。AWS アカウントをお持ちでない場合は、次に説明する手順にしたがってアカウントを作成してください。

AWS アカウントを作成するには

1. https://portal.aws.amazon.com/billing/signup を開きます。2. オンラインの手順に従います。

サインアップ手順の一環として、通話呼び出しを受け取り、電話のキーパッドを用いて確認コードを入力することが求められます。

次のタスクで AWS アカウント番号が必要となるので、メモしておいてください。

IAM ユーザーを作成するAWS のサービス (Amazon FSx for Lustre など) では、サービスにアクセスする際に認証情報を提供する必要があります。それにより、サービスのリソースにアクセスするアクセス許可があるかどうかをサービスが判定します。AWSでは、AWSアカウントのroot認証情報を使用してリクエストを行わないことをお勧めします。代わりに、AWS Identity and Access Management (IAM) ユーザーを作成し、そのユーザーにフルアクセスを許可します。これらのユーザーを管理者ユーザーと呼びます。

アカウントのroot認証情報の代わりに管理者ユーザー認証情報を使用して、AWSと対話し、ユーザーの作成や権限の付与などのタスクを実行できます。詳細については、AWS 全般のリファレンスの「ルートアカウント認証情報と IAM ユーザー認証情報」およびhttps://docs.aws.amazon.com/IAM/latest/UserGuide/best-practices.htmlの「IAM ユーザーガイドIAM ベストプラクティス」を参照してください。

AWS にサインアップしても、ご自分の IAM ユーザーをまだ作成していない場合は、IAM 管理コンソールを使用して作成できます。

自分用の管理者ユーザーを作成し、そのユーザーを管理者グループに追加するには (コンソール)

1. ルートユーザー を選択し AWS アカウントの E メールアドレスを入力して、アカウントの所有者としてIAM コンソールにサインインします。次のページでパスワードを入力します。

Note

以下のAdministratorIAMユーザーの使用に関するベストプラクティスに従い、ルートユーザー認証情報を安全な場所に保管しておくことを強くお勧めします。ルートユーザーとしてサインインして、少数のアカウントおよびサービス管理タスクのみを実行します。

2. ナビゲーションペインで [Users]、[Add user] の順に選択します。

5

Page 11: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドIAM ユーザーを作成する

3. [ユーザー名] に「Administrator」と入力します。4. [AWS マネジメントコンソール access (アクセス)] の横にあるチェックボックスをオンにします。

[Custom password (カスタムパスワード)] を選択し、その後テキストボックスに新しいパスワードを入力します。

5. (オプション) AWS では、デフォルトで、新しいユーザーに対して初回のサインイン時に新しいパスワードを作成することが必要です。必要に応じて [User must create a new password at next sign-in(ユーザーは次回のサインイン時に新しいパスワードを作成する必要がある)] のチェックボックスをオフにして、新しいユーザーがサインインしてからパスワードをリセットできるようにできます。

6. [Next: Permissions (次へ: アクセス許可)] を選択します。7. [Set permissions (アクセス許可の設定)] で、[Add user to group (ユーザーをグループに追加)] を選択し

ます。8. [Create group] を選択します。9. [グループの作成] ダイアログボックスで、[グループ名] に「Administrators」と入力します。10. [Filter policies (フィルタポリシー)] を選択し、その後 [AWS managed -job function (AWS 管理ジョブ

の機能] を選択してテーブルのコンテンツをフィルタリングします。11. ポリシーリストで、[AdministratorAccess] のチェックボックスをオンにします。次に、[Create group]

を選択します。

Note

AdministratorAccess アクセス許可を使用して、AWS Billing and Cost Management コンソールを使用する前に、IAM ユーザーおよびロールの請求へのアクセスをアクティブ化する必要があります。これを行うには、請求コンソールへのアクセスの委任に関するチュートリアルのステップ 1 の手順に従ってください。

12. グループのリストに戻り、新しいグループのチェックボックスをオンにします。必要に応じて[Refresh] を選択し、リスト内のグループを表示します。

13. [次へ: タグ] を選択します。14. (オプション) タグをキー - 値のペアとしてアタッチして、メタデータをユーザーに追加します。IAM

でのタグの使用の詳細については、IAM ユーザーガイド の「IAM エンティティのタグ付け」を参照してください。

15. [Next: Review] を選択して、新しいユーザーに追加するグループメンバーシップのリストを表示します。続行する準備ができたら、[Create user] を選択します。

この同じプロセスを繰り返して新しいグループとユーザーを作成し、AWS アカウントのリソースへのアクセス権をユーザーに付与できます。ポリシーを使用して特定の AWS リソースに対するユーザーのアクセス許可を制限する方法については、「アクセス管理」と「ポリシーの例」を参照してください。

この新しい IAM ユーザーとしてサインインするには、まず AWS マネジメントコンソールからサインアウトします。その後、以下の URL を使用します。このとき、your_aws_account_id はハイフンを除いたAWS アカウント番号です (たとえば AWS アカウント番号が 1234-5678-9012 であれば、AWS アカウント ID は 123456789012 です)。

https://your_aws_account_id.signin.aws.amazon.com/console/

作成した IAM ユーザー名とパスワードを入力します。サインインすると、ナビゲーションバーに「your_user_name@your_aws_account_id」と表示されます。

サインページの URL に AWS アカウント ID を含めない場合は、アカウントのエイリアスを作成します。これを行うには、IAM ダッシュボードから [アカウントエイリアスを作成する] を選択し、エイリアス (会社名など) を入力します。アカウントエイリアスを作成した後、サインインするには、次の URL を使用します。

https://your_account_alias.signin.aws.amazon.com/console/

6

Page 12: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドでデータリポジトリを使用する許可を追加する Amazon S3

アカウントの IAM ユーザーのサインインリンクを確認するには、IAM コンソールを開き、ダッシュボードの [AWS アカウントエイリアス] の下を確認します。

でデータリポジトリを使用する許可を追加するAmazon S3Amazon FSx for Lustre 深く統合され、 Amazon S3. この統合により、 Amazon S3 バケットをアプリケーションからマウントし、 Amazon FSx for Lustre ファイル システム。詳細については、でデータ リポジトリを使用する Amazon FSx for Lustre (p. 19) を参照してください。

データ リポジトリを使用するには、まず Amazon FSx for Lustre 確実 IAM 管理者ユーザーのアカウントに関連付けられた役割の権限。

コンソールを使用してロールのインライン ポリシーを埋め込むには

1. AWS Management Consoleにサインインし、 IAM のコンソール https://console.aws.amazon.com/iam/.

2. ナビゲーションペインで [ロール] を選択します。3. 一覧で、ポリシーを埋め込むロールの名前を選択します。4. [Permissions] タブを選択します。5. ページ下部までスクロールし、[インラインポリシーの追加] を選択します。

Note

インラインポリシーをIAMのサービスリンクロールに埋め込むことはできません。リンクされたサービスでは、ロールのアクセス許可の変更可否が定義されているため、サービスコンソール、API、AWS CLI のいずれかを使用してさらにポリシーを追加できる場合があります。サービスのサービスにリンクされている役割のドキュメントを表示するには、「 IAMと連動するAWSサービス 選択して 有 を サービスリンク済みロール 列に入力できます。

6. 選択 ビジュアル エディタを使用したポリシーの作成7. 次の権限ポリシー ステートメントを追加します。

{ "Version": "2012-10-17", "Statement": { "Effect": "Allow", "Action": [ "iam:CreateServiceLinkedRole", "iam:AttachRolePolicy", "iam:PutRolePolicy" ], "Resource": "arn:aws:iam::*:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/*" }}

インラインポリシーを作成した後は、自動的にロールに埋め込まれます。

サービスにリンクされたロールの詳細については、「Amazon FSx for Lustre のサービスにリンクされたロールの使用 (p. 89)」を参照してください。

次のステップAmazon FSx for Lustre の使用を開始する (p. 8)

7

Page 13: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドPrerequisites

Amazon FSx for Lustre の使用を開始する

次に、 Amazon FSx for Lustre. これらのステップでは、 Amazon FSx for Lustre ファイル システム、およびコンピュータ インスタンスからアクセスします。オプションで、 Amazon FSx for Lustre ファイル システムを使用して、 Amazon S3 ファイル・ベースのアプリケーションで、バケットを構築できます。

この開始演習には、次のステップが含まれます。

トピック• Prerequisites (p. 8)• ステップ1: 作成 Amazon FSx for Lustre ファイル・システム (p. 8)• ステップ2: ファイルシステムをマウントする前にインスタンスにLustreクライアントをインストール

して構成する (p. 12)• ステップ3: 分析の実行 (p. 14)• (オプション)ステップ4: 確認 Amazon FSx ファイル システム ステータス (p. 14)• ステップ5: リソースのクリーンアップ (p. 15)

Prerequisitesこの開始演習を実行するには、以下が必要です。

• 作成に必要な権限を持つAWSアカウント Amazon FSx for Lustre ファイル システムと Amazon EC2 インスタンス。詳細については、セットアップ (p. 5) を参照してください。

• アン Amazon EC2 サポートされているLinuxリリースを仮想プライベートクラウド(VPC)で実行するインスタンスを、 Amazon VPC サービス。このEC2インスタンスにLustreクライアントをインストールし、 Amazon FSx for Lustre EC2インスタンス上のファイル システム。Lustreクライアントは、AmazonLinux、Amazon Linux 2、CentOS、Red Hat Enterprise Linux 7.5、7.6、7.7、および新しいバージョンの7.x、SUSE Linux Enterprise Server 12 SP3、Ubuntu 16.04、18.04をサポートしています。この開始演習では、Amazon Linux 2を使用することをお勧めします。

あなたの Amazon EC2 この開始演習のインスタンスでは、次の点に留意してください。• デフォルトのVPCでインスタンスを作成することをお勧めします。• EC2インスタンスの作成時には、デフォルトのセキュリティグループを使用することをお勧めしま

す。• アン Amazon S3 バケットに格納されたデータを、ワークロードの処理用に処理します。S3バケット

は、 Amazon FSx for Lustre ファイル システム。• 次のタイプを決定します。 Amazon FSx for Lustre 作成するファイル システム、 スクラッチ 又は 持続

性. 詳細については、のファイル・システム導入オプション Amazon FSx for Lustre (p. 16) を参照してください。

ステップ1: 作成 Amazon FSx for Lustre ファイル・システム

次に、コンソールでファイル・システムを作成します。

8

Page 14: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドステップ1: 作成 Amazon FSx for Lustre ファイル・システム

ファイルシステムを作成するには

1. Open the Amazon FSx console at https://console.aws.amazon.com/fsx/.2. ダッシュボードから、 ファイル・システムの作成 ファイル システム作成ウィザードを起動します。3. 選択 Lustre用FSx そして 次へ ]をクリックして、 ファイル・システムの作成 ページ。4. 情報を ファイルシステムの詳細 セクション:

• 対象 ファイルシステム名 - オプションファイル システムの名前を指定します。最大 256 文字のUnicode 文字、空白、数字、および特殊文字を使用できます。 + - =. _ : /.

• 対象 導入とストレージのタイプ、オプションの 1 つを選択します。

SSD(SSD) ストレージは、低レーテンシーでIOPS集中型のワークロードを提供します。通常、このワークロードは、小さなランダムなファイル操作を行います。HDD(HDD) ストレージは、通常、大規模なシーケンシャルなファイル操作を行うスループット集中型のワークロードを提供します。• _を選択 永続、SSD 長期的なストレージとワークロード用の導入タイプです。ファイル・サー

バは高可用性であり、データはファイル・システムの可用性ゾーン内で自動的にレプリケートされ、このタイプは転送中のデータの暗号化をサポートします。転送中のデータを暗号化するAWSRegionがどの地域で利用可能かについては、以下を参照してください。 転送中のデータの暗号化 (p. 82).

• _を選択 永続、HDD 長期的なストレージとワークロード用の導入タイプです。ファイル・サーバは高可用性であり、データはファイル・システムの可用性ゾーン内で自動的にレプリケートされ、このタイプは転送中のデータの暗号化をサポートします。転送中のデータを暗号化するAWSRegionがどの地域で利用可能かについては、以下を参照してください。 転送中のデータの暗号化 (p. 82).

選択する場合 SSDキャッシュ付きこのキャッシュは自動的に HDD ストレージ容量の 20% にサイズ変更され、頻繁にアクセスされるファイルに対してミリ秒未満のレイテンシと高い IOPS を提供します。

• _を選択 キズ 一時的なストレージとデータの短期処理のためのデプロイメントタイプ。キズ2は、スクラッチ・ファイル・システムの最新世代であり、ベースライン・スループットよりも高いバースト・スループットと、データの転送中暗号化を提供します。

• _を選択 ストレージ・ユニットあたりのスループット ファイル システムに指定するファイルです。このオプションは、 持続型 配置タイプ。

SSD ストレージの場合、 ストレージ・ユニットあたりのスループット テビバイト(TiB)あたり50、100、または200 MB/秒のいずれかになります。HDDの場合、 ストレージ・ユニットあたりのスループット テビバイト(TiB)あたり12または40 MB/秒。ストレージ・ユニットあたりのスループット は、プロビジョニングされたストレージの1テビバイト(TiB)あたりの読み取り/書き込みスループットの量(MB/秒/TiB単位)です。2.4 TiBファイル・システムの場合、ユニットあたり50 MB/秒/TiBのストレージ・スループットをプロビジョニングすると、120 MB/秒のファイル・システムのスループットが得られます。プロビジョニングしたスループットに対して支払いが発生します。

• 対象 ストレージ容量: TiB 内のファイルシステムのストレージ容量を指定します。• 永続SSDまたはスクラッチ2ファイル システムの場合、この値は1.2 TiBまたは2.4 TiB単位で指定

できます。永続的なHDDファイル システムの場合、この値は、12 MB/秒/TiBファイル システムでは6.0 TiB単位で、40 MB/秒/TiBファイル システムでは1.8 TiB単位で指定できます。

• スクラッチ1ファイル システムの場合、この値は1.2、2.4、または3.6 TiB単位で指定できます。

9

Page 15: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドステップ1: 作成 Amazon FSx for Lustre ファイル・システム

5. [ ネットワークとセキュリティ 」セクションで、ネットワークおよびセキュリティグループの情報を提供します。

• ファイル システムに関連づけるVPCを選択します。この開始演習では、 Amazon EC2 インスタンス。

• 対象 VPCセキュリティグループでは、VPC のデフォルト セキュリティ グループの ID がすでに追加されている必要があります。デフォルトのセキュリティグループを使用していない場合は、次のインバウンドルールが、この入門演習で使用しているセキュリティグループに追加されていることを確認してください。

タイプ プロトコル ポート範囲 ソース 説明

すべての TCP TCP 0-65535 Custom こここここここここここここ_ID_

インバウンドLustreトラフィックルール

次の画面キャプチャは、インバウンドルールの編集例を示しています。

10

Page 16: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドステップ1: 作成 Amazon FSx for Lustre ファイル・システム

• 対象 サブネット利用可能なサブネットのリストから任意の値を選択します。6. の 暗号化 セクションで、使用可能なオプションは、作成しているファイル システム タイプによって

異なります。

• 永続ファイル システムの場合は、 AWS Key Management Service (AWS KMS) 暗号化キーを使用して、保存中のファイルシステムのデータを暗号化します。

• スクラッチ ファイル システムの場合、保存データはデフォルトの Amazon FSx–管理キーです。• スクラッチ2および永続ファイル システムの場合、転送中のデータは、サポートされている

Amazon EC2 インスタンス タイプ。詳細については、転送中のデータの暗号化 (p. 82) を参照してください。

7. (オプション) データ リポジトリのインポート/エクスポート パネルで、 Amazon S3 バケット。

選択 S3 からのデータのインポートとエクスポート パネルを展開し、データ リポジトリ設定を構成します。

8. (オプション)方法を選択します。 Amazon FSx S3 バケットにオブジェクトを追加または変更するときに、ファイルとディレクトリのリストを自動的に最新の状態に保ちます。初期設定では、 AmazonFSx は、ファイル システム作成時にファイルとディレクトリのリストをインポートし、この最初のインポート後に新しいファイルが追加されるたびにインポートします。詳細については、S3バケットから更新を自動的にインポート (p. 27) を参照してください。

11

Page 17: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドステップ2: Lustre Clientのインストール

9. 任意の プレフィックスをインポート S3 バケット内のファイルとディレクトリのリストの一部のみをファイルシステムにインポートする場合。インポートプレフィックスは、S3 バケットのどこからインポートするかを定義します。詳細については、ファイルシステムを S3 バケットにリンクする (p. 21) を参照してください。

10. 保持 プレフィックスをエクスポート デフォルト設定で。データ リポジトリの統合の詳細については、以下を参照してください。 ファイルシステムを S3 バケットにリンクする (p. 21).

Important

1つ以上の Amazon FSx for Lustre ファイル システムを Amazon S3 バケットは削除しないでください。 Amazon S3 すべてのリンクされたファイル システムが削除されるまで、バケットの

11. イン バックアップとメンテナンス - オプション 以下を行うことができます。

毎日の自動バックアップの場合:

• [ 毎日の自動バックアップこれはデフォルトで有効になっています。• 開始時間の設定 毎日の自動バックアップ ウィンドウ.• 設定 自動バックアップ保存期間、1~35日。

詳細については、バックアップでの作業 (p. 68) を参照してください。12. 設定 ウィークリーメンテナンス期間 開始時間、またはデフォルトに設定したままにする 設定なし.13. ファイル システムに適用するタグを作成します。14. 選択 次へ ]をクリックして、 ファイル・システム・サマリーの作成 ページ。15. 設定を確認します。 Amazon FSx for Lustre ファイル システムを選択し、 ファイル・システムの作成.

これで、ファイル・システムの作成が完了しました。後のステップで参照できるように、その完全修飾ドメイン名とマウント名を書き留めておきます。ファイル システムの完全修飾ドメイン名とマウント名は、ファイル・システム ダッシュボードを選択し、 貼付け.

ステップ2: ファイルシステムをマウントする前にインスタンスにLustreクライアントをインストールして構成する

をマウントするには Amazon FSx for Lustre ファイル システムから Amazon EC2 先にLustreクライアントをインストールします。

Lustreクライアントを Amazon EC2 インスタンス

1. クライアントでターミナルを開きます。2. 次のコマンドを実行して、コンピューティングインスタンスで現在実行中のカーネルを特定します。

uname -r

3. 次のいずれかを行ってください。

• コマンドが 4.14.104-95.84.amzn2.x86_64 x86ベースのEC2インスタンスの場合、または4.14.181-142.260.amzn2.aarch64 Graviton2ベースのEC2インスタンスの場合は、Lustreクライアントをダウンロードし、次のコマンドを使用してインストールします。

12

Page 18: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドステップ2: Lustre Clientのインストール

sudo amazon-linux-extras install -y lustre2.10

• コマンドが次の値より小さい結果を返す場合: 4.14.104-95.84.amzn2.x86_64 x86 ベースのEC2 インスタンスの場合、以下 4.14.181-142.260.amzn2.aarch64 Graviton2ベースのEC2インスタンスの場合は、カーネルを更新して、 Amazon EC2 インスタンスのインスタンスを、次のコマンドを実行することができます。

sudo yum -y update kernel && sudo reboot

カーネルが uname -r コマンド。その後、上記の説明に従ってLustreクライアントをダウンロードしてインストールします。

Lustreクライアントを他のLinuxディストリビューションにインストールする方法については、以下を参照してください。 Lustreクライアントのインストール (p. 51).

ファイル システムをマウントするには

1. 次のコマンドを使用して、マウントポイントのディレクトリを作成します。

sudo mkdir -p /mnt/fsx

2. 作成したディレクトリに Amazon FSx for Lustre ファイルシステムをマウントします。次のコマンドを使用し、次の項目を交換します。

• 置換 file_system_dns_name (実際のファイル システムのDNS(ドメイン名システム)名)。• 置換 mountname ファイル システムのマウント名を使用して、 describe-file-systems AWS CLI コマ

ンドまたは ファイル・システムの説明 API 操作。

sudo mount -t lustre -o noatime,flock file_system_dns_name@tcp:/mountname /mnt/fsx

このコマンドは、ファイル システムを2つのオプションを使用してマウントします。 -o noatime および flock:

• noatime – 更新をinodeアクセス時間にオフにします。inodeアクセス時間を更新するには、 mountコマンド、コマンドなし noatime.

• flock – ファイル システムのファイル ロックを有効にします。ファイル ロックを有効にしない場合は、 mount コマンド、コマンドなし flock.

3. ファイル システムをマウントしたディレクトリの内容を一覧表示して、mountコマンドが成功したことを確認します。 /mnt/fsxに、次のコマンドを使用します。

ls /mnt/fsximport-path lustre$

また、 df コマンド、次に従います。

dfFilesystem 1K-blocks Used Available Use% Mounted ondevtmpf 1001808 0 1001808 0% /devtmpfs 1019760 0 1019760 0% /dev/shmtmpfs 1019760 392 1019368 1% /runtmpfs 1019760 0 1019760 0% /sys/fs/cgroup

13

Page 19: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドステップ3: 分析の実行

/dev/xvda1 8376300 1263180 7113120 16% /123.456.789.0@tcp:/mountname 3547698816 13824 3547678848 1% /mnt/fsxtmpfs 203956 0 203956 0% /run/user/1000

結果は、 Amazon FSx /mnt/fsxにマウントされたファイル システム。

ステップ3: 分析の実行これでファイル・システムが作成され、コンピューティング・インスタンスにマウントされました。これを使用して、高パフォーマンスのコンピューティング・ワークロードを実行できます。

ファイル システムを Amazon S3 ファイル システムに書き込んだデータを Amazon S3 バケットをいつでも使用できます。いずれかのコンピューティングインスタンスの端末から、次のコマンドを実行して、ファイルを Amazon S3 バケット。

sudo lfs hsm_archive file_name

このコマンドをフォルダまたは大量のファイル コレクションですばやく実行する方法の詳細は、以下を参照してください。 でデータ リポジトリを使用する Amazon FSx for Lustre (p. 19).

(オプション)ステップ4: 確認 Amazon FSx ファイルシステム ステータス

_のステータスを表示できます Amazon FSx ファイル システム( Amazon FSx コンソール、 AWS CLI コマンド 説明-ファイル-システムまたは API 操作 ファイル・システムの説明.

ファイル システム ステータス 説明

AVAILABLE ファイル システムは正常な状態にあり、アクセス可能で、使用可能である。

CREATING Amazon FSx 新しいファイル・システムを作成しています。

削除中 Amazon FSx は、既存のファイルシステムを削除しています。

更新中 ファイル・システムは、お客様が開始した更新を実行中です。

設定ミス ファイル システムは障害が発生したが、リカバリ可能な状態です。

失敗 このステータスは、次のいずれかを意味します。

• ファイル システムに障害が発生し、 AmazonFSx 回復できません。

• 新しいファイル・システムを作成する場合、Amazon FSx ファイルシステムを作成できませんでした。

14

Page 20: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドステップ5: リソースのクリーンアップ

ステップ5: リソースのクリーンアップこの演習が終了したら、これらの手順に従ってリソースをクリーンアップし、AWSアカウントを保護する必要があります。

リソースをクリーンアップするには

1. 最終エクスポートを実行する場合は、次のコマンドを実行します。

nohup find /mnt/fsx -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

2. [ Amazon EC2 コンソールでインスタンスを終了します。詳細については、以下を参照してください。 インスタンスの終了 を Linux インスタンス用 Amazon EC2 ユーザーガイド.

3. [ Amazon FSx for Lustre 次の手順を実行して、ファイル システムを削除します。

a. ナビゲーション ペインで、 ファイル・システム.b. ダッシュボード上のファイル システムのリストから削除するファイル システムを選択します。c. [Actions] で、[Delete file system] を選択します。d. 表示されるダイアログ ボックスで、ファイル システムを削除することを確認し、 ファイルシス

テムの削除.4. 作成した Amazon S3 この演習のバケットで、エクスポートしたデータを保存したくない場合は、削

除することができます。詳細については、以下を参照してください。 S3バケットを削除するには? をAmazon Simple Storage Service コンソールユーザーガイド.

15

Page 21: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドファイル・システムの導入オプション

の使用可能な配布オプションの使用Amazon FSx for Lustre ファイル・システム

Amazon FSx for Lustre は、パフォーマンスを最大化し、ボトルネックを低減するために、複数のネットワーク・ファイル・サーバ間でデータを保存する高パフォーマンスのパラレル・ファイル・システムを提供します。これらのサーバには複数のディスクがあります。負荷を分散するには、 Amazon FSx ファイル・システム・データを小さなチャンクにシャードし、ストライピングと呼ばれるプロセスを使用してディスクとサーバに分散します。詳細情報については、 Amazon FSx for Lustre データ ストライピング、参照データストライピング ファイル・システム内のデータのストライピング (p. 48).

長期にわたって非常に耐久性のあるデータリポジトリをリンクすることがベストプラクティスです。Amazon S3 あなたの Amazon FSx for Lustre 高パフォーマンス・ファイル・システム。

このシナリオでは、データセットを S3 データ リポジトリに保存します。作成時に、 Amazon FSx forLustre S3データ・リポジトリにリンクします。この時点で、S3バケット内のオブジェクトはFSxファイル システム上のファイルおよびディレクトリとしてリストされます。 Amazon FSx その後、ファイルへの初回アクセス時に、S3 から Lustre ファイル システムにファイルの内容が自動的にコピーされます。Amazon FSx ファイル システム。計算ワークロードの実行後、またはいつでも、データ リポジトリ タスクを使用して変更を S3 にエクスポートすることができます。詳細については、「でデータ リポジトリを使用する Amazon FSx for Lustre (p. 19)」および「データ リポジトリ タスクを使用したデータおよびメタデータの変更のエクスポート (p. 41)」を参照してください。

のファイル・システム導入オプション Amazon FSxfor Lustre

Amazon FSx for Lustre には、次の2つのファイル システム導入オプションがあります。 スクラッチ および 持続性.

Note

どちらの展開オプションも、SSD(ソリッド・ステート・ドライブ)ストレージをサポートします。ただし、ハード ディスク ドライブ (HDD) ストレージは、永続展開オプションでのみサポートされています。

スクラッチ ファイル システムファイルシステムのスクラッチ は、データの一時保存および短期処理用に設計されています。データはレプリケートされず、ファイル・サーバに障害が発生した場合も保持されません。スクラッチ・ファイル・システムは、ストレージ容量のTiBあたり200 MBpsのベースライン・スループットの最大6倍の高バースト・スループットを提供します。詳細については、ファイル・システム・パフォーマンスの集約 (p. 46)を参照してください。

短期の大量の処理を必要とするワークロードにコスト最適化されたストレージが必要な場合は、スクラッチ ファイル システムを使用します。

16

Page 22: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド永続ファイル・システム

次の図に、 Amazon FSx for Lustre スクラッチ ファイル システム。

スクラッチ ファイル システムでは、ファイル サーバが失敗し、データがレプリケートされない場合、ファイル サーバは置き換えられません。スクラッチ ファイル システムでファイル サーバまたはストレージ ディスクが使用不能になった場合でも、他のサーバに保存されているファイルにはアクセスできます。クライアントが使用できないサーバまたはディスク上のデータにアクセスしようとすると、I/Oエラーがすぐに発生します。

次の表は、1日と1週間にわたって、ファイル システムの例のサイズをスクラッチするファイル システムとして設計された可用性または耐久性を示しています。より大きなファイル・システムでは、ファイル・サーバとディスクの数が多いため、障害の可能性は高くなります。

TiB(ファイル システムサイズ)

ファイル サーバの数 1日の可用性/耐久性 1週間の可用性/耐久性

1.2 2 99.9% 99.4%

2.4 2 99.9% 99.4%

4.8 3 99.8% 99.2%

9.6(9.6) 5 99.8% 98.6%

50.4 22 99.1% 93.9%

永続ファイル・システム永続ファイル システム は、長期のストレージとワークロード向けに設計されています。ファイル サーバは高可用性であり、データは、ファイル システムに関連づけられているAZ(可用性ゾーン)内で自動的にレプリケートされます。ファイル・サーバに接続されているデータ・ボリュームは、ファイル・サーバから独立してレプリケートされます。

長期または無期限に実行され、可用性の中断の影響を受けやすいワークロードには、永続的なファイル・システムを使用します。

17

Page 23: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド永続ファイル・システム

次の図に、 Amazon FSx for Lustre 1つの可用性ゾーン内にレプリケートされた高可用性ファイル・サーバとデータ・ボリュームを備えた永続ファイル・システム。

Amazon FSx 永続的ファイル・システムのハードウェア障害を継続的に監視し、障害発生時にはインフラストラクチャ・コンポーネントを自動的に交換します。永続的なファイル・システムでは、ファイル・サーバが使用不能になった場合、障害発生後数分以内に自動的に置き換えられます。この間、クライアントは、そのサーバ上のデータを透過的に再試行し、ファイル サーバが交換された後、最終的に成功します。永続ファイル・システムのデータはディスク上にレプリケートされ、障害が発生したディスクは自動的に透過的に交換されます。

新しいファイル システムを作成するときに、 AWS マネジメントコンソール、 AWS CLI、または AmazonFSx for Lustre API。詳細については、以下を参照してください。 ステップ1: 作成 Amazon FSx for Lustreファイル・システム (p. 8) および CreateFileSystemLustre構成 を Amazon FSx API Reference.

18

Page 24: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータリポジトリの概要

でデータ リポジトリを使用するAmazon FSx for Lustre

Amazon FSx for Lustre は、高速ワークロード処理用に最適化された高パフォーマンスのファイル・システムを提供します。機械学習、高性能コンピューティング(HPC)、ビデオ処理、財務モデリング、電子設計自動化(EDA)などのワークロードをサポートできます。これらのワークロードでは、一般に、データ・アクセス用の拡張性の高い高速ファイル・システム・インタフェースを使用してデータを提示する必要があります。通常は、次のような長期の耐久性のあるデータ・リポジトリにデータセットが格納されています。 Amazon S3 またはオンプレミスストレージです。 Amazon FSx for Lustre は、次のようなデータリポジトリとネイティブに統合されています。 Amazon S3により、Lustre ファイルシステムでデータセットを簡単に処理できます。

トピック• データリポジトリの概要 (p. 19)• ファイルシステムを S3 バケットにリンクする (p. 21)• データ リポジトリからのファイルのインポート (p. 27)• データ リポジトリ タスク (p. 30)• データ リポジトリへの変更のエクスポート (p. 40)• ファイル・システムからのデータのリリース (p. 43)• 使用 Amazon FSx オンプレミスのデータリポジトリで (p. 43)

Note

ファイル システムのバックアップは、データ リポジトリにリンクされているファイル システムではサポートされません。詳細については、バックアップでの作業 (p. 68) を参照してください。

データリポジトリの概要以下を使用する場合 Amazon FSx 大容量のファイル・データを高パフォーマンスのファイル・システムに取り込み、処理できます。同時に、中間結果を定期的にデータ リポジトリに書き込むことができます。このアプローチを使用すると、データ リポジトリに保存されている最新のデータを使用して、いつでもワークロードを再起動できます。ワークロードが完了したら、ファイル・システムからデータ・リポジトリに最終結果を書き込んで、ファイル・システムを削除することができます。

をリンクできます。 Amazon FSx ファイル システムから Amazon S3 ファイル システムを作成するときに、データ リポジトリ。詳細については、ファイルシステムを S3 バケットにリンクする (p. 21) を参照してください。

Amazon FSx 深く統合され、 Amazon S3. この統合により、 Amazon S3 バケットを Amazon FSx ファイル システム。また、コンピュータ集約型のワークロードを Amazon EC2 インスタンス( AWS ワークロードの完了後、結果をクラウド化し、データ リポジトリにエクスポートします。

イン Amazon FSx for Lustreファイル システムで書き込んだ、または修正したファイルと関連するメタデータを、 durable data repository on Amazon S3 いつでもできます。ファイルまたはディレクトリをエク

19

Page 25: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドPOSIXメタデータのサポート

スポートする場合、ファイル システムは、前回のエクスポートまたはファイル システム作成以降に作成または変更されたデータ ファイルおよびメタデータのみをエクスポートします。そのようなエクスポートには、POSIXメタデータが含まれます。

Amazon FSx また、オンプレミスのファイル・システムでクラウド・バースト・ワークロードをサポートするため、 AWS Direct Connect またはVPN。

Important

1つ以上の Amazon FSx ファイル システムを durable data repository on Amazon S3は削除しないでください。 Amazon S3 すべてのリンクされたファイル システムを削除するまで、バケットをバケットに格納します。

データリポジトリのPOSIXメタデータサポートAmazon FSx for Lustre リンクされた durable data repository on Amazon S3. ファイル システム内の変更をリンクされたデータ リポジトリにエクスポートすると、 Amazon FSx また、データの変更とともにPOSIXメタデータの変更もエクスポートします。このメタデータのエクスポートにより、 Amazon FSx forLustre ファイルシステムとその data repository on S3.

Amazon FSx は、POSIX 準拠のオブジェクトキーを持つ S3 オブジェクトのみをインポートします。

test/mydir/ test/

Amazon FSx ディレクトリとsymlinkを個別のオブジェクトとしてリンク data repository on S3. ディレクトリの場合、 Amazon FSx 次のように、スラッシュ ("/") で終わるキー名を持つ S3 オブジェクトを作成します。

• S3 オブジェクト キー = test/mydir/ は、 Amazon FSx ディレクトリ test/mydir.• S3 オブジェクト キー = test/ は、 Amazon FSx ディレクトリ test.

symlinksの場合、 Amazon FSx for Lustre 同じ Amazon S3 スキーマ、スキーマ、シヨウ AWS DataSync、以下が表示されます。

• S3 オブジェクト キー – リンクへのパス( Amazon FSx マウント ディレクトリ• S3オブジェクトデータ – このsymlinkのターゲット・パス• S3オブジェクトメタデータ – symlinkのメタデータ

Amazon FSx POSIXメタデータ(所有権、権限、タイムスタンプなど)を格納します。 Amazon FSx ファイル、ディレクトリ、およびシンボリック リンクを、S3 オブジェクトで、次のように使用します。

• Content-Type – Web ブラウザ用のリソースのメディア タイプを示すために使用される HTTP エンティティ ヘッダー。

• x-amz-meta-file-permissions – 形式のファイルタイプと権限 <octal file type><octalpermission mask>、以下と一致 st_mode (Linux stat(2))。

Note

Amazon FSx for Lustre はインポートまたは保持しません setuid および setgid 情報です。• x-amz-meta-file-owner – 所有者UIDは整数で表されます。• x-amz-meta-file-group – グループUIDは整数で表されます。• x-amz-meta-file-atime – 最後にアクセスした時間(ナノ秒単位)。"ns"で時間値を終了します。それ

以外は、 Amazon FSx 値をミリ秒として解釈します。

20

Page 26: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリ ライフサイクルの状態

• x-amz-meta-file-mtime – 最終変更時刻(ナノ秒単位)。"ns"で時間値を終了します。それ以外は、Amazon FSx 値をミリ秒として解釈します。

• x-amz-meta-user-agent – ユーザーエージェントは、 Amazon FSx インポート。エクスポート中、Amazon FSx この値を に設定します。 aws-fsx-lustre.

Note

Amazon FSx は、ユーザー定義のカスタムメタデータを S3 オブジェクトに保持しません。

データ リポジトリ ライフサイクルの状態データ リポジトリ ライフサイクルの状態は、ファイル システムのリンクされたデータ リポジトリのステータス情報を提供します。データ リポジトリには、次の ライフサイクル状態:

• 作成中 – Amazon FSx は、ファイル システムとリンクされたデータ リポジトリの間にデータ リポジトリ構成を作成します。データ リポジトリを使用できません。

• 利用可能 – データ リポジトリを使用できます。• 更新中 – データ リポジトリ構成は、その可用性に影響する可能性のある、お客様が開始した更新を実行

中です。• 誤設定 – Amazon FSx データ リポジトリ構成が修正されるまで、S3 バケットから更新を自動的にイン

ポートすることはできません。詳細については、誤設定のリンクされたS3バケットのトラブルシューティング (p. 101) を参照してください。

ファイル システムのリンクされたデータ リポジトリ ライフサイクルの状態は、 Amazon FSx コンソール、 AWS CLI、AWS API。[ Amazon FSx コンソールからは、 ライフサイクル状態 上の まとめ のパネルが表示されます。[ Lifecycle プロパティは DataRepositoryConfiguration オブジェクトの応答describe-file-system CLI コマンド (同等の API アクションは、 DescribeFileSystems)。

ファイルシステムを S3 バケットにリンクする作成時に、 Amazon FSx for Lustre ファイル・システム、 Amazon S3. ファイル システムを作成する前に、リンク先のS3バケットがすでに作成されていることを確認してください。[ ファイル・システムの作成 ウィザードで、次のデータ リポジトリ構成プロパティをオプションの データリポジトリの統合 ペイン。

• 方法の選択 Amazon FSx は、ファイル システムの作成後に S3 バケットにオブジェクトを追加または変更するときに、ファイルとディレクトリのリストを最新の状態に保ちます。詳細については、S3バケットから更新を自動的にインポート (p. 27) を参照してください。

• バケットをインポート – リンクされたリポジトリに使用している S3 バケットの名前を入力します。• プレフィックスをインポート – S3 バケット内のデータのファイルとディレクトリのリストの一部のみを

ファイル システムにインポートする場合は、オプションのインポート プレフィックスを入力します。インポートプレフィックスは、S3 バケットのどこからデータをインポートするかを定義します。

• プレフィックスをエクスポート – 場所を定義します。 Amazon FSx は、ファイルシステムの内容をリンクされた S3 バケットにエクスポートします。

S3バケットにリンクされたファイル システムの作成次の手順では、 Amazon FSx ファイル システムを、 AWS マネジメントコンソール および AWSCommand Line Interface (AWS CLI)。

21

Page 27: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドS3バケットにリンクされたファイル システムの作成

S3バケット(コンソール)にリンクされたファイル システムを作成するには

1. Open the Amazon FSx console at https://console.aws.amazon.com/fsx/.2. ダッシュボードから、 ファイル・システムの作成.3. ファイル システム タイプの場合は、 Amazon FSx for Lustreを選択し、 次へ.4. 以下に必要な情報を入力します。 ファイルシステムの詳細 および ネットワークとセキュリティ セク

ション。詳細については、ステップ1: 作成 Amazon FSx for Lustre ファイル・システム (p. 8) を参照してください。

5. [ データ リポジトリのインポート/エクスポート パネルで、リンクされたデータ リポジトリを構成します。 Amazon S3.

選択 S3 からのデータのインポートとエクスポート 展開するには、 データリポジトリの統合 セクションを開き、データ リポジトリの設定を構成します。

6. 方法の選択 Amazon FSx S3 バケットにオブジェクトを追加または変更するときに、ファイルとディレクトリのリストを最新の状態に保ちます。ファイル システムを作成すると、既存のS3オブジェクトがファイルとディレクトリの一覧として表示されます。ファイル・システムの作成後、S3バケットの内容が更新されると、どのように更新しますか。

• S3バケットにオブジェクトが追加されるたびに、ファイルとディレクトリのリストを更新する -(デフォルト) Amazon FSx は、リンクされた S3 バケットに追加された新しいオブジェクトのうち、FSx ファイル システムに現在存在しないオブジェクトのファイルとディレクトリのリストを自動的に更新します。 Amazon FSx は、S3 バケットで変更されたオブジェクトの更新リストをインポートしません。 Amazon FSx は、S3 バケットで削除されたオブジェクトのリストは削除しません。

• S3バケットにオブジェクトを追加または変更する際に、ファイルとディレクトリのリストを更新する - Amazon FSx このオプションを選択すると、S3 バケットに追加された新しいオブジェクトとS3 バケットで変更された既存のオブジェクトのファイルとディレクトリのリストが自動的に更新されます。 Amazon FSx は、S3 バケットで削除されたオブジェクトのリストは削除しません。

• S3 バケットにオブジェクトが追加されたり、変更されたりしたときに、ファイルを更新したり、直接リストしたりしない - Amazon FSx は、ファイル システムの作成時にリンクされた S3 バケッ

22

Page 28: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドS3バケットにリンクされたファイル システムの作成

トのファイルおよびディレクトリ リストのみを更新します。FSx は、このオプションを選択した後は、新規または変更されたオブジェクトのファイルおよびディレクトリのリストを更新しません。

7. 任意の プレフィックスをインポート S3 バケット内のデータのファイルおよびディレクトリリストの一部のみをファイルシステムにインポートする場合。インポートプレフィックスは、S3 バケットのどこからデータをインポートするかを定義します。詳細については、S3バケットから更新を自動的にインポート (p. 27) を参照してください。

8. 3つの プレフィックスをエクスポート オプション:

• 固有の接頭語で、 Amazon FSx がバケットに作成されます – によって生成された接頭語を使用して新規および変更されたオブジェクトをエクスポートするには、このオプションを選択します。Amazon FSx for Lustre. プレフィックスは次のようになります。/FSxLustrefile-system-creation-timestamp. タイムスタンプは UTC 形式です。例: FSxLustre20181105T222312Z.このオプションはデフォルトです。

• インポート元の同じ接頭語 (既存のオブジェクトを更新されたオブジェクトで置換) – 既存のオブジェクトを更新されたオブジェクトで置き換えるには、このオプションを選択します。

• 指定する接頭語 – インポートしたデータを保持し、指定した接頭語を使用して新規および変更されたオブジェクトをエクスポートするには、このオプションを選択します。

9. (オプション)設定 メンテナンス設定またはシステムのデフォルトを使用します。10. 選択 次へファイル システム設定を確認します。必要に応じて変更を加えます。11. [Create file system] を選択します。

S3バケット(AWS CLI)

次の例では、 Amazon FSx ファイル システムを lustre-export-test-bucketファイル システムの作成後に、リンクされたデータ リポジトリに新規または変更されたファイルをインポートするインポート環境設定を含む。

• _を作成するには Amazon FSx for Lustre ファイル システムの場合は、 Amazon FSx CLIコマンドcreate-file-system以下に示されているように、 です。対応する API 操作は、 ファイル システムの作成.

$ aws fsx create-file-system \ --client-request-token CRT1234 \ --file-system-type LUSTRE \ --lustre-configuration AutoImportPolicy=NEW_CHANGED,DeploymentType=PERSISTENT_1,ImportPath=s3://lustre-export-test-bucket/,ExportPath=s3://lustre-export-test-bucket/export \ --storage-capacity 3600 \ --subnet-ids subnet-123456 \ --tags Key=Name,Value=Lustre-TEST-1 \ --region us-east-2

次の例に示すように、ファイルシステムを正常に作成すると、Amazon FSx はファイルシステムの説明をJSON として返します。

{

"FileSystems": [ { "OwnerId": "owner-id-string", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "Lifecycle": "CREATING", "StorageCapacity": 3600,

23

Page 29: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドサーバ側暗号化による作業 Amazon S3 バケット

"VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456" ], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "DeploymentType": "PERSISTENT_1", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED", "Lifecycle": "UPDATING", "ImportPath": "s3://lustre-export-test-bucket/", "ExportPath": "s3://lustre-export-test-bucket/export", "ImportedFileChunkSize": 1024 } } } ]}

サーバ側暗号化による作業 Amazon S3 バケットAmazon FSx for Lustre サポート Amazon S3 S3 管理キー (SSE-S3) でサーバー側の暗号化を使用し、顧客マスターキー (CMK) を AWS Key Management Service (SSE-KMS)。

希望される場合 Amazon FSx S3 バケットに書き込むときにデータを暗号化するには、S3 バケットのデフォルト暗号化を SSE-S3 または SSE-KMS のいずれかに設定する必要があります。詳細については、以下を参照してください。 Amazon S3 バケットのデフォルト暗号化を有効にする方法を教えてください。 を Amazon Simple Storage Service コンソールユーザーガイド. S3バケットにファイルを書き込む際、 Amazon FSx は、S3 バケットのデフォルトの暗号化ポリシーに従います。

初期設定では、 Amazon FSx SSE-S3 を使用して暗号化された S3 バケットをサポートします。をリンクするには、 Amazon FSx SSE-KMS暗号化を使用して暗号化されたS3バケットにファイル・システムを追加するには、 Amazon FSx CMK を使用して S3 バケット内のオブジェクトを暗号化および復号化します。

次のステートメントでは、特定の Amazon FSx 特定のS3バケットのオブジェクトを暗号化および復号化するためのファイルシステム bucket_name.

{ "Sid": "Allow access through S3 for the FSx SLR to use the KMS CMK on the objects in the given S3 bucket", "Effect": "Allow", "Principal": { "AWS": "arn:aws:iam::aws_account_id:role/aws-service-role/s3.data-source.lustre.fsx.amazonaws.com/AWSServiceRoleForFSxS3Access_fsx_file_system_id" }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey"

24

Page 30: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドファイル システムのエクスポート パスの表示

], "Resource": "*", "Condition": { "StringEquals": { "kms:CallerAccount": "aws_account_id", "kms:ViaService": "s3.bucket-region.amazonaws.com" }, "StringLike": { "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*" } }}

次のポリシーステートメントでは、すべての Amazon FSx ファイル システムを使用して、特定のS3バケットにリンクします。

{ "Sid": "Allow access through S3 for the FSx SLR to use the KMS CMK on the objects in the given S3 bucket", "Effect": "Allow", "Principal": { "AWS": "*" }, "Action": [ "kms:Encrypt", "kms:Decrypt", "kms:ReEncrypt*", "kms:GenerateDataKey*", "kms:DescribeKey" ], "Resource": "*", "Condition": { "StringEquals": { "kms:CallerAccount": "aws_account_id", "kms:ViaService": "s3.bucket-region.amazonaws.com" }, "StringLike": { "aws:userid": "*:FSx", "kms:EncryptionContext:aws:s3:arn": "arn:aws:s3:::bucket_name/*" } }}

ファイル システムのエクスポート パスの表示ファイル システムのエクスポート パスは、 Amazon FSx for Lustre コンソール、 AWS CLI、および API。

ファイル システムのエクスポート パス(コンソール)を表示するには

1. Open the Amazon FSx console at https://console.aws.amazon.com/fsx/.2. 選択 ファイルシステム名 又は ファイル システムID 対象 Amazon FSx for Lustre エクスポート パス

を表示するファイル システム。そのファイル システムのファイル システム詳細ページが表示されます。

3. _を選択 データリポジトリ タブ。[ データリポジトリの統合 パネルが表示され、インポートとエクスポートのパスが表示されます。

25

Page 31: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドファイル システムのエクスポート パスの表示

ファイル システムのエクスポート パス(CLI)を表示するには

• ファイル システムのエクスポート パスを確認するには、 aws fsx describe-file-systems コマンド。

aws fsx describe-file-systems

次のアイテムを探してください: ExportPath プロパティ LustreConfiguration 答えてください。

{ "OwnerId": "111122223333", "CreationTime": 1563382847.014, "FileSystemId": "", "FileSystemType": "LUSTRE", "Lifecycle": "AVAILABLE", "StorageCapacity": 3600, "VpcId": "vpc-6296a00a", "SubnetIds": [ "subnet-1111111" ], "NetworkInterfaceIds": [ "eni-0c288d5b8cc06c82d", "eni-0f38b702442c6918c" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:267731178466:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre System" } ], "LustreConfiguration": { "WeeklyMaintenanceStartTime": "6:09:30", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED", "Lifecycle": "AVAILABLE", "ImportPath": "s3://lustre-export-test-bucket/", =======>"ExportPath": "s3://lustre-export-test-bucket/FSxLustre20190717T164753Z", "ImportedFileChunkSize": 1024 } }

26

Page 32: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリからのファイルのインポート

},

データ リポジトリからのファイルのインポートデータ リポジトリにリンクされている新しいファイル システムを作成する場合、 Amazon FSxは、Amazon S3 バケットなど、リポジトリ内のオブジェクトの名前、所有権、タイムスタンプ、および許可などのファイル メタデータを自動的にインポートします。 Amazon FSx は、新しいファイルおよびディレクトリとして Amazon FSx for Lustre ファイル システム。オブジェクトにメタデータが含まれていない場合は、 Amazon FSx は、次のデフォルトの権限を使用します。 root root 755.

また、作成後、S3 バケットから新しいオブジェクトや変更されたオブジェクトのファイル メタデータを自動的にインポートするように、ファイル システムを構成することもできます。詳細については、S3バケットから更新を自動的にインポート (p. 27) を参照してください。

Amazon FSx リポジトリからファイルのコンテンツを透過的にコピーし、アプリケーションが FSx 内のファイルを最初にアクセスしたときに、ファイル システムにロードします。また、ファイル システム全体またはファイル システム内のディレクトリ全体を事前ロードすることもできます。詳細については、を参照してください。 ファイルをファイル システムにプリロードする (p. 30). 複数のファイルを同時にプリロードするように要求する場合、 Amazon FSx は、Amazon S3 データ リポジトリからファイルを並行してロードします。

インポートするファイルの数が多い場合は、インポートに時間がかかる Amazon FSx ファイル システムを作成します。

Amazon FSx のみ POSIX 準拠オブジェクトキーを持つ S3 オブジェクトをインポートします。

test/mydir/ test/

Amazon FSx は、ファイルを初めて開いたときに、リンクされている耐久性のあるデータ リポジトリからファイル データ データをファイル システムに自動的にコピーします。このデータ移動は、 Amazon FSxアプリケーションに対して透過的に行われます。これらのファイルの以降の読み取りは、 Amazon FSx 一貫したサブミリ秒のレイテンシを持つファイル システム。

S3バケットから更新を自動的にインポートデフォルトでは、新しいファイル システムを作成するとき、 Amazon FSx は、ファイル システム作成時にリンクされた S3 バケット内のオブジェクトの名前、所有権、タイムスタンプ、および許可を自動的にインポートします。設定することができます。 Amazon FSx for Lustre ファイルシステムは、ファイルシステムの作成後に S3 バケットに追加または変更されたオブジェクトのメタデータを自動的にインポートします。 Amazon FSx for Lustre は、ファイル システムの作成時にファイル メタデータをインポートするのと同じ方法で、作成後に変更されたオブジェクトのファイルおよびディレクトリ リストを更新します。いつ Amazon FSx S3 バケット内の変更されたオブジェクトにそのメタデータが含まれなくなった場合、変更されたオブジェクトのファイルとディレクトリのリストを更新します。 Amazon FSx は、デフォルトの権限を使用するのではなく、ファイルの現在のメタデータ値を保持します。

Note

インポート設定は、 Amazon FSx for Lustre 2020年7月23日午後3時(米国東部夏時間)以降に作成されたファイル システム。

新しいファイル システムを作成するときに、インポートの環境設定を設定できます。また、FSx管理コンソール、CLI、AWS APIを使用して、既存のファイル システムの環境設定を更新できます。ファイルシステムを作成すると、既存の S3 オブジェクトがファイルとディレクトリのリストとして表示されます。

27

Page 33: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドS3バケットから更新を自動的にインポート

ファイル・システムの作成後、S3バケットの内容が更新されると、どのように更新しますか。ファイル システムには、次のいずれかの[インポート]環境設定を指定できます。

• S3バケットにオブジェクトが追加されるたびに、ファイルとディレクトリのリストを更新する - (デフォルト) Amazon FSx は、リンクされた S3 バケットに追加された新しいオブジェクトのうち、FSx ファイル システムに現在存在しないオブジェクトのファイルとディレクトリのリストを自動的に更新します。Amazon FSx は、S3 バケットで変更されたオブジェクトの更新リストをインポートしません。 AmazonFSx は、S3 バケットで削除されたオブジェクトのリストは削除しません。

• S3バケットにオブジェクトを追加または変更する際に、ファイルとディレクトリのリストを更新する- Amazon FSx このオプションを選択すると、S3 バケットに追加された新しいオブジェクトと S3 バケットで変更された既存のオブジェクトのファイルとディレクトリのリストが自動的に更新されます。Amazon FSx は、S3 バケットで削除されたオブジェクトのリストは削除しません。

• S3 バケットにオブジェクトが追加されたり、変更されたりしたときに、ファイルを更新したり、直接リストしたりしない - Amazon FSx は、ファイル システムの作成時にリンクされた S3 バケットのファイルおよびディレクトリ リストのみを更新します。FSx は、このオプションを選択した後は、新規または変更されたオブジェクトのファイルおよびディレクトリのリストを更新しません。

Note

[ Amazon FSx for Lustre ファイル・システムと、リンクされたS3バケットは同じ AWS 更新を自動的にインポートする地域。

リンクされたS3バケットの変更に基づいてファイル システム ファイルおよびディレクトリ リストを更新するようにインポート設定を設定すると、 Amazon FSx という名前のリンクされた S3 バケットにイベント通知設定を作成します。 FSx. 変更や削除は行わないでください。 FSx S3 バケット上のイベント通知設定 – これにより、ファイル システムへの新しいファイルおよびディレクトリ リストまたは変更されたファイルおよびディレクトリ リストの自動インポートが妨げられます。

いつ Amazon FSx は、リンクされた S3 バケットで変更されたファイルリストを更新し、ファイルがライトロックされている場合でも、更新されたバージョンでローカルファイルを上書きします。

Amazon FSx は、ファイル システムの更新に最善の努力を払います。 Amazon FSx は、次の状況でファイル システムを変更で更新できません。

• 次の場合: Amazon FSx には、変更されたオブジェクトまたは新しい S3 オブジェクトを開く権限がありません。

• [ FSx リンクされたS3バケットのイベント通知設定を削除または変更します。

これらの条件のいずれかによって、データ リポジトリ ライフサイクルの状態が 誤設定. 詳細については、データ リポジトリ ライフサイクルの状態 (p. 21) を参照してください。

定期的にリンクされたS3バケットをスイープし、ファイル・システム上のファイル・リストに対する変更を比較するのがベスト・プラクティスです。特に、アプリケーションが変更のインポートに関する保証を必要とする場合は、特にそうです。

Prerequisites次の条件が必要です: Amazon FSx リンクされた S3 バケットから新しいファイルまたは変更されたファイルを自動的にインポートするには、次の手順を実行します。

• ファイル システムと、リンクされたS3バケットは同じ AWS 地域。• S3 バケットの設定に誤りはありません。 ライフサイクル状態. 詳細については、データ リポジトリ ラ

イフサイクルの状態 (p. 21) を参照してください。• あなたのアカウントには、リンクされたS3バケットでイベント通知を構成および受信するために必要な

権限があります。

28

Page 34: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドS3バケットから更新を自動的にインポート

サポートされるファイル変更のタイプAmazon FSx は、リンクされたS3バケットで発生するファイルとフォルダへの次の変更のインポートをサポートします。

• ファイル内容の変更• ファイルまたはフォルダのメタデータの変更• symlinkターゲットまたはメタデータの変更

インポートの環境設定を更新しています新しいファイル システムを作成するときに、ファイル システムのインポートの基本設定を設定できます。詳細については、ファイルシステムを S3 バケットにリンクする (p. 21) を参照してください。

また、ファイル システムのインポート環境設定は、 AWS マネジメントコンソール、 AWS CLI、およびAmazon FSx API を以下の手順で使用します。

既存のファイルシステム (コンソール) でインポート環境設定を更新するには

1. Open the Amazon FSx console at https://console.aws.amazon.com/fsx/.2. ダッシュボードから、 ファイル・システム.3. 管理するファイル システムを選択して、ファイル システムの詳細を表示します。4. 選択 データリポジトリ データリポジトリ設定を表示します。ライフサイクルの状態が 利用可能 又

は 設定ミス. 詳細については、データ リポジトリ ライフサイクルの状態 (p. 21) を参照してください。

5. 選択 アクションを選択し、 インポート設定の更新 ]をクリックして、 インポート設定の更新 ダイアログ ボックス。

6. 新しい設定を選択し、 更新 変更を行います。

既存のファイル システム(CLI)のインポート環境設定を更新するには

• インポートの環境設定を更新するには、 update-file-system CLI コマンド。対応する API 操作は、 UpdateFileSystem.

$ aws fsx update-file-system \ --file-system-id fs-0123456789abcdef0 \ --lustre-configuration AutoImportPolicy=NEW_CHANGED

ファイル システムの AutoImportPolicy、 Amazon FSx 次の例に示すように、は、更新されたファイルシステムの説明をJSONとして返します。

{

"FileSystems": [ { "OwnerId": "111122223333", "CreationTime": 1549310341.483, "FileSystemId": "fs-0123456789abcdef0", "FileSystemType": "LUSTRE", "Lifecycle": "UPDATING", "StorageCapacity": 3600, "VpcId": "vpc-123456", "SubnetIds": [ "subnet-123456"

29

Page 35: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドファイルをファイル システムにプリロードする

], "NetworkInterfaceIds": [ "eni-039fcf55123456789" ], "DNSName": "fs-0123456789abcdef0.fsx.us-east-2.amazonaws.com", "ResourceARN": "arn:aws:fsx:us-east-2:123456:file-system/fs-0123456789abcdef0", "Tags": [ { "Key": "Name", "Value": "Lustre-TEST-1" } ], "LustreConfiguration": { "WeeklyMaintenanceStartTime": "2:04:30", "DeploymentType": "PERSISTENT_1", "DataRepositoryConfiguration": { "AutoImportPolicy": "NEW_CHANGED", "Lifecycle": "UPDATING", "ImportPath": "s3://lustre-export-test-bucket/", "ExportPath": "s3://lustre-export-test-bucket/export", "ImportedFileChunkSize": 1024 } } } ]}

ファイルをファイル システムにプリロードするAmazon FSx は、 Amazon S3 ファイルへの最初のアクセス時にデータ リポジトリ。このアプローチにより、ファイルへの最初の読み取りまたは書き込みにわずかなレーテンシーが発生します。アプリケーションがこのレーテンシーの影響を受けやすく、アプリケーションがアクセスする必要のあるファイルまたはディレクトリがわかっている場合は、オプションで個々のファイルまたはディレクトリの内容をプリロードできます。これは、 hsm_restore コマンドを使用します。

[ hsm_action コマンドを使用して、ファイルの内容がファイル システムへのロードを完了したことを確認します。の戻り値 NOOP ファイルが正常にロードされたことを示します。ファイル システムがマウントされたコンピューティング インスタンスから次のコマンドを実行します。

sudo lfs hsm_restore path/to/filesudo lfs hsm_action path/to/file

次のコマンドを使用して、ファイル システム全体またはファイル システム内のディレクトリ全体を事前ロードできます。複数のファイルを同時にプリロードするように要求する場合、 Amazon FSx からファイルを読み込みます Amazon S3 データリポジトリを並列化します。

nohup find local/directory -type f -print0 | xargs -0 -n 1 sudo lfs hsm_restore &

データ リポジトリ タスクデータ リポジトリ タスクを使用すると、データおよびメタデータの転送を Amazon FSx for Lustre ファイルシステムとその durable data repository on Amazon S3.

データ リポジトリ タスク データおよびメタデータ転送の最適化 Amazon FSx for Lustre ファイルシステムとその data repository on S3. その方法の1つは、 Amazon FSx ファイル システムとそのリンクされたデー

30

Page 36: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリ タスクのタイプ

タ リポジトリ。また、並列転送技術を使用して、最大数百 GB/秒の速度でデータを転送します。データ リポジトリ タスクは、 Amazon FSx コンソール、 AWS CLI、および Amazon FSx API。

データ リポジトリ タスクは、ファイル システムのPOSIX(Portable Operating System Interface)メタデータ(所有権、権限、タイムスタンプなど)を管理します。タスクはこのメタデータを維持するため、Amazon FSx for Lustre ファイルシステムとその data repository on S3. ファイルとそれに関連する権限は、他のAWSサービスで使用されるのと同じ形式で保存されます。 AWS DataSync、 AWS StorageGateway、および AWS Transfer for SFTP. 同じ形式を使用すると、 AWS.

データ リポジトリ タスクのタイプ現在、 リポジトリにエクスポート データ リポジトリ タスクは、使用できる唯一のタスクです。このタスクを使用して、Lustre ファイル システムからリンクされた data repository on S3、参照 データ リポジトリ タスクを使用したデータおよびメタデータの変更のエクスポート (p. 41).

トピック• タスクのステータスと詳細を理解する (p. 31)• データ リポジトリ タスクの使用 (p. 32)• タスク完了レポートを使用する (p. 39)• 失敗したデータ リポジトリ タスクのトラブルシューティング (p. 39)

タスクのステータスと詳細を理解するデータ リポジトリ タスクは、次のいずれかのステータスを持つことができます。

• 保留中 は、 Amazon FSx はタスクを開始していません。• 実行 は、 Amazon FSx がタスクを処理しています。• 失敗しました は、 Amazon FSx はタスクを正常に処理できませんでした。たとえば、タスクの処理に失

敗したファイルがあるかもしれません。タスクの詳細には、障害に関する詳細情報が表示されます。失敗したタスクの詳細については、以下を参照してください。 失敗したデータ リポジトリ タスクのトラブルシューティング (p. 39).

• 成功 は、 Amazon FSx はタスクを正常に完了しました。• キャンセル済み タスクがキャンセルされ、完了しなかったことを示します。• キャンセル中 は、 Amazon FSx は、タスクをキャンセル中です。

タスクの作成後、 Amazon FSx コンソール、CLI、またはAPI:

• タスクタイプ。EXPORT_TO_REPOSITORY はサポートされている唯一のタイプです。• タスクが実行されたファイル システム。• タスク作成時間。• タスクのステータス。• タスクが処理したファイルの総数。• タスクが正常に処理されたファイルの合計数。• タスクが処理に失敗したファイルの合計数。タスクステータスが FAILED の場合、この値はゼロより大

きい値です。失敗したファイルに関する詳細情報は、タスク完了レポートで確認できます。詳細については、タスク完了レポートを使用する (p. 39) を参照してください。

• タスクが開始した時間。• タスクステータスが最後に更新された時刻。タスクのステータスは30秒ごとに更新されます。

31

Page 37: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリ タスクの使用

既存のデータ リポジトリ タスクへのアクセスについての詳細は、以下を参照してください。 データ リポジトリ タスクへのアクセス (p. 34).

データ リポジトリ タスクの使用データ リポジトリ タスクの作成、複製、詳細の表示、キャンセルは、 Amazon FSx コンソール、CLI、またはAPI。

Note

すべての必要な機能にアクセスできるように、最新のAWS CLIをダウンロードすることをお勧めします。詳細については、以下を参照してください。 のインストール AWS CLI(CLI) を AWS コマンド・ライン・インターフェース・ユーザー・ガイド. 次のアイテムを探してください: アップグレード セクションを参照してください。

データ リポジトリ タスクの作成データ リポジトリ タスクは、 Amazon FSx コンソール、CLI、またはAPI。タスクを作成したら、コンソール、CLI、またはAPIを使用してタスクの進行状況とステータスを表示できます。

データ リポジトリ タスク(コンソール)を作成するには

1. Open the Amazon FSx console at https://console.aws.amazon.com/fsx/.2. ナビゲーション ペインで、 ファイル・システムタスクを作成するLustreファイル システムを選択しま

す。3. 対象 アクション、選択 データ リポジトリへエクスポート. この選択肢は、ファイル システムが data

repository on S3. [ データ リポジトリ タスクの作成 ページが表示されます。

32

Page 38: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリ タスクの使用

データ リポジトリ タスク タイプ は に設定されています リポジトリにエクスポートは、現在サポートされている唯一のタスク タイプです。[ エクスポート先 valueは、ファイル システムの作成時に定義したエクスポート プレフィックスです。

4. (オプション) Amazon FSx ファイル システム(これらのディレクトリまたはファイルへのパスを指定) ファイル システム エクスポート パス. 指定するパスは、ファイル システムのマウント ポイントに相対している必要があります。マウント ポイントが /mnt/fsx および /mnt/fsx/path1 は、エクスポートするファイル システムのディレクトリまたはファイルです。このとき、提供するパスはpath1.

Note

指定するパスが有効でない場合、タスクは失敗します。5. (オプション)選択 有効化 以下 完了報告 タスクの完了後にタスク完了レポートを生成します。A タス

ク完了レポート に提供された範囲を満たすタスクによって処理されたファイルの詳細を示します。 報告範囲. 次の場所を指定するには: Amazon FSx レポートを配信するには、ファイル システムのリンクされたS3データ リポジトリの相対パスを レポートパス.

6. 選択 データ リポジトリ タスクの作成.

最上部に通知が表示されます。 ファイル・システム ]ページに、作成したばかりのタスクが表示されます。

タスクのステータスと詳細を表示するには、 データ リポジトリ タスク(Lustre) クリックします。デフォルトの並べ替え順序は、リストの一番上に最新のタスクを表示します。

このページからタスクの概要を表示するには、次を選択します。 タスクID 作成しました。[ まとめ ページが表示されます。

データ リポジトリ タスク(CLI)を作成するには

次の手順は、リポジトリへのエクスポート タスクを作成します。 Amazon FSx は、タスクの完了後にタスク完了レポートを生成します。レポートを生成しない場合は、 --report Enabled ~ false. タスク完了レポートの詳細については、以下を参照してください。 タスク完了レポートを使用する (p. 39).

• データ リポジトリ タスクを作成するには、 create-data-repository-task CLI コマンド。対応する API 操作は、 CreateDataRepositoryTask.

$ aws fsx create-data-repository-task \ --file-system-id fs-0123456789abcdef0 \ --type EXPORT_TO_REPOSITORY \ --paths path1,path2/file1 \ --report Enabled=true,Scope=FAILED_FILES_ONLY,Format=REPORT_CSV_20191124,Path=s3://dataset-01/reports

データ リポジトリ タスクが正常に作成された後、 Amazon FSx 次の例に示すように、はタスクの説明をJSONとして返します。

{ "Task": { "TaskId": "task-123f8cd8e330c1321", "Type": "EXPORT_TO_REPOSITORY", "Lifecycle": "PENDING", "FileSystemId": "fs-0123456789abcdef0", "Paths": ["path1", "path2/file1"], "Report": { "Path":"s3://dataset-01/reports", "Format":"REPORT_CSV_20191124",

33

Page 39: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリ タスクの使用

"Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "CreationTime": "1545070680.240", "ClientRequestToken": "10192019-drt-12", "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321" }}

後 Amazon FSx タスクの処理を開始すると、タスクのステータス情報が使用可能になります。CLIを使用してタスクの詳細とステータスを表示するには、 データ リポジトリ タスクおよびタスク詳細 (CLI) を取得するには (p. 35).

タスクの複製既存のデータ リポジトリ タスクは、 Amazon FSx コンソール。タスクを複製すると、既存のタスクの正確なコピーが データ リポジトリ タスクの作成 ページ。新しいタスクを作成して実行する前に、必要に応じてエクスポートするパスを変更できます。

タスクは、タスク詳細ビューまたは データ リポジトリ タスク ページ。

既存のタスクを複製するには

タスクは、タスク詳細ページから、またはデータ リポジトリ タスク ページで複製できます。

1. でタスクを選択します。 データ リポジトリ タスク(Lustre) ページ。2. 選択 重複タスク. [ データ リポジトリ タスクの作成 ページが表示されます。新しいタスクの設定はす

べて、複製するタスクの設定と同じです。3. エクスポート先のパスを変更または追加します。指定するパスは、ファイル システムのマウント ポイ

ントに相対している必要があります。マウント ポイントが /mnt/fsx および /mnt/fsx/path1 は、エクスポートするファイル システムのディレクトリまたはファイルです。このとき、提供するパスはpath1.

4. 選択 データ リポジトリ タスクの作成 タスクを作成します。

データ リポジトリ タスクへのアクセスデータ リポジトリ タスクを作成したら、 Amazon FSx コンソール、CLI、API。 Amazon FSx では、次の詳細なタスク情報を提供しています。

• すべての既存のタスク。• 特定のファイル システムのすべてのタスク。• 特定のライフサイクル ステータスを持つすべてのタスク。タスク ライフサイクル ステータス値の詳細

については、以下を参照してください。 タスクのステータスと詳細を理解する (p. 31).

アカウント内のすべての既存のデータ リポジトリ タスクにアクセスするには、 Amazon FSx コンソール、CLI、または API のいずれかを選択します。

データ リポジトリ タスクおよびタスク詳細 (コンソール) を表示するには

1. Open the Amazon FSx console at https://console.aws.amazon.com/fsx/.2. ナビゲーション ペインで、 データ リポジトリ タスク(Lustre). [ データ リポジトリ タスク ページに既

存のタスクが表示されます。3. タスクの詳細を表示するには、 タスクID 又は タスク名 を データ リポジトリ タスク ページ。タスク

の詳細ページが表示されます。

34

Page 40: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリ タスクの使用

データ リポジトリ タスクおよびタスク詳細 (CLI) を取得するには

[ Amazon FSx describe-data-repository-tasks CLI コマンドを使用すると、アカウント内のすべてのデータ リポジトリ タスクとその詳細を表示できます。DescribeDataRepositoryTasks は、同等の API コマンドです。

• 次のコマンドを使用して、アカウント内のすべてのデータ リポジトリ タスク オブジェクトを表示します。

aws fsx describe-data-repository-tasks

コマンドが成功すると、 Amazon FSx JSON 形式で応答を返します。

{ "DataRepositoryTasks": [ { "Lifecycle": "EXECUTING", "Paths": [], "Report": { "Path":"s3://dataset-01/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "StartTime": 1591863862.288, "EndTime": , "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef3", "Status": { "SucceededCount": 4255, "TotalCount": 4200, "FailedCount": 55, "LastUpdatedTime": 1571863875.289 }, "FileSystemId": "fs-0123456789a7", "CreationTime": 1571863850.075, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef3" }, { "Lifecycle": "FAILED", "Paths": [], "Report": {

35

Page 41: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリ タスクの使用

"Enabled": false, }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef1", "Status": { "SucceededCount": 1153, "TotalCount": 1156, "FailedCount": 3, "LastUpdatedTime": 1571863875.289 }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1571863850.075, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1" }, { "Lifecycle": "SUCCEEDED", "Paths": [], "Report": { "Path":"s3://dataset-04/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-04299453935122318", "Status": { "SucceededCount": 258, "TotalCount": 258, "FailedCount": 0, "LastUpdatedTime": 1771848950.012, }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1771848950.012, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0" } ]}

ファイルシステム別のタスクの表示

特定のファイル システムのすべてのタスクは、 Amazon FSx コンソール、CLI、または API のいずれかを選択します。

ファイルシステム (コンソール) 別にタスクを表示するには

1. 選択 ファイル・システム クリックします。[ ファイル・システム ページが表示されます。2. データ リポジトリ タスクを表示するファイル システムを選択します。[ファイル システムの詳細]

ページが表示されます。3. ファイル システムの詳細ページで、 データリポジトリ タブ。このファイル システムのすべてのタス

クは、 データ リポジトリ タスク パネル。

36

Page 42: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリ タスクの使用

CLI(ファイル システム)でタスクを取得するには

• 次のコマンドを使用し、ファイル システムのすべてのデータ リポジトリ タスクを表示します。fs-0123456789abcdef0.

aws fsx describe-data-repository-tasks \ --filters Name=file-system-id,Values=fs-0123456789abcdef0

コマンドが成功すると、 Amazon FSx JSON 形式で応答を返します。

{ "DataRepositoryTasks": [ { "Lifecycle": "FAILED", "Paths": [], "Report": { "Path":"s3://dataset-04/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [], "TaskId": "task-0123456789abcdef1", "Status": { "SucceededCount": 1153, "TotalCount": 1156, "FailedCount": 3, "LastUpdatedTime": 1571863875.289 }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1571863850.075, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef1" }, { "Lifecycle": "SUCCEEDED", "Paths": [], "Report": { "Enabled": false, }, "StartTime": 1571863862.288, "EndTime": 1571863905.292, "Type": "EXPORT_TO_REPOSITORY", "Tags": [],

37

Page 43: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリ タスクの使用

"TaskId": "task-0123456789abcdef0", "Status": { "SucceededCount": 258, "TotalCount": 258, "FailedCount": 0, "LastUpdatedTime": 1771848950.012, }, "FileSystemId": "fs-0123456789abcdef0", "CreationTime": 1771848950.012, "ResourceARN": "arn:aws:fsx:us-east-1:1234567890:task/task-0123456789abcdef0" } ]}

データ リポジトリ タスクのキャンセルデータ リポジトリ タスクは、PENDING または EXECUTING の状態でキャンセルできます。タスクをキャンセルすると、次のようになります。

• Amazon FSx は、処理するキューにあるファイルを処理しません。• Amazon FSx 現在処理中のファイルの処理を続行します。• Amazon FSx は、タスクがすでに処理したファイルを元に戻しません。

データ リポジトリ タスクをキャンセルするには (コンソール)

1. Open the Amazon FSx console at https://console.aws.amazon.com/fsx/.2. ナビゲーション ペインで、 データ リポジトリ タスク(Lustre). [ データ リポジトリ タスク 」ページが

表示され、既存のタスクが表示されます。3. 選択 タスクID 又は タスク名 キャンセルするタスクのタスクを選択します。4. 選択 タスクのキャンセル タスクをキャンセルします。5. タスクIDを入力して、キャンセル要求を確認します。

データ リポジトリ タスク (CLI) をキャンセルするには

[ Amazon FSx cancel-data-repository-task CLI コマンド。タスクをキャンセルします。CancelDataRepositoryTask は、同等の API コマンドです。

• 次のコマンドを使用して、アカウント内のすべてのデータ リポジトリ タスク オブジェクトを表示します。

aws fsx cancel-data-repository-task \ --task-id fs-0123456789abcdef0

コマンドが成功すると、 Amazon FSx JSON 形式で応答を返します。

{ "Status": "CANCELING", "TaskId": "task-0123456789abcdef0"}

38

Page 44: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドタスク完了レポートを使用する

タスク完了レポートを使用するA タスク完了レポート データ リポジトリ タスクの結果の詳細については、を参照してください。レポートには、レポートの範囲に一致するタスクによって処理されたファイルの結果が含まれます。現時点では、利用できる範囲は FAILED_FILES_ONLY.

Amazon FSx は、ファイル システムのリンクされたデータ リポジトリにレポートを配信します。 AmazonS3タスクのレポートを有効にするときに指定したパスを使用します。このパスは、ファイル システムのエクスポート パス内に配置する必要があります。このパスは、ファイル システムが作成されたときに選択されます。タスクのレポートを生成するかどうかは、 Enabled パラメータ。

レポート形式はカンマ区切り値(CSV)ファイルで、次の3つのフィールドがあります。FilePath、FileStatus、および ErrorCode.

レポートは、RFC-4180 形式のエンコードを使用して次のようにエンコードされます。

• 次のいずれかの文字で始まるパスは、一重引用符で囲みます。 @ + - =• 次の文字の少なくとも 1 つを含む文字列は、二重引用符で囲んであります。 " ,• すべての二重引用符は、追加の二重引用符でエスケープされます。

以下は、レポート エンコーディングの例です。

• @filename.txt が """@filename.txt"""• +filename.txt が """+filename.txt"""• file,name.txt が "file,name.txt"• file"name.txt が "file""name.txt"

RFC-4180 エンコーディングの詳細については、以下を参照してください。 RFC-4180 - カンマ区切り値(CSV) ファイルの共通形式および MIME タイプ IETF の Web サイトにあります。

以下は、失敗したファイルのみを含むタスク完了レポートで提供される情報の例です。

myRestrictedFile,failed,S3AccessDenieddir1/myLargeFile,failed,FileSizeTooLargedir2/anotherLargeFile,failed,FileSizeTooLarge

タスクの失敗とその解決方法についての詳細は、「 失敗したデータ リポジトリ タスクのトラブルシューティング (p. 39).

データ リポジトリ タスクの作成時にタスク完了レポートを有効にする方法については、以下を参照してください。 データ リポジトリ タスクの作成 (p. 32).

失敗したデータ リポジトリ タスクのトラブルシューティングデータ リポジトリ タスクが失敗すると、 Amazon FSx での処理に失敗しました ファイルのエクスポートに失敗しました コンソールの タスクステータス ページ。または、CLIまたはAPIを使用して、 Status:FailedCount プロパティ。この情報へのアクセスについての情報については、見なさい データ リポジトリ タスクへのアクセス (p. 34).

Amazon FSx また、タスク完了レポートで失敗した特定のファイルとディレクトリについても説明します。タスク完了レポートには、失敗したLustreファイルシステム上のファイルまたはディレクトリパ

39

Page 45: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリへの変更のエクスポート

ス、そのステータス、および失敗理由が含まれます。詳細については、タスク完了レポートを使用する (p. 39) を参照してください。

データ リポジトリ タスクは、以下にリストする理由など、いくつかの理由で失敗することがあります。

エラーコード 説明

PathSizeTooLong タスクのパスが長すぎます。エクスポートされたファイルまたはディレクトリのパスの文字数は1.024文字を超えることはできません。この文字番号には、ファイル システムのエクスポート プレフィックス セットと、エクスポートされたファイルまたはディレクトリへのパスが含まれます。

FileSizeTooLarge エクスポートのファイルサイズが大きすぎます。次の最大ファイルサイズ: Amazon FSx 5 TiB です。

S3AccessDenied アクセスが拒否されました Amazon S3. [ Amazon FSx ファイルシステムは、 s3:PutObject 操作、リンクへのエクスポートのソウサ、リンクヘノエクスポートノ data repository on S3. この許可は、AWSServiceRoleForFSxS3Access_fs-0123456789abcdef0サービスにリンクした役割です。詳細については、Amazon FSx forLustre のサービスにリンクされたロールの使用 (p. 89) を参照してください。

S3Error Amazon FSx S3関連のエラーが発生し、 S3AccessDenied.

ResourceBusy Amazon FSx は、ファイル システム上の別のクライアントによって変更されたため、ファイルをエクスポートできませんでした。ワークフローがファイルへの書き込みを終了した後で、DataRepositoryTask を再試行できます。

InternalError でエラーが発生しました。 Amazon FSx ファイル システム。通常、このエラーコードは、 Amazon FSx 失敗したタスクが実行されたファイル システムが、FAILEDライフサイクル状態である。この問題が発生すると、データ消失により、影響を受けるファイルがリカバリできない可能性があります。それ以外の場合は、階層ストレージ管理(HSM)コマンドを使用して、ファイルとディレクトリを datarepository on S3. 詳細については、HSM コマンドを使用したファイルのエクスポート (p. 43) を参照してください。

データ リポジトリへの変更のエクスポートPOSIXメタデータを含むデータおよびメタデータの変更は、 Amazon FSx ファイル システムから、リンクされたデータ リポジトリに。関連付けられたPOSIXメタデータには、所有権、権限、タイムスタンプが含まれます。このエクスポートを実行するには、データ リポジトリ タスクを使用します。

データ リポジトリ タスクでは、データ リポジトリ間の変更を追跡することで、 Amazon FSx ファイルシステムとそのリンクされたデータ リポジトリ。エクスポートされるのは、データまたはメタデータが新規または変更されたファイルまたはディレクトリのみです。このデータをエクスポートすることで、Amazon FSx for Lustre ファイルシステムと、リンクされた耐久性のあるデータ リポジトリを Amazon S3.詳細については、データ リポジトリ タスク (p. 30) を参照してください。

Important

確実に Amazon FSx はデータを S3 バケットにエクスポートできます。UTF-8 互換の形式で保存する必要があります。

40

Page 46: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリ タスクを使用したデータおよびメタデータの変更のエクスポート

トピック• データ リポジトリ タスクを使用したデータおよびメタデータの変更のエクスポート (p. 41)• HSM コマンドを使用したファイルのエクスポート (p. 43)

データ リポジトリ タスクを使用したデータおよびメタデータの変更のエクスポート以下の手順を使用して、データおよびメタデータの変更を Amazon FSx コンソールとCLIです。

変更をエクスポートするには (コンソール)

1. Open the Amazon FSx console at https://console.aws.amazon.com/fsx/.2. ナビゲーション ペインで、 ファイル・システムタスクを作成するLustreファイル システムを選択しま

す。3. 対象 アクション、選択 データ リポジトリへエクスポート. この選択肢は、ファイル システムが data

repository on S3. [ データ リポジトリ タスクの作成 ページが表示されます。

データ リポジトリ タスク タイプ は に設定されています リポジトリにエクスポートは、現在サポートされている唯一のタスク タイプです。[ エクスポート先 valueは、ファイル システムの作成時に定義したエクスポート プレフィックスです。

4. (オプション) Amazon FSx ファイル システム(これらのディレクトリまたはファイルへのパスを指定) ファイル システム エクスポート パス. 指定するパスは、ファイル システムのマウント ポイントに相対している必要があります。マウント ポイントが /mnt/fsx および /mnt/fsx/path1 は、エ

41

Page 47: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ リポジトリ タスクを使用したデータおよびメタデータの変更のエクスポート

クスポートするファイル システムのディレクトリまたはファイルです。このとき、提供するパスはpath1.

Note

指定するパスが有効でない場合、タスクは失敗します。5. (オプション)選択 有効化 以下 完了報告 タスクの完了後にタスク完了レポートを生成します。A タス

ク完了レポート に提供された範囲を満たすタスクによって処理されたファイルの詳細を示します。 報告範囲. 次の場所を指定するには: Amazon FSx レポートを配信するには、ファイル システムのリンクされたS3バケットの相対パスを レポートパス.

6. 選択 データ リポジトリ タスクの作成.

最上部に通知が表示されます。 ファイル・システム ]ページに、作成したばかりのタスクが表示されます。

タスクのステータスと詳細を表示するには、 データ リポジトリ タスク(Lustre) クリックします。デフォルトの並べ替え順序は、リストの一番上に最新のタスクを表示します。

このページからタスクの概要を表示するには、次を選択します。 タスクID 作成しました。[ まとめ ページが表示されます。

変更をエクスポートするには(CLI)

• [ create-data-repository-task 上のデータおよびメタデータの変更をエクスポートするための CLI コマンド Amazon FSx for Lustre ファイル システム。対応する API 操作は、 CreateDataRepositoryTask.

$ aws fsx create-data-repository-task \ --file-system-id fs-0123456789abcdef0 \ --type EXPORT_TO_REPOSITORY \ --paths path1,path2/file1 \ --report Enabled=true,Scope=FAILED_FILES_ONLY,Format=REPORT_CSV_20191124,Path=s3://dataset-01/reports

データ リポジトリ タスクが正常に作成された後、 Amazon FSx 次の例に示すように、はタスクの説明をJSONとして返します。

{ "Task": { "TaskId": "task-123f8cd8e330c1321", "Type": "EXPORT_TO_REPOSITORY", "Lifecycle": "PENDING", "FileSystemId": "fs-0123456789abcdef0", "Paths": ["path1", "path2/file1"], "Report": { "Path":"s3://dataset-01/reports", "Format":"REPORT_CSV_20191124", "Enabled":true, "Scope":"FAILED_FILES_ONLY" }, "CreationTime": "1545070680.120", "ClientRequestToken": "10192019-drt-12", "ResourceARN": "arn:aws:fsx:us-east-1:123456789012:task:task-123f8cd8e330c1321" }}

リンクされた data repository on S3エクスポートのステータスを確認できます。データ リポジトリ タスクの表示についての詳細は、以下を参照してください。 データ リポジトリ タスクへのアクセス (p. 34).

42

Page 48: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドHSM コマンドを使用したファイルのエクスポート

HSM コマンドを使用したファイルのエクスポートNote

で変更をエクスポートするには Amazon FSx for Lustre ファイル システムのデータとメタデータを durable data repository on Amazon S3で説明したアプローチを使用します。 データ リポジトリ タスクを使用したデータおよびメタデータの変更のエクスポート (p. 41).

個々のファイルをデータ リポジトリにエクスポートして、そのファイルがデータ リポジトリに正常にエクスポートされたことを確認するには、次のコマンドを実行します。の戻り値 NOOP ファイルが正常にエクスポートされたことを示します。

sudo lfs hsm_archive path/to/export/filesudo lfs hsm_action path/to/export/file

ファイル システム全体またはファイル システム内のディレクトリ全体をエクスポートするには、次のコマンドを実行します。複数のファイルを同時にエクスポートする場合、 Amazon FSx for Lustre がファイルをにエクスポートします Amazon S3 データリポジトリを並列化します。

nohup find local/directory -type f -print0 | xargs -0 -n 1 sudo lfs hsm_archive &

エクスポートが完了したかどうかを判断するには、次のコマンドを実行します。

find path/to/export/file -type f -print0 | xargs -0 -n 1 -P 8 sudo lfs hsm_action | grep "ARCHIVE" | wc -l

ファイルがゼロのままコマンドが戻ると、エクスポートは完了です。

ファイル・システムからのデータのリリースファイル システムにストレージ領域を作成する場合は、ファイル システムからファイルをリリースできます。ファイルをリリースすると、ファイルのリストとメタデータは保持されますが、そのファイルの内容のローカル コピーは削除されます。次のコマンドを使用して、ファイル システムから個々のファイルをリリースできます。

• ファイル オーナーである場合は、ファイル システムから1つ以上のファイルをリリースするには、次の手順を実行します。

lfs hsm_release file1 file2 ...

• ファイル所有者でない場合は、ファイル システムから1つ以上のファイルをリリースするには、次の手順を実行します。

sudo lfs hsm_release file1 file2 ...

使用 Amazon FSx オンプレミスのデータリポジトリで

以下を使用できます。 Amazon FSx オンプレミスのデータリポジトリに保存されているデータを、クラウド内のコンピューティングインスタンスで処理します。 Amazon FSx は、次のアクセスをサポートしています: AWS Direct Connect オンプレミス クライアントからファイル システムをマウントできます。

43

Page 49: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド使用 Amazon FSx オンプレミスのデータリポジトリで

使用するには Amazon FSx オンプレミスのデータで

1. ファイル・システムを作成します。詳細については、以下を参照してください。 ステップ1: 作成Amazon FSx for Lustre ファイル・システム (p. 8) 始めましょう

2. オンプレミス クライアントからファイル システムをマウントします。詳細については、取り付けAmazon FSx オンプレミスまたはピアリングのファイル・システム Amazon VPC (p. 63) を参照してください。

3. 処理するデータを Amazon FSx ファイル システム。4. コンピューティング集約型のワークロードをクラウド上で実行 Amazon EC2 インスタンスファイル

システムをマウントします。中間結果をデータ リポジトリに定期的にコピーできます。5. 終了したら、ファイル・システムから最終結果をオンプレミスのデータ・リポジトリにコピーし、

Amazon FSx ファイル システム。

44

Page 50: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustreファイル・システムの仕組み

Amazon FSx for Lustre のパフォーマンス

Amazon FSx for Lustreは、Lustre上に構築されています。Lustreは、一般的な高パフォーマンス・ファイル・システムであり、ファイル・システム・サイズに応じて直線的に拡張されるスケールアウト・パフォーマンスを提供します。Lustreファイル・システムは、複数のファイル・サーバとディスクにわたって水平に拡張できます。この拡張により、各クライアントは各ディスクに格納されているデータに直接アクセスでき、従来のファイル・システムに存在するボトルネックの多くを除去できます。 Amazon FSx forLustre は、Lustreのスケーラブルなアーキテクチャに基づいて構築され、多数のクライアントで高レベルのパフォーマンスをサポートします。

Lustreファイル・システムの仕組み各 Amazon FSx for Lustre ファイルシステムは、クライアントが通信するファイル サーバと、データを格納する各ファイル サーバに接続されたディスクのセットで構成されます。各ファイル・サーバは、高速のインメモリ・キャッシュを使用して、最も頻繁にアクセスされるデータのパフォーマンスを向上させます。また、HDDベースのファイル・システムをSSDベースの読み取りキャッシュでプロビジョニングすることで、最も頻繁にアクセスされるデータのパフォーマンスをさらに向上させることができます。クライアントがインメモリまたはSSDキャッシュに格納されているデータにアクセスすると、ファイル・サーバはディスクから読み取る必要がなくなるため、レーテンシーが短縮され、ドライブできるスループットの合計量が増加します。次の図は、書き込み処理のパス、ディスクから提供される読み取り処理、メモリ内またはSSDキャッシュから提供される読み取り処理を示しています。

45

Page 51: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドファイル・システム・パフォーマンスの集約

ファイル サーバのインメモリまたはSSDキャッシュに格納されているデータを読み取る場合、ファイル システムのパフォーマンスはネットワーク スループットによって決まります。ファイル システムにデータを書き込むとき、またはインメモリ キャッシュに保存されていないデータを読み取るとき、ファイル システムのパフォーマンスは、ネットワーク スループットとディスク スループットの小さい方によって決まります。

ファイル・システム・パフォーマンスの集約スループットは、 Amazon FSx for Lustre ファイル・システム・サポートは、そのストレージ容量に比例します。 Amazon FSx for Lustre ファイル・システムは数百GBpsのスループットと数百万IOPSまで拡張できます。 Amazon FSx for Lustre また、何千ものコンピューティング・インスタンスから同じファイルまたはディレクトリへの同時アクセスもサポートします。このアクセスにより、アプリケーション・メモリからストレージへの迅速なデータ・チェックポイント作成が可能になります。これは、高パフォーマンス・コンピューティング(HPC)の一般的な手法です。

Amazon FSx for Lustre ファイル・システムは、ネットワークI/Oクレジット・メカニズムを使用してバースト読み取りスループットを提供し、平均帯域幅使用率に基づいてネットワーク帯域幅を割り当てます。ファイルシステムは、ネットワーク帯域幅の使用量がベースライン限度未満になるとクレジットを獲得し、ネットワークデータ転送を実行する際にこれらのクレジットを使用できます。

次の表は、 Amazon FSx for Lustre 配置オプションが設計されている。

46

Page 52: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド例: ベースラインとバースト・スループットの集約

Note

*次のAWSリージョンの永続ファイル・システムは、ストレージのTiBあたり最大530 MB/秒のネットワーク・バーストを提供します。 アジアパシフィック (香港)、 アジアパシフィック (シンガポール)、 カナダ (中部)、 欧州 (フランクフルト)、 欧州 (ロンドン)、 欧州 (ストックホルム)、南米 (サンパウロ)、 中国、米国西部(ロサンゼルス)。

Note

[ Amazon FSx for Lustre SCRATCH_1 展開オプションは、約 200 MB/s/TiB をサポートするように設計されています。

例: ベースラインとバースト・スループットの集約次の例は、ストレージ容量とディスク・スループットがファイル・システムのパフォーマンスにどのように影響するかを示しています。

ストレージ容量が4.8 TiBで、ストレージ単位あたりTiBあたり50 MB/秒の永続的なファイル・システムは、234 MB/秒のベースライン・ディスク・スループットと1.125 GB/秒のバースト・ディスク・スループットを集約します。

ファイル・システム・サイズに関係なく、 Amazon FSx for Lustre は、ファイル操作に一貫したミリ秒未満のレーテンシーを提供します。

47

Page 53: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドファイル・システム・ストレージ・レイアウト

ファイル・システム・ストレージ・レイアウトLustre内のすべてのファイル・データは、OST(オブジェクト・ストレージ・ターゲット)と呼ばれるディスクに格納されます。すべてのファイル・メタデータ(ファイル名、タイムスタンプ、権限など)は、メタデータ・ターゲット(MDT)と呼ばれるディスクに格納されます。 Amazon FSx for Lustre ファイル・システムは、単一のMDTと複数のOSTで構成され、それぞれがSSDストレージ上に構築されます。各OSTのサイズは約1.17 TiBである。Amazon FSx for Lustreは、ファイル・システムを構成するOST全体にファイル・データを自動的に分散し、スループットとIOPS負荷でストレージ容量のバランスを取ります。

ファイル システムを構成するMDTおよびOSTのリストとストレージの使用状況を表示するには、ファイルシステムがマウントされているクライアントから次のコマンドを実行します。各ディスクのストレージ容量と消費量を表示するには、次のコマンドを実行します。

lfs df -h mount/path

このコマンドの出力は次のようになります。

Example

UUID bytes Used Available Use% Mounted onmountname-MDT0000_UUID 68.7G 5.4M 68.7G 0% /fsx[MDT:0]mountname-OST0000_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:0]mountname-OST0001_UUID 1.1T 4.5M 1.1T 0% /fsx[OST:1]

filesystem_summary: 2.2T 9.0M 2.2T 0% /fsx

ファイル・システム内のデータのストライピングLustreを使用すると、ファイルをOST間でストライピングする方法を構成できます。ファイルが複数のOSTにストライプされている場合、ファイルに対する読み取りまたは書き込み要求がそれらのOSTに分散され、アプリケーションがそれを通じてドライブできる総スループットまたはIOPSが増加します。

デフォルトでは、 Amazon FSx for Lustre 標準のLinuxツールを使用して、単一のディスクに格納されます。からインポートされたファイルの場合 Amazon S3、ファイル システム ImportedFileChunkSizeパラメータは、インポートしたファイルをストライピングするOSTの数を指定します。より大きいファイル ImportedFileChunkSize は複数のOSTに保存されます。

次のコマンドを使用して、ファイルまたはディレクトリのストライピング構成を表示できます。

lfs getstripe filename

このコマンドは、ファイル・ストライプ・カウント、ストライプ・サイズ、ストライプ・オフセットをレポートします。[ ストライプ数 ファイルがストライプされているOSTの数です。[ ストライプサイズは、OSTにどれだけの連続データが格納されているかを示します。[ ストライプのオフセット は、ファイルがストライプされている最初のOSTのインデックスです。詳細については、以下を参照してください。Lustreファイル・ストライピングの構成 wiki.lustre.orgにあります。

ファイル・ストライピング・パラメータは、ファイルが最初に作成されるときに設定されます。次のコマンドを使用し、指定されたストライピング構成で新しい空のファイルを作成します。

lfs setstripe filename --stripe-count こ of OSTs --stripe-size こ of bytes

既存のファイルのストライピングを変更するには、 lfs setstripe コマンド。その後、元のファイルをこの新しいファイルにコピーします。

48

Page 54: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドパフォーマンスと使用状況の監視

パフォーマンスと使用状況の監視毎分 Amazon FSx for Lustre 各ディスク(MDTおよびOST)の使用率メトリックを Amazon CloudWatch.

ファイル システムの使用状況の集計の詳細を表示するには、各メトリックの合計統計値を確認します。たとえば、 DataReadBytes statisticは、ファイル・システム内のすべてのOSTで検出された合計読み取りスループットをレポートします。同様に、 FreeDataStorageCapacity statisticは、ファイル・システム内のファイル・データに対して使用可能な合計ストレージ容量をレポートします。

ファイルシステムのパフォーマンスの監視の詳細については、以下を参照してください。 Amazon FSx forLustre のモニタリング (p. 75).

パフォーマンスのヒント利用時 Amazon FSx for Lustre以下のパフォーマンスのヒントを念頭に置いてください。サービス制限については、以下を参照してください。 Quotas (p. 97).

• 平均I/Oサイズ – なぜなら Amazon FSx for Lustre はネットワーク・ファイル・システムであり、各ファイル操作はクライアントと Amazon FSx for Lustre、わずかな遅延オーバーヘッドが発生します。このオペレーションあたりのレイテンシーのため、通常は平均 I/O サイズの増加に応じて全体のスループットが向上します。大量のデータにオーバーヘッドが分散するためです。

• 要求モデル – ファイル・システムへの非同期書き込みを有効にすると、保留中の書き込み処理がAmazon EC2 インスタンスを Amazon FSx for Lustre 非同期で行われます。非同期書き込みは、通常レイテンシーが低くなります。非同期書き込みを実行するとき、カーネルはキャッシュの追加のメモリを使用します。同期書き込みを有効にしたファイル システムで同期要求が Amazon FSx for Lustre. 各オペレーションはクライアントと Amazon FSx for Lustre の間のラウンドトリップを通過します。

Note

選択したリクエストモデルでは、整合性 (複数の Amazon EC2 インスタンスを使用している場合) と速度にトレードオフがあります。

• Amazon EC2 インスタンス – 多数の読み取りおよび書き込み処理を実行するアプリケーションは、実行しないアプリケーションよりも多くのメモリまたはコンピューティング容量を必要とする可能性があります。計算集約型ワークロード用にAmazon EC2インスタンスを起動する場合、アプリケーションが必要とするこれらのリソース量を持つインスタンスタイプを選択します。性能特性は、 Amazon FSx forLustre ファイル・システムは、 Amazon EBS–最適化されています。

• OST全体のワークロードのバランス – 場合によっては、ワークロードによって、ファイル・システムが提供できる総スループットが左右されないことがあります(TiBストレージあたり200 MB/秒)。その場合は、 CloudWatch ワークロードI/Oパターンの不均衡によってパフォーマンスが影響を受ける場合のトラブルシューティングのためのメトリック。これが原因であるかどうかを特定するには、 CloudWatch メトリック Amazon FSx for Lustre.

場合によっては、この統計は、240 MBps以上のスループット(単一の1.2-TiBのスループット容量Amazon FSx for Lustre ディスク)。このような場合、ワークロードはディスク全体に均等に分散されません。その場合は、 lfs setstripe コマンドを使用して、ワークロードが最も頻繁にアクセスしているファイルのストライピングを変更します。最適なパフォーマンスを得るには、ファイル・システムを構成するすべてのOSTにわたって高いスループット要件を持つファイルをストライプします。

ファイルがデータ リポジトリからインポートされる場合、別の方法で、OST全体にハイスループット ファイルを均等にストライピングできます。これを行うには、 ImportedFileChunkSize 次のAmazon FSx for Lustre ファイル システム。

たとえば、ワークロードが7.0-TiBファイル・システム(6x 1.17-TiB OSTで構成)を使用しており、2.4-GiBファイル全体で高いスループットを実現する必要があるとします。この場合、

49

Page 55: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドパフォーマンスのヒント

ImportedFileChunkSize 値 (2.4 GiB / 6 OSTs) = 400 MiB ファイルがファイルシステムOST全体に均等に分散されるようにします。

50

Page 56: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustreクライアントのインストール

ファイル・システムへのアクセス使用 Amazon FSxを使用して、オンプレミスからAWS Cloudにコンピューティング集約型のワークロードをバーストできます。 AWS Direct Connect またはVPN。以下にアクセスできます。 Amazon FSx オンプレミスのファイル・システム、必要に応じてファイル・システムへのデータのコピー、クラウド・インスタンス上の計算集約型ワークロードの実行など、さまざまな機能を使用できます。

次のセクションでは、 Amazon FSx for Lustre ファイル システム(Linuxインスタンス)。加えて、システムの再起動後に fstab ファイルを使用してファイルシステムを自動的に再マウントする方法を説明します。

ファイルシステムをマウントする前に、関連する AWS リソースを作成、設定、および起動する必要があります。詳細な手順については、「Amazon FSx for Lustre の使用を開始する (p. 8)」を参照してください。次に、Lustreクライアントをコンピュートインスタンスにインストールして構成できます。

トピック• Lustreクライアントのインストール (p. 51)• からの取り付け Amazon EC2 インスタンス (p. 62)• 取り付け Amazon FSx オンプレミスまたはピアリングのファイル・システム Amazon VPC (p. 63)• Amazon FSx ファイルシステムを自動的にマウントする (p. 64)• ファイルシステムをアンマウントする (p. 66)• との作業 Amazon EC2 スポットインスタンス (p. 67)

Lustreクライアントのインストールをマウントするには Amazon FSx for Lustre ファイルシステムをLinuxインスタンスからインストールするには、まずオープンソースのLustreクライアントをインストールします。 Amazon FSx は、Lustreクライアントの2.10バージョンからのアクセスをサポートしています。次に、お使いのオペレーティングシステムのバージョンに応じて、次のいずれかの手順を使用します。インストール手順で指定したLinuxカーネルを実行していないコンピュートインスタンスでカーネルを変更できない場合は、独自のLustreクライアントを構築できます。詳細については、以下を参照してください。 ラストのコンパイル ルストレウィキに登場します。

LustreクライアントをRPMパッケージとしてインストールするには(Amazon Linux 2)1. クライアントでターミナルを開きます。2. 次のコマンドを実行して、コンピューティングインスタンスで現在実行中のカーネルを特定します。

uname -r

3. 次のいずれかを行ってください。

• コマンドが 4.14.104-95.84.amzn2.x86_64 x86ベースのEC2インスタンスの場合、または4.14.181-142.260.amzn2.aarch64 Graviton2ベースのEC2インスタンスの場合は、Lustreクライアントをダウンロードし、次のコマンドを使用してインストールします。

sudo amazon-linux-extras install -y lustre2.10

• コマンドが次の値より小さい結果を返す場合: 4.14.104-95.84.amzn2.x86_64 x86 ベースのEC2 インスタンスの場合、以下 4.14.181-142.260.amzn2.aarch64 Graviton2ベースのEC2インスタンスの場合は、カーネルを更新して、 Amazon EC2 インスタンスのインスタンスを、次のコマンドを実行することができます。

51

Page 57: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustreクライアントのインストール

sudo yum -y update kernel && sudo reboot

カーネルが uname -r コマンド。その後、上記の説明に従ってLustreクライアントをダウンロードしてインストールします。

RPMパッケージとしてLustreクライアントをインストールするには(Amazon Linux)1. クライアントでターミナルを開きます。2. 次のコマンドを実行して、コンピューティングインスタンスで現在実行中のカーネルを特定しま

す。LustreクライアントにはAmazon Linuxカーネルが必要 4.14, version 104 またはそれ以上。

uname -r

3. 次のいずれかを行ってください。

• コマンドが 4.14.104-78.84.amzn1.x86_64 またはそれ以降のバージョンの 4.14、Lustre クライアントをダウンロードしてインストールするには、次のコマンドを使用します。

sudo yum install -y lustre-client

• コマンドが次の値より小さい結果を返す場合: 4.14.104-78.84.amzn1.x86_64カーネルを更新し、 Amazon EC2 インスタンスのインスタンスを、次のコマンドを実行することができます。

sudo yum -y update kernel && sudo reboot

カーネルが uname -r コマンド。その後、上記の説明に従ってLustreクライアントをダウンロードしてインストールします。

RPMパッケージ(CentOSおよびRed Hat 7.5または7.6)としてLustreクライアントをインストールするには1. クライアントでターミナルを開きます。2. 次のコマンドを使用して、コンピューティングインスタンスで現在実行中のカーネルを特定します。

uname -r

3. 次のいずれかを行ってください。

• インスタンスがカーネルバージョンを実行している場合 3.10.0-862.*以下のコマンドを使用して、Lustre 2.10.5 クライアントをダウンロードしてインストールします。クライアントは、ダウンロードとインストール用に2つのパッケージで提供されます。

sudo yum -y install https://downloads.whamcloud.com/public/lustre/lustre-2.10.5/el7/client/RPMS/x86_64/kmod-lustre-client-2.10.5-1.el7.x86_64.rpmsudo yum -y install https://downloads.whamcloud.com/public/lustre/lustre-2.10.5/el7/client/RPMS/x86_64/lustre-client-2.10.5-1.el7.x86_64.rpm

• インスタンスがカーネルバージョンを実行している場合 3.10.0-957.*以下のコマンドを使用して、Lustre 2.10.8 クライアントをダウンロードしてインストールします。クライアントは、ダウンロードとインストール用に2つのパッケージで提供されます。

52

Page 58: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustreクライアントのインストール

sudo yum -y install https://downloads.whamcloud.com/public/lustre/lustre-2.10.8/el7/client/RPMS/x86_64/kmod-lustre-client-2.10.8-1.el7.x86_64.rpmsudo yum -y install https://downloads.whamcloud.com/public/lustre/lustre-2.10.8/el7/client/RPMS/x86_64/lustre-client-2.10.8-1.el7.x86_64.rpm

• インスタンスがカーネルを実行している場合 3.10.0-1062.* またはそれ以上、参照 RPMパッケージとしてLustreクライアントをインストールするには(CentOSおよびRed Hat7.7、7.8) (p. 53) 」を参照してください。 Amazon FSx yum パッケージ リポジトリ。

Note

クライアントのインストールを終了するには、コンピューティングインスタンスを再起動する必要がある場合があります。

RPMパッケージとしてLustreクライアントをインストールするには(CentOSおよびRed Hat 7.7、7.8)Red Hat Enterprise Linux(RHEL)およびCentOSと互換性のあるLustreクライアントパッケージは、Amazon FSx Lustre クライアント yum パッケージ リポジトリ。これらのパッケージは、ダウンロード前またはダウンロード中に改ざんされていないことを確認するために署名されます。対応する公開キーをシステムにインストールしないと、リポジトリのインストールは失敗します。

_を追加するには Amazon FSx Lustreクライアントyumパッケージ リポジトリ

1. クライアントでターミナルを開きます。2. のインストール Amazon FSx rpm 公開キー。次のコマンドを使用します。

curl https://fsx-lustre-client-repo-public-keys.s3.amazonaws.com/fsx-rpm-public-key.asc -o /tmp/fsx-rpm-public-key.asc

3. 次のコマンドを使用して、キーをインポートします。

sudo rpm --import /tmp/fsx-rpm-public-key.asc

4. リポジトリを追加し、パッケージ マネージャを更新します。次のコマンドを使用します。

sudo curl https://fsx-lustre-client-repo.s3.amazonaws.com/el/7/fsx-lustre-client.repo -o /etc/yum.repos.d/aws-fsx.repo

_を設定するには Amazon FSx Lustreクライアントyumリポジトリ

[ Amazon FSx Lustreクライアントのyumパッケージリポジトリは、デフォルトで、最新のサポート対象のCentOSおよびRHEL 7リリースとともに最初に出荷されたカーネルバージョンと互換性のあるLustreクライアントをインストールするように構成されています。使用しているカーネルバージョンと互換性のあるLustreクライアントをインストールするには、リポジトリ構成ファイルを編集できます。このセクションでは、実行しているカーネルの決定方法、リポジトリ構成の編集が必要かどうか、構成ファイルの編集方法について説明します。

1. 次のコマンドを使用し、コンピューティングインスタンスで現在実行中のカーネルを特定します。

uname -r

2. 次のいずれかを行ってください。

53

Page 59: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustreクライアントのインストール

• コマンドが 3.10.0-1127*リポジトリ構成を変更する必要はありません。続行して Lustreクライアントをインストールするには 手順。

• コマンドが 3.10.0-1062*CentOSおよびRHEL 7.7リリースのLustreクライアントを指すようにリポジトリ構成を編集する必要があります。

3. 次のコマンドを使用して、リポジトリ構成ファイルを編集して、特定のバージョンのRHELを指定します。

sudo sed -i 's#7#specific_RHEL_version#' /etc/yum.repos.d/aws-fsx.repo

リリース7.7をポイントするには、 specific_RHEL_version と 7.7 コマンド内にあります。

sudo sed -i 's#7#7.7#' /etc/yum.repos.d/aws-fsx.repo

4. 次のコマンドを使用して、yum キャッシュをクリアします。

sudo yum clean all

Lustreクライアントをインストールするには

• リポジトリからLustreクライアント パッケージをインストールします。次のコマンドを使用します。

sudo yum install -y kmod-lustre-client lustre-client

追加情報(CentOSおよびRed Hat 7.7以降)

前述のコマンドは、 Amazon FSx ファイル システム。ソースコードを含むパッケージや、テストを含むパッケージなどの追加のLustreパッケージは、リポジトリに含まれ、オプションでインストールできます。リポジトリ内の使用可能なすべてのパッケージを一覧表示するには、次のコマンドを使用します。

yum --disablerepo="*" --enablerepo="aws-fsx" list available

アップストリームソースコードの tarball と適用したパッチのセットを含むソース rpm をダウンロードするには、次のコマンドを使用します。

sudo yumdownloader --source kmod-lustre-client

yum更新を実行すると、より新しいバージョンのモジュールがインストールされ、既存のバージョンが置き換えられます。更新時に現在インストールされているバージョンが削除されないようにするには、 /etc/yum.conf ファイル。

installonlypkgs=kernel, kernel-big#mem, kernel-enterprise, kernel-smp, kernel-debug, kernel-unsupported, kernel-source, kernel-devel, kernel-PAE, kernel-PAE-debug, kmod-lustre-client

このリストには、 yum.conf manページ、 kmod-lustre-client パッケージ。

RPMパッケージ(CentOSおよびRed Hat 8.2以降)としてLustreクライアントをインストールするにはRed Hat Enterprise Linux(RHEL)およびCentOSと互換性のあるLustreクライアントパッケージは、Amazon FSx Lustre クライアント yum パッケージ リポジトリ。これらのパッケージは、ダウンロード前

54

Page 60: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustreクライアントのインストール

またはダウンロード中に改ざんされていないことを確認するために署名されます。対応する公開キーをシステムにインストールしないと、リポジトリのインストールは失敗します。

CentOSおよびRed Hatリリース8.2用のLustreクライアントは、カーネルバージョンと互換性があります。4.18.0-193.*.

_を追加するには Amazon FSx Lustreクライアントyumパッケージ リポジトリ

1. クライアントでターミナルを開きます。2. のインストール Amazon FSx rpm 公開キー。次のコマンドを使用します。

curl https://fsx-lustre-client-repo-public-keys.s3.amazonaws.com/fsx-rpm-public-key.asc -o /tmp/fsx-rpm-public-key.asc

3. 次のコマンドを使用して、キーをインポートします。

sudo rpm --import /tmp/fsx-rpm-public-key.asc

4. リポジトリを追加し、パッケージ マネージャを更新します。次のコマンドを使用します。

sudo curl https://fsx-lustre-client-repo.s3.amazonaws.com/el/8/fsx-lustre-client.repo -o /etc/yum.repos.d/aws-fsx.repo

Lustreクライアントをインストールするには

• リポジトリからパッケージをインストールします。次のコマンドを使用します。

sudo yum install -y kmod-lustre-client lustre-client

追加情報(CentOSおよびRed Hat 8.2以降)

前述のコマンドは、 Amazon FSx ファイル システム。ソースコードを含むパッケージや、テストを含むパッケージなどの追加のLustreパッケージは、リポジトリに含まれ、オプションでインストールできます。リポジトリ内の使用可能なすべてのパッケージを一覧表示するには、次のコマンドを使用します。

yum --disablerepo="*" --enablerepo="aws-fsx" list available

アップストリームソースコードの tarball と適用したパッチのセットを含むソース rpm をダウンロードするには、次のコマンドを使用します。

sudo yumdownloader --source kmod-lustre-client

yum更新を実行すると、より新しいバージョンのモジュールがインストールされ、既存のバージョンが置き換えられます。更新時に現在インストールされているバージョンが削除されないようにするには、 /etc/yum.conf ファイル。

installonlypkgs=kernel, kernel-PAE, installonlypkg(kernel), installonlypkg(kernel-module), installonlypkg(vm), multiversion(kernel), kmod-lustre-client

このリストには、 yum.conf manページ、 kmod-lustre-client パッケージ。

55

Page 61: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustreクライアントのインストール

RPMパッケージとしてLustreクライアントをインストールするには(SUSE Linux 12 SP3、SP4、SP5)SUSE Linux 12 SP3にLustreクライアントをインストールするには

1. クライアントでターミナルを開きます。2. のインストール Amazon FSx rpm 公開キー。次のコマンドを使用します。

sudo wget https://fsx-lustre-client-repo-public-keys.s3.amazonaws.com/fsx-sles-public-key.asc

3. 次のコマンドを使用して、キーをインポートします。

sudo rpm --import fsx-sles-public-key.asc

4. 次のコマンドを使用して、Lustreクライアントのリポジトリを追加します。

sudo wget https://fsx-lustre-client-repo.s3.amazonaws.com/suse/sles-12/SLES-12/fsx-lustre-client.repo

5. 次のコマンドを使用して、Lustreクライアントをダウンロードしてインストールします。

sudo zypper ar --gpgcheck-strict fsx-lustre-client.reposudo sed -i 's#SLES-12#SP3#' /etc/zypp/repos.d/aws-fsx.reposudo zypper refreshsudo zypper in lustre-client

SUSE Linux 12 SP4にLustreクライアントをインストールするには

1. クライアントでターミナルを開きます。2. のインストール Amazon FSx rpm 公開キー。次のコマンドを使用します。

sudo wget https://fsx-lustre-client-repo-public-keys.s3.amazonaws.com/fsx-sles-public-key.asc

3. 次のコマンドを使用して、キーをインポートします。

sudo rpm --import fsx-sles-public-key.asc

4. 次のコマンドを使用して、Lustreクライアントのリポジトリを追加します。

sudo wget https://fsx-lustre-client-repo.s3.amazonaws.com/suse/sles-12/SLES-12/fsx-lustre-client.repo

5. • SP4を直接インストールした場合は、次のコマンドを使用してLustreクライアントをダウンロードしてインストールします。

sudo zypper ar --gpgcheck-strict fsx-lustre-client.reposudo sed -i 's#SLES-12#SP4#' /etc/zypp/repos.d/aws-fsx.reposudo zypper refreshsudo zypper in lustre-client

• SP3からSP4に移行し、SP3のFSxリポジトリを以前追加した場合は、次のコマンドを使用してLustreクライアントをダウンロードしてインストールします。

56

Page 62: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustreクライアントのインストール

sudo zypper ar --gpgcheck-strict fsx-lustre-client.reposudo sed -i 's#SP3#SP4#' /etc/zypp/repos.d/aws-fsx.reposudo zypper refsudo zypper up --force-resolution lustre-client-kmp-default

SUSE Linux 12 SP5にLustreクライアントをインストールするには

1. クライアントでターミナルを開きます。2. のインストール Amazon FSx rpm 公開キー。次のコマンドを使用します。

sudo wget https://fsx-lustre-client-repo-public-keys.s3.amazonaws.com/fsx-sles-public-key.asc

3. 次のコマンドを使用して、キーをインポートします。

sudo rpm --import fsx-sles-public-key.asc

4. 次のコマンドを使用して、Lustreクライアントのリポジトリを追加します。

sudo wget https://fsx-lustre-client-repo.s3.amazonaws.com/suse/sles-12/SLES-12/fsx-lustre-client.repo

5. • SP5を直接インストールした場合は、次のコマンドを使用してLustreクライアントをダウンロードしてインストールします。

sudo zypper ar --gpgcheck-strict fsx-lustre-client.reposudo zypper refreshsudo zypper in lustre-client

• SP4からSP5に移行し、SP4のFSxリポジトリを以前追加した場合は、次のコマンドを使用してLustreクライアントをダウンロードしてインストールします。

sudo sed -i 's#SP4#SLES-12' /etc/zypp/repos.d/aws-fsx.reposudo zypper refsudo zypper up --force-resolution lustre-client-kmp-default

Note

クライアントのインストールを終了するには、コンピューティングインスタンスを再起動する必要がある場合があります。

.debパッケージとしてLustreクライアントをインストールするには(Ubuntu 16.04)Ubuntu 16.04からLustreパッケージを入手できます。 Amazon FSx リポジトリ。リポジトリのコンテンツがダウンロード前またはダウンロード中に改ざんされていないことを確認するために、GNUプライバシーガード(GPG)署名がリポジトリのメタデータに適用されます。システムに正しい公開 GPG キーがインストールされていない限り、リポジトリのインストールは失敗します。

1. クライアントでターミナルを開きます。2. 次の手順に従って、 Amazon FSx Ubuntuリポジトリ:

a. 以前に Amazon FSx クライアントインスタンスの Ubuntu リポジトリで、公開キーをダウンロードしてインストールします。次のコマンドを使用します。

57

Page 63: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustreクライアントのインストール

wget -O - https://fsx-lustre-client-repo-public-keys.s3.amazonaws.com/fsx-ubuntu-public-key.asc | sudo apt-key add -

b. [ Amazon FSx のパッケージリポジトリをローカルのパッケージマネージャにインストールします。次のコマンドを使用します。

sudo bash -c 'echo "deb https://fsx-lustre-client-repo.s3.amazonaws.com/ubuntu xenial main" > /etc/apt/sources.list.d/fsxlustreclientrepo.list && apt-get update'

3. クライアントインスタンスで現在実行中のカーネルを特定し、必要に応じて更新します。Ubuntu16.04のLustreクライアントにはカーネルが必要です 4.4.0-1092-aws またはそれ以降。

a. 次のコマンドを実行して、どのカーネルが実行されているかを判断します。

uname -r

b. 次のコマンドを実行して、最新のUbuntuカーネルとLustreバージョンに更新し、再起動します。

sudo apt install -y linux-aws lustre-client-modules-aws && sudo reboot

カーネルのバージョンが より大きい場合 4.4.0-1092-aws また、最新のカーネルバージョンに更新したくない場合は、次のコマンドを使用して、現在のカーネルにLustreをインストールできます。

sudo apt install -y lustre-client-modules-$(uname -r)

取り付けと操作に必要な2つのLustreパッケージ Amazon FSx Lustreファイルシステムがインストールされています。オプションで、ソース・コードを含むパッケージや、リポジトリーに含まれるテストを含むパッケージなど、その他の関連パッケージをインストールできます。

c. 次のコマンドを使用して、リポジトリ内のすべての使用可能なパッケージを一覧表示します。

sudo apt-cache search ^lustre

d. (オプション)システムのアップグレードで常にLustreクライアントモジュールをアップグレードする場合は、 lustre-client-modules-aws パッケージは、次のコマンドを使用してインストールされます。

sudo apt install -y lustre-client-modules-aws

Note

もし Module Not Found error、以下を実行します。

カーネルをサポートされている最新バージョンにダウングレードします。lustre-client-modulesパッケージのすべての使用可能なバージョンを一覧表示し、対応するカーネルをインストールします。これを行うには、次の コマンドを使用します。

sudo apt-cache search lustre-client-modules

たとえば、リポジトリに含まれる最新バージョンが lustre-client-modules-4.4.0-1092-aws、以下を実行します。

1. このパッケージがビルドされたカーネルをインストールします。次のコマンドを使用します。

58

Page 64: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustreクライアントのインストール

sudo apt-get install -y linux-image-4.4.0-1092-aws

sudo sed -i 's/GRUB_DEFAULT=.\+/GRUB\_DEFAULT="Advanced options for Ubuntu>Ubuntu, with Linux 4.4.0-1099-aws"/' /etc/default/grub

sudo update-grub

2. インスタンスを再起動します。次のコマンドを使用します。

sudo reboot

3. Lustreクライアントをインストールします。次のコマンドを使用します。

sudo apt-get install -y lustre-client-modules-$(uname -r)

.debパッケージとしてLustreクライアントをインストールするには(Ubuntu 18.04)Ubuntu 18.04からLustreパッケージを入手できます。 Amazon FSx リポジトリ。リポジトリのコンテンツがダウンロード前またはダウンロード中に改ざんされていないことを確認するために、GNUプライバシーガード(GPG)署名がリポジトリのメタデータに適用されます。システムに正しい公開 GPG キーがインストールされていない限り、リポジトリのインストールは失敗します。

1. クライアントでターミナルを開きます。2. 次の手順に従って、 Amazon FSx Ubuntuリポジトリ:

a. 以前に Amazon FSx クライアントインスタンスのUbuntuリポジトリで、必要な公開キーをダウンロードしてインストールします。次のコマンドを使用します。

wget -O - https://fsx-lustre-client-repo-public-keys.s3.amazonaws.com/fsx-ubuntu-public-key.asc | sudo apt-key add -

b. [ Amazon FSx のパッケージリポジトリをローカルのパッケージマネージャにインストールします。次のコマンドを使用します。

sudo bash -c 'echo "deb https://fsx-lustre-client-repo.s3.amazonaws.com/ubuntu bionic main" > /etc/apt/sources.list.d/fsxlustreclientrepo.list && apt-get update'

3. クライアントインスタンスで現在実行中のカーネルを特定し、必要に応じて更新します。Ubuntu18.04のLustreクライアントにはカーネルが必要です 4.15.0-1054-aws x86ベースのEC2インスタンスおよびカーネルの場合は以降 5.3.0-1023-aws AWS Graviton2プロセッサを搭載したArmベースのEC2インスタンスの場合は以降。

a. 次のコマンドを実行して、どのカーネルが実行されているかを判断します。

uname -r

b. 次のコマンドを実行して、最新のUbuntuカーネルとLustreバージョンに更新し、再起動します。

sudo apt install -y linux-aws lustre-client-modules-aws && sudo reboot

59

Page 65: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustreクライアントのインストール

カーネルのバージョンが より大きい場合 4.15.0-1054-aws x86ベースのEC2インスタンス、または 5.3.0-1023-aws Graviton2ベースのEC2インスタンスの場合、最新のカーネルバージョンに更新したくない場合は、次のコマンドを使用して、現在のカーネルにLustreをインストールできます。

sudo apt install -y lustre-client-modules-$(uname -r)

取り付けと操作に必要な2つのLustreパッケージ Amazon FSx for Lustre ファイルシステムがインストールされています。オプションで、ソース・コードを含むパッケージや、リポジトリーに含まれるテストを含むパッケージなど、その他の関連パッケージをインストールできます。

c. 次のコマンドを使用して、リポジトリ内のすべての使用可能なパッケージを一覧表示します。

sudo apt-cache search ^lustre

d. (オプション)システムのアップグレードで常にLustreクライアントモジュールをアップグレードする場合は、 lustre-client-modules-aws パッケージは、次のコマンドを使用してインストールされます。

sudo apt install -y lustre-client-modules-aws

Note

もし Module Not Found error、以下を実行します。

カーネルをサポートされている最新バージョンにダウングレードします。使用可能なすべてのバージョンの lustre-client-modules 対応するカーネルをインストールする必要があります。これを行うには、次の コマンドを使用します。

sudo apt-cache search lustre-client-modules

たとえば、リポジトリに含まれる最新バージョンが lustre-client-modules-4.15.0-1054-aws、以下を実行します。

1. このパッケージがビルドされたカーネルをインストールします。次のコマンドを使用します。

sudo apt-get install -y linux-image-4.15.0-1054-aws

sudo sed -i 's/GRUB_DEFAULT=.\+/GRUB\_DEFAULT="Advanced options for Ubuntu>Ubuntu, with Linux 4.15.0-1054-aws"/' /etc/default/grub

sudo update-grub

2. インスタンスを再起動します。次のコマンドを使用します。

sudo reboot

3. Lustreクライアントをインストールします。次のコマンドを使用します。

sudo apt-get install -y lustre-client-modules-$(uname -r)

60

Page 66: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustreクライアントのインストール

.debパッケージとしてLustreクライアントをインストールするには(Ubuntu 20.04)Ubuntu 20.04からLustreパッケージを入手できます。 Amazon FSx リポジトリ。リポジトリのコンテンツがダウンロード前またはダウンロード中に改ざんされていないことを確認するために、GNUプライバシーガード(GPG)署名がリポジトリのメタデータに適用されます。システムに正しい公開 GPG キーがインストールされていない限り、リポジトリのインストールは失敗します。

1. クライアントでターミナルを開きます。2. 次の手順に従って、 Amazon FSx Ubuntuリポジトリ:

a. 以前に Amazon FSx クライアントインスタンスのUbuntuリポジトリで、必要な公開キーをダウンロードしてインストールします。次のコマンドを使用します。

wget -O - https://fsx-lustre-client-repo-public-keys.s3.amazonaws.com/fsx-ubuntu-public-key.asc | sudo apt-key add -

b. [ Amazon FSx のパッケージリポジトリをローカルのパッケージマネージャにインストールします。次のコマンドを使用します。

sudo bash -c 'echo "deb https://fsx-lustre-client-repo.s3.amazonaws.com/ubuntu focal main" > /etc/apt/sources.list.d/fsxlustreclientrepo.list && apt-get update'

3. クライアントインスタンスで現在実行中のカーネルを特定し、必要に応じて更新します。Ubuntu20.04のLustreクライアントにはカーネルが必要です 5.4.0-1011-aws x86ベースのEC2インスタンスおよびカーネルの場合は以降 5.4.0-1015-aws AWS Graviton2プロセッサを搭載したArmベースのEC2インスタンスの場合は以降。

a. 次のコマンドを実行して、どのカーネルが実行されているかを判断します。

uname -r

b. 次のコマンドを実行して、最新のUbuntuカーネルとLustreバージョンに更新し、再起動します。

sudo apt install -y linux-aws lustre-client-modules-aws && sudo reboot

カーネルのバージョンが より大きい場合 5.4.0-1011-aws x86ベースのEC2インスタンス、または 5.4.0-1015-aws Graviton2ベースのEC2インスタンスの場合、最新のカーネルバージョンに更新したくない場合は、次のコマンドを使用して、現在のカーネルにLustreをインストールできます。

sudo apt install -y lustre-client-modules-$(uname -r)

取り付けと操作に必要な2つのLustreパッケージ Amazon FSx for Lustre ファイルシステムがインストールされています。オプションで、ソース・コードを含むパッケージや、リポジトリーに含まれるテストを含むパッケージなど、その他の関連パッケージをインストールできます。

c. 次のコマンドを使用して、リポジトリ内のすべての使用可能なパッケージを一覧表示します。

sudo apt-cache search ^lustre

d. (オプション)システムのアップグレードで常にLustreクライアントモジュールをアップグレードする場合は、 lustre-client-modules-aws パッケージは、次のコマンドを使用してインストールされます。

61

Page 67: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドからの取り付け Amazon EC2 インスタンス

sudo apt install -y lustre-client-modules-aws

Note

もし Module Not Found error、以下を実行します。

カーネルをサポートされている最新バージョンにダウングレードします。lustre-client-modulesパッケージのすべての使用可能なバージョンを一覧表示し、対応するカーネルをインストールします。これを行うには、次の コマンドを使用します。

sudo apt-cache search lustre-client-modules

たとえば、リポジトリに含まれる最新バージョンが lustre-client-modules-5.4.0-1011-aws、以下を実行します。

1. このパッケージがビルドされたカーネルをインストールします。次のコマンドを使用します。

sudo apt-get install -y linux-image-5.4.0-1011-aws

sudo sed -i 's/GRUB_DEFAULT=.\+/GRUB\_DEFAULT="Advanced options for Ubuntu>Ubuntu, with Linux 5.4.0-1011-aws"/' /etc/default/grub

sudo update-grub

2. インスタンスを再起動します。次のコマンドを使用します。

sudo reboot

3. Lustreクライアントをインストールします。次のコマンドを使用します。

sudo apt-get install -y lustre-client-modules-$(uname -r)

からの取り付け Amazon EC2 インスタンスファイル システムを Amazon EC2 インスタンス。

ファイル システムをマウントするには Amazon EC2

1. Amazon EC2 インスタンスに接続します。2. にディレクトリを作成します。 Amazon FSx for Lustre 次のコマンドを使用して、マウント ポイント

のファイル システムを指定します。

$ sudo mkdir -p /fsx

3. 作成したディレクトリに Amazon FSx for Lustre ファイルシステムをマウントします。次のコマンドを使用し、次の項目を交換します。

• 置換 file_system_dns_name を実際のファイル システムのDNS名で指定します。

62

Page 68: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドオンプレミスまたは別のVPCからの取り付け

• 置換 mountname ファイル システムのマウント名が表示されます。このマウント名は、CreateFileSystem API 操作の応答。また、 describe-file-systems AWS CLI コマンド、およびファイル・システムの説明 API 操作。

sudo mount -t lustre -o noatime,flock file_system_dns_name@tcp:/mountname /fsx

このコマンドは、ファイル システムを2つのオプションを使用してマウントします。 -o noatime および flock:

• noatime – 更新をinodeアクセス時間にオフにします。inodeアクセス時間を更新するには、 mountコマンド、コマンドなし noatime.

• flock – ファイル システムのファイル ロックを有効にします。ファイル ロックを有効にしない場合は、 mount コマンド、コマンドなし flock.

4. 次のコマンドを使用して、ファイル システムをマウントしたディレクトリ(/mnt/fsx)の内容を一覧表示して、マウント コマンドが成功したことを確認します。

$ ls /fsximport-path lustre$

また、 df コマンド、次に従います。

$ dfFilesystem 1K-blocks Used Available Use% Mounted ondevtmpfs 1001808 0 1001808 0% /devtmpfs 1019760 0 1019760 0% /dev/shmtmpfs 1019760 392 1019368 1% /runtmpfs 1019760 0 1019760 0% /sys/fs/cgroup/dev/xvda1 8376300 1263180 7113120 16% /123.456.789.0@tcp:/mountname 3547698816 13824 3547678848 1% /fsxtmpfs 203956 0 203956 0% /run/user/1000

結果は、 Amazon FSx /fsxにマウントされたファイル システム。

取り付け Amazon FSx オンプレミスまたはピアリングのファイル・システム Amazon VPC

以下にアクセスできます。 Amazon FSx ファイル・システムを2つの方法で管理できます。1つは AmazonEC2 インスタンスは、 Amazon VPC ファイル・システムのVPCとピアリングされます。もう1つは、AWS Direct Connect またはVPN。

クライアントのVPCと Amazon FSx ファイル システムのVPC(VPCピアリング接続またはVPCトランジット ゲートウェイのいずれかを使用)。VPCピアリング接続またはトランジットゲートウェイを使用してVPCを接続する場合、 Amazon EC2 1つのVPCにあるインスタンスは、 Amazon FSx ファイル システム(VPCが別のアカウントに属している場合でも)。

次の手順を使用する前に、VPCピアリング接続またはVPCトランジット ゲートウェイのいずれかを設定する必要があります。

トランジットゲートウェイは、VPC とオンプレミスネットワークを相互接続するために使用できるネットワークの中継ハブです。VPC トランジット ゲートウェイの使用の詳細については、以下を参照してください。 Transit Gateways を使ってみる を Amazon VPC Transit Gateways ガイド.

63

Page 69: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド取り付け Amazon FSx 自動的に

VPC ピアリング接続は、2 つの VPC 間のネットワーク接続です。このタイプの接続では、インターネットプロトコルバージョン 4 (IPv4) またはインターネットプロトコルバージョン 6 (IPv6) のプライベートアドレスを使用して、2 つの VPC 間でトラフィックをルーティングできます。VPC ピア接続を使用して、同じ AWS リージョン内または AWS リージョン間の VPC を接続できます。VPCピアリングの詳細については、以下を参照してください。 VPCピアリングとは? を Amazon VPC Peering Guide.

プライマリ ネットワーク インタフェースのIPアドレスを使用して、VPCの外部からファイル システムをマウントできます。プライマリ ネットワーク インタフェースは、 aws fsx describe-file-systemsAWS CLI コマンド。また、このIPアドレスをAWS Management Consoleから取得することもできます。

Note

Amazon FSx では、ファイル システムに関連付けられたVPC以外のリソースからのアクセスがサポートされます。これは、これらのリソースが、次のプライベート IP バージョン 4 (IPv4) アドレス範囲に IP アドレスを持つ場合に実行できます。 RFC 1918(RFC 1918):

• 10.0.0.0–10.255.255.255(10/8 プレフィックス)• 172.16.0.0(172.16.0.0)–172.31.255.255 (172.16/12 プレフィックス)• 192.168.0.0–192.168.255.255 (192.168/16 プレフィックス)

ファイル システムのプライマリ ネットワーク インタフェースのIPアドレスを取得するには

1. [ Amazon FSx のコンソール https://console.aws.amazon.com/フルスケール/.2. ナビゲーション ペインで、 ファイル・システム.3. ダッシュボードからファイル システムを選択します。4. ファイル システムの詳細ページで、 ネットワークとセキュリティ.5. 対象 ネットワークインタフェースで、プライマリ エラスティック ネットワーク インターフェイスの

ID を選択します。こうすると、 Amazon EC2 コンソール。6. [ 詳細 ]タブで、 プライマリ プライベートIPv4 IP. これは、プライマリ ネットワーク インタフェース

のIPアドレスです。

Note

ドメイン名システム (DNS) の名前解決は、 Amazon FSx 関連づけられているVPCの外部からのファイル システム。

Amazon FSx ファイルシステムを自動的にマウントする

更新できるのは、 /etc/fstab ファイルを Amazon EC2 インスタンスに初めて接続した後、インスタンスをマウントします。 Amazon FSx 再起動のたびに、ファイル システムをバックアップします。

/etc/fstabを使用したマウント Amazon FSx for Lustre自動的に自動的にマウントするには、 Amazon FSx ファイル システム ディレクトリ( Amazon EC2 インスタンスが再起動した場合、 fstab ファイル。fstab ファイルには、ファイルシステムに関する情報が含まれています。コマンド mount -aは、インスタンスの起動時に実行され、 fstab ファイル。

64

Page 70: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド/etc/fstabを使用したオートマウント

Note

EC2 インスタンスの /etc/fstab ファイルを更新する前に、Amazon FSx ファイルシステムがすでに作成済みであることを確認してください。詳細については、以下を参照してください。 ステップ1: 作成 Amazon FSx for Lustre ファイル・システム (p. 8) 始めてください。

EC2 インスタンスの /etc/fstab ファイルを更新するには

1. EC2 インスタンスに接続して、エディタで /etc/fstab ファイルを開きます。2. 次の行を /etc/fstab ファイルに追加します。

作成したディレクトリに Amazon FSx for Lustre ファイルシステムをマウントします。次のコマンドを使用して、次のコマンドを置き換えます。

• 置換 /fsx(/fsx) マウントするディレクトリと Amazon FSx ファイル システムから へ。• 置換 file_system_dns_name を実際のファイル システムのDNS名で指定します。• 置換 mountname ファイル システムのマウント名が表示されます。このマウント名は、CreateFileSystem API 操作の応答。また、 describe-file-systems AWS CLI コマンド、およびDescribeFileSystems API 操作。

file_system_dns_name@tcp:/mountname /fsx lustre defaults,noatime,flock,_netdev 0 0

Warning

ファイルシステムを自動的にマウントするときに、ネットワークファイルシステムを識別するために使用する _netdev オプションを使用します。_netdev が見つからない場合、EC2インスタンスは応答を停止する可能性があります。この結果は、コンピューティングインスタンスがネットワーキングを開始後、ネットワークファイルシステムを初期化する必要があるためです。詳細については、自動マウントが失敗してインスタンスが応答しない (p. 100)を参照してください。

3. 変更をファイルに保存します。

これで、EC2インスタンスが Amazon FSx ファイル システム(再起動のたびに)。

Note

場合によっては、マウントされた Amazon FSx ファイルシステムのステータスに関係なく、Amazon EC2 インスタンスの起動が必要になることがあります。このような場合は、nofail というオプションを、 /etc/fstab ファイル。

追加したコードの行のフィールド /etc/fstab ファイルは、次の操作を実行します。

Field 説明

file_system_dns_name@tcp:/のDNS名 Amazon FSx ファイル システム。ファイル システムを識別します。この名前は、コンソールから、または AWS CLI またはAWS SDKです。

mountname ファイル システムのマウント名。この名前は、コンソールから、またはAWS CLI 使用 describe-file-systems コマンドまたは AWS APIまたはSDKDescribeFileSystems 操作。

/fsx のマウント ポイント Amazon FSx EC2インスタンス上のファイル システム。

65

Page 71: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドファイルシステムをアンマウントする

Field 説明

lustre ファイル・システムのタイプ Amazon FSx.

mount options ファイル システムのマウント オプション。次のオプションのコンマ区切りリストとして示されます。

• defaults – この値は、オペレーティング システムにデフォルトのマウント オプションを使用するように指示します。ファイル システムがマウントされた後、デフォルトのマウント オプションを一覧表示するには、mount コマンド。

• noatime – このオプションは、inodeアクセス時間の更新をオフにします。inodeアクセス時間を更新する場合は、このマウント オプションを削除します。

• flock – ファイル ロックを有効にして、ファイル システムをマウントします。ファイル ロックを有効にしない場合は、このマウント オプションを削除します。

• _netdev – この値は、ファイルシステムがネットワークアクセスを必要とするデバイスに存在することをオペレーティングシステムに通知します。このオプションは、クライアント上でネットワークが有効になるまで、インスタンスがファイルシステムをマウントするのを防ぎます。

0 ファイル システムを次の方法でバックアップするかどうかを示します。dump. 対象 Amazon FSx、この値は 0.

0 次の順序を示す値。 fsck は、起動時にファイル システムをチェックします。対象 Amazon FSx ファイル システムの場合、この値は 0 は、 fsck は起動時に実行しないでください。

ファイルシステムをアンマウントするファイルシステムを削除する前に、接続しているすべての Amazon EC2 インスタンスからアンマウントすることをお勧めします。インスタンス自体で umount コマンドを実行することで、Amazon EC2 インスタンスのファイルシステムをアンマウントできます。AWS CLI、AWS マネジメントコンソール、またはいずれかの AWS SDK から、Amazon FSx ファイルシステムをアンマウントすることはできません。Linuxを実行する Amazon EC2 インスタンスに接続されている Amazon FSx ファイルシステムをアンマウントするには、次のように umount コマンドを使用します。

umount /mnt/fsx

他の umount オプションを指定しないことをお勧めします。デフォルトと異なる umount オプションを設定しないでください。

df コマンドを実行すると、Amazon FSx ファイルシステムのマウントが解除されたことを確認できます。このコマンドを実行すると、Linux ベースの Amazon EC2 インスタンスに現在マウントされているファイルシステムのディスク使用状況の統計情報が表示されます。アンマウントする Amazon FSx ファイルシステムが df コマンドの出力にリストされていない場合、ファイルシステムがアンマウントされていることを意味します。

Example – のマウント ステータスの識別 Amazon FSx ファイル・システムとアンマウント

$ df -TFilesystem Type 1K-blocks Used Available Use% Mounted on file-system-id.fsx.aws-region.amazonaws.com@tcp:/mountname /fsx 3547708416 61440 3547622400 1% /fsx

66

Page 72: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドEC2 スポットインスタンスの使用

/dev/sda1 ext4 8123812 1138920 6884644 15% /

$ umount /fsx

$ df -T

Filesystem Type 1K-blocks Used Available Use% Mounted on /dev/sda1 ext4 8123812 1138920 6884644 15% /

との作業 Amazon EC2 スポットインスタンスAmazon FSx for Lustre EC2 スポットインスタンスで使用して、 Amazon EC2 コストです。スポット インスタンスは、オン デマンド価格よりも低い価格で利用できる未使用の EC2 インスタンスです。 AmazonEC2 は、スポット価格が最高価格を超えた場合、スポットインスタンスの需要が高まった場合、またはスポットインスタンスの供給が減った場合にスポットインスタンスを中断できます。

Amazon EC2がスポットインスタンスを中断すると、スポットインスタンスの中断通知が提供されます。これにより、Amazon EC2が中断する前にインスタンスに2分間の警告が表示されます。詳細については、https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/using-spot-instances.htmlの「Linux インスタンス用 Amazon EC2 ユーザーガイドスポットインスタンス」を参照してください。

確実に Amazon FSx ファイル・システムはEC2スポット・インスタンス中断の影響を受けません。アンマウントすることをお勧めします。 Amazon FSx EC2スポット・インスタンスを終了または休止する前に、ファイル・システムに接続する必要があります。詳細については、ファイルシステムをアンマウントする (p. 66) を参照してください。

67

Page 73: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドバックアップでの作業

ファイル システムの管理Amazon FSx for Lustre は、管理タスクのパフォーマンスを簡素化する一連の機能を提供します。これには、ポイント・イン・タイム・バックアップを実行し、システムのルーチン・ソフトウェア・パッチングを実行するためのメンテナンス・ウィンドウを設定する機能が含まれます。

あなたの Amazon FSx for Lustre ファイル システム、 Amazon FSx 管理コンソール、AWS コマンドラインインタフェース(AWS CLI)、 Amazon FSx API、または AWS SDK。

トピック• バックアップでの作業 (p. 68)• Amazon FSx for Lustre メンテナンス ウィンドウ (p. 73)

バックアップでの作業付 Amazon FSx for Lustreは、 Amazon S3 耐久性のあるデータリポジトリです。 Amazon FSx バックアップは、ファイル・システム・コンシステントで、耐久性が高く、増分です。高い耐久性を確保するために、 Amazon FSx for Lustre バックアップを Amazon Simple Storage Service (Amazon S3)99.999999999% (11 9's) の耐久性があります。

Amazon FSx for Lustre バックアップは増分であり、自動日次バックアップまたは手動バックアップ機能を使用して生成されます。これは、最新のバックアップの保存後に変更されたファイル・システム上のデータのみが保存されることを意味します。これにより、バックアップの作成に要する時間が最小限に抑えられ、データの複製を行わないことでストレージ・コストを節約できます。バックアップを削除すると、そのバックアップに固有のデータのみが削除されます。各 Amazon FSx for Lustre バックアップには、バックアップから新しいファイル システムを作成するのに必要なすべての情報が含まれており、ファイル システムのポイント イン タイム スナップショットを効果的にリストアします。

ファイル・システムの定期的なバックアップの作成は、 Amazon FSx for Lustre は、ファイルシステムに対して を実行します。 Amazon FSx バックアップは、バックアップの保存とコンプライアンスのニーズをサポートします。との作業 Amazon FSx for Lustre バックアップの作成、バックアップからのファイル・システムのリストア、バックアップの削除など、バックアップは簡単です。

スクラッチ ファイル システムでは、バックアップはサポートされません。これらのファイル システムは、データの一時ストレージと短期処理用に設計されているためです。バックアップは、 Amazon S3 S3バケットがプライマリ データ リポジトリとして機能し、Lustreファイル システムが任意の時点で必ずしもフル データ セットを含むとは限らないため、バケットは、

トピック• のバックアップサポート Amazon FSx for Lustre (p. 68)• 手動バックアップでの作業 (p. 69)• 毎日の自動バックアップの処理 (p. 69)• バックアップのリストア (p. 70)• バックアップの削除 (p. 70)• カスタム バックアップ スケジュールの設定 (p. 71)

のバックアップサポート Amazon FSx for Lustreバックアップは、 Amazon FSx for Lustre 永続ファイル システム( Amazon S3 データ リポジトリ。

Amazon FSx スクラッチ ファイル システムは、データの一時ストレージおよび短期処理用に設計されているため、はスクラッチ ファイル システムのバックアップをサポートしていません。 Amazon FSx

68

Page 74: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド手動バックアップでの作業

は、Amazon S3バケットにリンクされたファイル システムのバックアップをサポートしていません。これは、S3バケットがプライマリ データ リポジトリとして機能し、ファイル システムには常にフル データセットが含まれているとは限らないためです。詳細については、「ファイル・システム導入オプションの使用 (p. 16)」および「データ リポジトリの使用 (p. 19)」を参照してください。

手動バックアップでの作業Amazon FSx for Lustre では、いつでもファイル システムのバックアップを手動で取得できます。これは、 Amazon FSx for Lustre 管理コンソール、API、または AWS Command Line Interface (CLI)。の手動バックアップ Amazon FSx ファイルシステムの有効期限が切れることはなく、保持したい限り使用できます。手動バックアップは、バックアップされたファイル システムを削除した後も保持されます。手動バックアップは、 Amazon FSx for Lustre また、コンソール、API、またはCLIは、 Amazon FSx. 詳細については、バックアップの削除 (p. 70) を参照してください。

手動バックアップの作成次の手順では、 Amazon FSx コンソール(既存のファイル システム用)。

ファイル システムの手動バックアップを作成するには

1. [ Amazon FSx for Lustre のコンソール https://console.aws.amazon.com/フルスケール/.2. コンソール ダッシュボードから、バックアップするファイル システムの名前を選択します。3. 差出人 アクション、選択 バックアップの作成.4. [ バックアップの作成 ダイアログ ボックスが表示されたら、バックアップの名前を入力します。バッ

クアップ名は、最大256 Unicode文字(英字、空白、数字、特殊文字を含む)まで指定できます。+ - =_ : /

5. [Create backup] を選択します。

これで、ファイル・システム・バックアップが作成されました。すべてのバックアップのテーブルは、Amazon FSx for Lustre 選択によるコンソール バックアップ 左側のナビゲーションに表示されます。バックアップに付けた名前を検索でき、テーブルフィルタは一致する結果のみを表示するようにできます。

この手順で説明したように、ユーザーが開始するバックアップを作成すると、そのバックアップには[User-Initiated]タイプがあり、作成中ステータスになります。 Amazon FSx がバックアップを作成します。バックアップの転送中にステータスが[転送中]に変わります。 Amazon S3完全に使用可能になるまで

毎日の自動バックアップの処理Amazon FSx for Lustre では、ファイル システムの自動日次バックアップを実行できます。これらの毎日の自動バックアップは、ファイル システムの作成時に設定された毎日のバックアップ ウィンドウ中に実行されます。毎日のバックアップ・ウィンドウのある時点で、バックアップ・プロセスが初期化されている間、ストレージI/Oが一時的に停止することがあります(通常は数秒未満)。毎日のバックアップ・ウィンドウを選択する際は、都合の良い時間帯を選択することをお勧めします。理想的には、この時間は、ファイル・システムを使用するアプリケーションの通常の稼働時間外です。

自動日次バックアップは、保存期間と呼ばれる一定期間保持されます。保存期間は0~90日の間で設定できます。保存期間を0(ゼロ)日に設定すると、毎日の自動バックアップがオフになります。自動日次バックアップのデフォルトの保存期間は0日です。ファイル・システムを削除すると、自動日次バックアップは削除されます。

Note

保存期間を0日に設定すると、ファイル システムが自動的にバックアップされることはありません。すべてのレベルの重要な機能が関連づけられているファイル システムには、自動日次バックアップを使用することを強くお勧めします。

69

Page 75: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドバックアップのリストア

[ AWS CLI またはAWS SDKの1つを使用してバックアップ・ウィンドウを変更し、 UpdateFileSystemAPI 操作または update-file-system CLI コマンド。 .

バックアップのリストア使用可能なバックアップを使用して新しいファイル システムを作成し、別のファイル システムのポイントイン タイム スナップショットを効果的にリストアできます。コンソールを使用してバックアップをリストアできます。 AWS CLI、または AWS SDK の 1 つ。バックアップを新しいファイル システムにリストアするには、新しいファイル システムを作成するのと同じ時間がかかります。バックアップからリストアされたデータは、ファイル・システムにロードされ、その間、レーテンシーがわずかに高くなります。

次の手順では、コンソールを使用してバックアップをリストアして新しいファイル システムを作成する方法について説明します。

Note

バックアップをリストアできるのは、元のファイル システムと同じ導入タイプ、ストレージの単位あたりのスループット、ストレージ容量のみです。

バックアップからファイル システムをリストアするには

1. [ Amazon FSx for Lustre のコンソール https://console.aws.amazon.com/フルスケール/.2. コンソールダッシュボードから、 バックアップ 左側のナビゲーションから移動します。3. リストアするバックアップを バックアップ テーブルを選択し、 バックアップのリストア.

ファイル システム作成ウィザードが開きます。このウィザードは、標準のファイル・システム作成ウィザードと同じですが、ファイル・システム構成(例:導入タイプ、ストレージ・ユニットあたりのスループット)を除きます。ただし、関連するVPCおよびバックアップの設定は変更できます。

4. 新しいファイル システムを作成するときと同様にウィザードを完了します。5. [Review and create] を選択します。6. 選択した設定を確認します。 Amazon FSx for Lustre ファイル システムを選択し、 ファイル・システ

ムの作成.

バックアップからリストアされ、新しいファイル・システムを作成しています。ステータスがAVAILABLEファイル システムは通常どおり使用できます。

バックアップの削除バックアップの削除は、永続的で回復不可能なアクションです。削除されたバックアップのデータもすべて削除されます。将来バックアップが必要ないことが確実でない限り、バックアップを削除しないでください。

バックアップを削除するには

1. [ Amazon FSx for Lustre のコンソール https://console.aws.amazon.com/フルスケール/.2. コンソールダッシュボードから、 バックアップ 左側のナビゲーションから移動します。3. から削除するバックアップを選択します。 バックアップ テーブルを選択し、 バックアップの削除.4. [ バックアップの削除 ダイアログ ボックスが表示されたら、バックアップのIDで、削除するバック

アップが識別されることを確認します。5. 削除するバックアップのチェックボックスがオンになっていることを確認します。6. 選択 バックアップの削除.

これで、バックアップとすべての含まれるデータが永久に削除され、回復不能になります。

70

Page 76: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドカスタム バックアップ スケジュールの設定

カスタム バックアップ スケジュールの設定Amazon FSx for Lustre は、毎日のバックアップ・ウィンドウ中に1日1回、ファイル・システムのバックアップを自動的に取得できます。 Amazon FSx は、これらの自動バックアップに対して指定した保存期間を適用します。また、ユーザーが開始するバックアップもサポートするため、いつでもバックアップを作成できます。

次に、カスタム・バックアップ・スケジュールを導入するためのリソースと構成を示します。カスタムバックアップ スケジュール設定は、 Amazon FSx for Lustre ファイル システムを、定義したカスタム スケジュールに基づいて構成します。例としては、6 時間に 1 回、週に 1 回などが挙げられます。また、このスクリプトは、指定した保存期間より古いバックアップの削除も構成します。

ソリューションでは、必要なすべてのコンポーネントが自動的に導入され、次のパラメータが使用されます。

• ファイル・システム• バックアップを実行するための CRON スケジュールパターン• バックアップの保存期間(日数)• バックアップ名タグ

CRON スケジュールパターンの詳細については、以下を参照してください。 ルールのスケジュール式 をAmazon CloudWatch ユーザーガイド.

アーキテクチャの概要このソリューションを導入すると、AWS Cloudで次のリソースが構築されます。

このソリューションでは、次の処理を実行します。

1. [ AWS CloudFormation テンプレート配布テンプレート: CloudWatch イベント、 Lambda 関数、Amazon SNS キュー、および IAM 役割。[ IAM 役割は、 Lambda 関数権限を呼び出し、 Amazon FSxfor Lustre API 操作。

2. [ CloudWatch イベントは、初期展開時に、CRON パターンとして定義したスケジュールで実行されます。このイベントは、ソリューション バックアップ マネージャを呼び出します Lambda 関数、Amazon FSx for Lustre CreateBackup バックアップを開始するためのAPIオペレーション。

3. バックアップ マネージャは、 DescribeBackup. その後、初期導入時に指定した保存期間よりも古いバックアップが削除されます。

4. バックアップ マネージャは、 Amazon SNS 最初の導入時に通知されるオプションを選択した場合、正常なバックアップのキューにキューが表示されます。障害発生時には、常に通知が送信されます。

71

Page 77: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドカスタム バックアップ スケジュールの設定

AWS CloudFormation テンプレートこのソリューションでは、 AWS CloudFormation 導入を自動化し、 Amazon FSx for Lustre カスタム・バックアップ・スケジュール設定ソリューション。このソリューションを使用するには、 fsx-スケジュール済み-バックアップ.テンプレート AWS CloudFormation テンプレート。

自動デプロイ次の手順では、このカスタム バックアップ スケジューリング ソリューションを構成および導入します。導入には約5分かかります。開始する前に、 Amazon FSx for Lustre で実行しているファイル システムAmazon Virtual Private Cloud (Amazon VPC)をAWSアカウントにインストールします。これらのリソースの作成のより多くの情報については、見なさい Amazon FSx for Lustre の使用を開始する (p. 8).

Note

このソリューションを実装すると、関連するAWSサービスに対する課金が発生します。詳細については、これらのサービスの料金詳細ページをご覧ください。

カスタム・バックアップ・ソリューション・スタックを起動するには

1. 以下をダウンロード fsx-スケジュール済み-バックアップ.テンプレート AWS CloudFormation テンプレート。作成の詳細については、 AWS CloudFormation スタック、参照 AWS CloudFormationコンソールでのスタックの作成 を AWS CloudFormation ユーザーガイド.

Note

デフォルトでは、このテンプレートは 米国東部(バージニア北部) AWS 地域。 AmazonFSx for Lustre は現在、特定のAWS地域でのみ利用可能です。AWS 地域でこのソリューションを起動する必要があります。 Amazon FSx for Lustre が利用可能です。詳細については、の Amazon FSx セクションを参照してください。 AWSの地域とエンドポイント を AWS一般リファレンス。

2. 対象 パラメータで、テンプレートのパラメータを確認し、ファイル システムのニーズに合わせて変更します。このソリューションでは、次のデフォルト値を使用します。

パラメータ デフォルト値 説明

Amazon FSx for Lustre ファイル システムID

デフォルト値なし バックアップするファイル システムのファイル システムID。

バックアップのCRONスケジュール パターン。

0 0/4 * * * ?* を実行するスケジュールCloudWatch イベントを、新しいバックアップをトリガーし、保存期間外に古いバックアップを削除します。

バックアップ保存(日) 0 ユーザーが開始するバックアップを保持する日数。[ Lambdaファンクションは、ユーザーが開始したこの日数よりも古いバックアップを削除します。

バックアップの名前 ユーザー スケジュール バックアップ

これらのバックアップの名前( バックアップ名 のカラムAmazon FSx for Lustre 管理コンソール。

バックアップ通知 あり バックアップが正常に開始されたときに通知を受けるかどうか

72

Page 78: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドメンテナンスウィンドウ

パラメータ デフォルト値 説明を選択します。エラーがある場合は、常に通知が送信されます。

E メールアドレス デフォルト値なし SNS 通知を購読するメール アドレス。

3. [次] を選択します。4. 対象 オプション、選択 次へ.5. 対象 レビュー設定を確認して確認します。テンプレートの作成を承認するチェックボックスをオンに

する必要があります。 IAM リソース。6. [Create] を選択してスタックをデプロイします。

AWS CloudFormation コンソールの [Status (ステータス)] 列でスタックのステータスを表示できます。次のステータスが表示されます。 作成_完了 約5分で完了します。

追加オプション[ Lambda このソリューションによって作成された機能で、複数の Amazon FSx for Lustre ファイルシステム。ファイル システムIDが Amazon FSx for Lustre 関数、入力JSON内の CloudWatch イベント。に渡されたデフォルトのJSON Lambda 関数は次のとおりです。ここで、 FilesystemId およびSuccessNotification 起動時に指定したパラメータから渡されます。 AWS CloudFormation スタック。

{ "start-backup": "true", "purge-backups": "true", "filesystem-id": "${FilesystemId}", "notify_on_success": "${SuccessNotification}"}

追加の Amazon FSx for Lustre ファイル システム、別の CloudWatch イベントルール。これは、スケジュールイベントソースを使用して実行し、 Lambda このソリューションによってターゲットとして作成された関数。選択 定数(JSONテキスト) 以下 入力の設定. JSON入力の場合は、 Amazon FSxfor Lustre ファイル・システムをバックアップする ${FilesystemId}. また、 Yes 又は No 代わりに${SuccessNotification} 上のJSONで参照できます。

追加 CloudWatch 手動で作成するイベント ルールは、 Amazon FSx for Lustre カスタム スケジュール バックアップ ソリューション AWS CloudFormation スタック。したがって、スタックを削除しても削除されません。

Amazon FSx for Lustre メンテナンス ウィンドウAmazon FSx for Lustre 管理するLustreソフトウェアに対して、ルーチンのソフトウェアパッチを実行します。メンテナンス ウィンドウは、このソフトウェア パッチの適用を週のどの曜日と時刻に行うかを制御する機会です。

パッチの適用はまれであり,通常は数週間に1回である。パッチの適用に必要なメンテナンス時間は、30分未満です。この数分の間、ファイルシステムが一時的に使用できなくなります。

ファイル・システムの作成時にメンテナンス・ウィンドウを選択します。時間の設定がない場合は、30 分のデフォルト ウィンドウが割り当てられます。

73

Page 79: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドメンテナンスウィンドウ

[ Amazon FSx 管理コンソール、 AWS CLI または AWS SDK の 1 つを使用して、ファイル システムのメンテナンス ウィンドウを変更します。

コンソールを使用してメンテナンス ウィンドウを変更するには

1. Open the Amazon FSx console at https://console.aws.amazon.com/fsx/.2. 選択 ファイル・システム クリックします。3. メンテナンス ウィンドウを変更するファイル システムを選択します。[ファイル システムの詳細]ペー

ジが表示されます。4. _を選択 メンテナンス タブ。メンテナンス ウィンドウ 設定 パネルが表示されます。5. 選択 編集 メンテナンスウィンドウを開始する新しい日時を入力します。6. [Save] を選択して変更を保存します。新しいメンテナンス開始時刻が 設定 パネル。

[ AWS CLI またはAWS SDKの1つを使用して、 UpdateFileSystem (ファイルシステムの更新) 操作。

次のコマンドを実行して、ファイル システムIDをファイル システムのIDに、日時をウィンドウの開始日時に置き換えます。

aws fsx update-file-system --file-system-id fs-01234567890123456 --lustre-configuration WeeklyMaintenanceStartTime=1:01:30

74

Page 80: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドCloudWatch のモニタリング

Amazon FSx for Lustre のモニタリング

付 Amazon FSx for Lustreを使用して、ファイル システムのアクティビティを監視できます。 AmazonCloudWatch メトリック。

Amazon CloudWatch によるモニタリングAmazon CloudWatch を使用してファイルシステムをモニタリングすることで、Amazon FSx for Lustre から未加工データを収集し、リアルタイムに近い読み取り可能なメトリクスに加工することができます。これらの統計は15か月間保持されるため、履歴情報にアクセスし、Webアプリケーションやサービスのパフォーマンスに関するより良い視点を得ることができます。デフォルトでは、Amazon FSx for Lustre メトリクスデータは 1 分間隔で CloudWatch に自動的に送信されます。詳細情報については、 CloudWatch、参照 Amazon CloudWatchとは? を Amazon CloudWatch ユーザーガイド.

同様 Amazon EFS、 Amazon S3、および Amazon EBS、 Amazon FSx for Lustre CloudWatch メトリクスは生データとして報告される バイト数. バイト数は、単位の 10 進数 または 2 進数の倍数のどちらにも丸められません。

Amazon FSx for Lustre 次のメトリックを AWS/FSx 名前空間 CloudWatch. 各メトリックについて、Amazon FSx for Lustre 1分あたりのディスクあたりのデータ・ポイントを生成します。アグリゲーションファイルシステムの詳細を表示するには、 Sum 統計です。ファイル・サーバは、 Amazon FSx for Lustreファイル・システムは複数のディスクに分散されます。

メトリクス 説明

DataReadBytes ファイル システムの読み取り操作のバイト数。

[ Sum statisticは、期間中の読み取り処理に関連づけられた合計バイト数です。[ Minimum statisticは、単一のディスク上の読み取り処理に関連づけられた最小バイト数です。[ Maximum statisticは、ディスク上の読み取り処理に関連づけられた最大バイト数です。[ Average statisticは、ディスクあたりの読み取り処理に関連づけられた平均バイト数です。[ SampleCount statisticはディスク数です。

期間の平均スループット(バイト/秒)を計算するには、 Sum 統計をその期間の秒数で表します。

単位:

• バイト Sum、 Minimum、 Maximum、および Average.• SampleCount では、回です。

有効な統計: Sum、 Minimum、 Maximum、 Average、 SampleCount

DataWriteBytes ファイル システムの書き込み処理のバイト数。

Sum 統計は書き込みオペレーションと関連付けられる総バイト数です。[Minimum statisticは、単一のディスク上の書き込み処理に関連づけられた最小バイト数です。[ Maximum statisticは、ディスク上の書き込み処理に関連づ

75

Page 81: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドCloudWatch のモニタリング

メトリクス 説明けられた最大バイト数です。[ Average statisticは、ディスクあたりの書き込み処理に関連づけられた平均バイト数です。[ SampleCount statisticはディスク数です。

期間の平均スループット(バイト/秒)を計算するには、 Sum 統計をその期間の秒数で表します。

単位:

• バイト Sum、 Minimum、 Maximum、および Average.• SampleCount では、回です。

有効な統計: Sum、 Minimum、 Maximum、 Average、 SampleCount

DataReadOperations 読み取り処理の数。

[ Sum statisticは、読み取り処理の合計数です。[ Minimum statisticは、単一のディスク上の読み取り処理の最小数です。[ Maximum statisticは、ディスク上の読み取り処理の最大数です。[ Average statisticは、ディスクあたりの平均読み取り処理数です。[ SampleCount statisticはディスク数です。

一定期間の平均読み取り処理数(1秒あたりの処理数)を計算するには、 Sum統計をその期間の秒数で表します。

単位:

• バイト Sum、 Minimum、 Maximum、および Average.• SampleCount では、回です。

有効な統計: Sum、 Minimum、 Maximum、 Average、 SampleCount

DataWriteOperations 書き込み処理の数。

[ Sum statisticは、書き込み処理の合計数です。[ Minimum statisticは、単一のディスク上の書き込み処理の最小数です。[ Maximum statisticは、ディスク上の書き込み処理の最大数です。[ Average statisticは、ディスクあたりの平均書き込み処理数です。[ SampleCount statisticはディスク数です。

期間の平均書き込み処理(秒あたりの処理数)を計算するには、 Sum 統計をその期間の秒数で表します。

単位:

• バイト Sum、 Minimum、 Maximum、および Average.• SampleCount では、回です。

有効な統計: Sum、 Minimum、 Maximum、 Average、 SampleCount

76

Page 82: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドAmazon FSx for Lustre のディメンション

メトリクス 説明

MetadataOperations メタデータ操作の数。

[ Sum statistic は、メタデータ操作のカウントです。[ Minimum statisticは、ディスクあたりのメタデータ オペレーションの最小数です。[ Maximumstatisticは、ディスクあたりのメタデータ操作の最大数です。[ Averagestatisticは、ディスクあたりのメタデータ操作の平均数です。[ SampleCountstatisticはディスク数です。

期間の平均メタデータ操作数(1秒あたりの操作数)を計算するには、 Sum 統計をその期間の秒数で表します。

単位:

• カウント対象 Sum、 Minimum、 Maximum、 Average、およびSampleCount.

有効な統計: Sum、 Minimum、 Maximum、 Average、 SampleCount

FreeDataStorageCapacity使用可能なストレージ容量。

[ Sum statisticは、ファイル システムで使用可能な合計バイト数です。[ Minimum statisticは、最大ディスクで使用可能な合計バイト数です。[Maximum statisticは、使用可能なストレージが最も多いディスクで使用可能な合計バイト数です。[ Average statisticは、ディスクあたりの使用可能な平均バイト数です。[ SampleCount statisticはディスク数です。

単位:

• バイト Sum、 Minimum、 Maximum.• SampleCount では、回です。

有効な統計: Sum、 Minimum、 Maximum、 Average、 SampleCount

Amazon FSx for Lustre のディメンションAmazon FSx for Lustre メトリックは、 FSx 単一の属性のメトリックを提供し、 FileSystemId.ファイル システムのIDは、 aws fsx describe-file-systems AWS CLI コマンドをfs-01234567890123456.

使い方 Amazon FSx for Lustre 指標Amazon FSx for Lustre によってレポートされるメトリクスが提供する情報は、さまざまな方法で分析できます。次のリストは、メトリックの一般的な使用例を示しています。ここで紹介するのは開始するための提案事項です。すべてを網羅しているわけではありません。

どのように判断するか... 関連するメトリクス

ファイル・システムのスループットは?

SUM(DataReadBytes + DataWriteBytes)/期間(秒)

77

Page 83: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドCloudWatch メトリクスへのアクセス

どのように判断するか... 関連するメトリクス

ファイル・システムのIOPSは?

合計IOPS = SUM(DataReadOperations + DataWriteOperations +MetadataOperations)/期間(秒)

CloudWatch メトリクスへのアクセスCloudWatch の Amazon FSx for Lustre メトリクスはさまざまな方法で表示できます。このメトリックスを表示するには、CloudWatch コンソールを使用します。アクセスするには、CloudWatch CLI またはCloudWatch API を使用します。次の手順は、さまざまなツールを使用してメトリクスにアクセスする方法を示しています。

CloudWatch コンソールを使用してメトリクスを表示するには

1. https://console.aws.amazon.com/cloudwatch/ で CloudWatch コンソールを開きます。2. ナビゲーションペインで、[Metrics (メトリクス)] を選択します。3. [ FSx(FSx) 名前空間。4. (オプション) メトリクスを表示するには、検索フィールドにその名前を入力します。5. (オプション) ディメンション別にフィルタリングするには、[FileSystemId] を選択します。

AWS CLI からメトリックスにアクセスするには

• list-metrics コマンドを --namespace "AWS/FSx" 名前空間と共に使用します。詳細については、AWS CLI Command Reference を参照してください。

CloudWatch API からメトリクスにアクセスするには

• 通話 GetMetricStatistics. 詳細については、以下を参照してください。 Amazon CloudWatchAPI リファレンス.

Amazon FSx for Lustre をモニタリングするためのCloudWatch アラームの作成

CloudWatch アラームを作成できます。これは、アラームの状態が変わったときに Amazon SNS メッセージを送信します。アラームは、指定期間にわたって単一のメトリクスを監視し、その値と複数期間に対するしきい値との比較結果に基づいて 1 つ以上のアクションを実行します。アクションは、Amazon SNS トピックまたは Auto Scaling ポリシーに送信される通知です。

アラームは、持続している状態変化に対してのみアクションを呼び出します。CloudWatch アラームは、単に特定の状態にあるというだけでアクションを呼び出すわけではありません。状態が変わり、それが指定した数の期間にわたって持続している必要があります。

次の手順は、Amazon FSx for Lustre のアラームを作成する方法について説明しています。

CloudWatch コンソールを使用してアラームを設定するには

1. AWS マネジメントコンソール にサインインした後、https://console.aws.amazon.com/cloudwatch/ にある CloudWatch コンソールを開きます。

2. [Create Alarm] を選択します。これにより、アラームの作成ウィザードが起動します。

78

Page 84: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドアラームの作成

3. 選択 FSxメトリクス スクロールし、 Amazon FSx for Lustre メトリック] をクリックして、アラームを配置するメトリックを検索します。_のみを表示するには Amazon FSx for Lustre このダイアログボックスで、ファイル システムのファイル システムIDを検索します。アラームを作成するメトリックを選択し、 次へ.

4. [ 氏名、 説明、 いつでも 値を指定します。5. アラーム状態に達したときに CloudWatch から E メールを受け取るには、[アラームが次の時:] で、[状

態: 警告] を選択します。[通知の送信先:] で、既存の SNS トピックを選択します。[トピックの作成]を選択すると、新しいメールサブスクリプションリスト用の名前とメールアドレスを設定できます。このリストは保存され、今後のアラームのためにこのボックスに表示されます。

Note

以下を使用する場合: トピックを作成 新しい Amazon SNS 通知を送信する前に、電子メールアドレスを確認してください。メールは、アラームがアラーム状態になったときにのみ送信されます。アラーム状態になったときに、E メールアドレスの検証がまだ完了していない場合は、そのアドレスで通知を受け取ることはできません。

6. 作成しようとしているアラームを アラームのプレビュー 領域。期待どおりに表示される場合は、 アラームの作成.

AWS CLI を使用してアラームを設定するには

• 通話 put-metric-alarm. 詳細については、以下を参照してください。 AWS CLI CommandReference.

CloudWatch API を使用してアラームを設定するには

• 通話 PutMetricAlarm. 詳細については、以下を参照してください。 Amazon CloudWatch API リファレンス.

79

Page 85: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドデータ保護

Amazon FSx for Lustre のセキュリティ

AWS では、クラウドのセキュリティが最優先事項です。AWS のお客様は、セキュリティを最も重視する組織の要件を満たすように構築されたデータセンターとネットワークアーキテクチャから利点を得られます。

セキュリティは、AWS とお客様の間の共有責任です。共有責任モデルでは、これをクラウドのセキュリティおよびクラウド内のセキュリティとして説明しています。

• クラウドのセキュリティ – AWS は、AWS クラウド内で AWS サービスを実行するインフラストラクチャを保護する責任を担います。また、AWS は、使用するサービスを安全に提供します。AWS コンプライアンスプログラムの一環として、サードパーティーの監査担当者が定期的にセキュリティの有効性をテストおよび検証しています。Amazon FSx for Lustre に適用されるコンプライアンスプログラムの詳細については、「コンプライアンスプログラムによる AWS 対象範囲内のサービス」を参照してください。

• クラウド内のセキュリティ – お客様の責任はお客様が使用する AWS のサービスによって決まります。また、お客様は、お客様のデータの機密性、企業の要件、および適用可能な法律および規制などの他の要因についても責任を担います。

このドキュメントでは、Amazon FSx for Lustre を使用する際に責任共有モデルを適用する方法について説明します。以下のトピックでは、セキュリティおよびコンプライアンスの目的を達成するように AmazonFSx を設定する方法について説明します。また、Amazon FSx for Lustre リソースのモニタリングやセキュリティ保護に役立つ他の AWS のサービスの使用方法についても説明します。

以下は、Amazon FSx を操作する際のセキュリティ上の考慮事項についての説明です。

トピック• Amazon FSx for Lustre でのデータ保護 (p. 80)• ファイル・システム・アクセス制御 Amazon VPC (p. 84)• Amazon VPC ネットワークACL (p. 88)• 管理アクセス制御 IAM の Amazon FSx for Lustre リソース (p. 88)• Amazon FSx for Lustre のコンプライアンス検証 (p. 93)

Amazon FSx for Lustre でのデータ保護Amazon FSx for Lustre は、データ保護の規制やガイドラインを含む AWS 責任共有モデルに準拠しています。AWS は、AWS のすべてのサービスを実行するグローバルなインフラストラクチャを保護する責任を担います。また、AWS は、カスタマーコンテンツおよび個人データを取り扱うためのセキュリティ構成の統制など、このインフラストラクチャ上でホストされるデータ管理を維持します。データコントローラーまたはデータプロセッサとして機能する AWS のお客様と APN パートナーは、AWS クラウドに保存された個人データに対する責任を担います。

データ保護目的の場合、AWS アカウント認証情報を保護して IAM (AWS Identity and AccessManagement) で個々のユーザーアカウントをセットアップし、そのユーザーに各自の職務を果たすために必要なアクセス許可のみが付与されるようにすることをお勧めします。また、以下の方法でデータを保護することをお勧めします。

• 各アカウントで多要素認証 (MFA) を使用します。

80

Page 86: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドAmazon FSx でのデータの暗号化

• SSL/TLS を使用して AWS リソースと通信します。• AWS CloudTrail で API とユーザーアクティビティログをセットアップします。• AWS 暗号化ソリューションを、AWS サービス内のすべてのデフォルトのセキュリティ管理と一緒に使

用します。• Amazon Macie などの高度なマネージドセキュリティサービスを使用します。これにより、Amazon S3

に保存される個人データの検出と保護が支援されます。

顧客のアカウント番号などの機密の識別情報を、[名前] フィールドなどの自由形式のフィールドに配置しないことを強くお勧めします。これは、コンソール、API、AWS CLI、または AWS SDK で Amazon FSxまたは他の AWS サービスを使用する場合も同様です。Amazon FSx や他のサービスに入力したすべてのデータは、診断ログに取り込まれる可能性があります。外部サーバーへの URL を指定するときは、そのサーバーへのリクエストを検証するための認証情報を URL に含めないでください。

データ保護の詳細については、 AWS 共有責任モデルとGDPR のブログ投稿 AWS セキュリティブログ.

トピック• Amazon FSx for Lustre でのデータの暗号化 (p. 81)• ネットワーク間のプライバシー (p. 83)

Amazon FSx for Lustre でのデータの暗号化Amazon FSx for Lustre は、保存データの暗号化と転送中の暗号化という、ファイル・システムの暗号化の2つの形式をサポートしています。保存データの暗号化は、 Amazon FSx ファイル システム。転送中のデータの暗号化は、 Amazon FSx ファイルシステムの Amazon EC2 インスタンス 機能をサポートします。

暗号化を使用する場合保存データおよびメタデータの暗号化を必要とする企業ポリシーまたは規制ポリシーの対象となる場合は、暗号化ファイル・システムを作成し、転送中のデータの暗号化を使用してファイル・システムをマウントすることをお勧めします。

Amazon FSx for Lustre を使用した暗号化の詳細については、次の関連するトピックを参照してください。

• 作成 Amazon FSx for Lustre ファイル・システム (p. 8)• Amazon FSx for Lustre API 許可: アクション、リソース、および条件のリファレンス (p. 91)

トピック• 保存データの暗号化 (p. 81)• 転送中のデータの暗号化 (p. 82)• Amazon FSx for Lustre で AWS KMS を使用する方法 (p. 82)

保存データの暗号化保存データの暗号化は、 Amazon FSx for Lustre ファイル システム( AWS マネジメントコンソール、AWS CLIまたはプログラムで Amazon FSx APIまたはAWS SDKの1つ。組織では、特定の分類に合致する、または特定のアプリケーション、ワークロード、環境に関連するすべてのデータを暗号化する必要が生じる場合があります。永続ファイル システムを作成する場合は、 AWS KMS データを暗号化するためのキーです。スクラッチ ファイル システムを作成する場合、データは、 によって管理されるキーを使用して暗号化されます。 Amazon FSx. コンソールを使用して保存時に暗号化されるファイル システムの作成の詳細については、以下を参照してください。 作成 Amazon FSx for Lustre ファイル・システム (p. 8).

81

Page 87: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドAmazon FSx でのデータの暗号化

Note

AWS のキー管理のインフラストラクチャは、連邦情報処理標準 (FIPS) 140-2 で認可された暗号化アルゴリズムを使用します。このインフラストラクチャは、米国国立標準技術研究所 (NIST)800-57 推奨事項に準拠しています。

手順の詳細については、 Amazon FSx for Lustre 使用 AWS KMS、参照 Amazon FSx for Lustre で AWSKMS を使用する方法 (p. 82).

保存時の暗号化の方法

暗号化されたファイルシステムの場合、データとメタデータはファイルシステムに書き込まれる前に自動的に暗号化されます。同様に、データとメタデータが読み取られ、アプリケーションに提示される前に自動的に復号されます。このプロセスは Amazon FSx for Lustre で透過的に処理されるため、アプリケーションを変更する必要はありません。

Amazon FSx for Lustre は、業界標準のAES-256暗号化アルゴリズムを使用して、保存中のファイル・システム・データを暗号化します。詳細については、https://docs.aws.amazon.com/kms/latest/developerguide/crypto-intro.html のAWS Key Management Service Developer Guide暗号化の基礎を参照してください。

転送中のデータの暗号化Scratch 2および永続ファイル・システムは、 Amazon EC2 転送中の暗号化をサポートするインスタンス。転送中の暗号化をサポートするEC2インスタンスについては、以下を参照してください。 転送中の暗号化 を Linux インスタンス用 Amazon EC2 ユーザーガイド.

スクラッチ2および永続ファイル・システムのデータの転送中暗号化は、次の場所で使用できます。 AWS地域。

AWS リージョン キズ2 永続

米国東部 (オハイオ) ✓ ✓

米国東部(バージニア北部) ✓ ✓

米国西部 (オレゴン)、米国西部(ロサンゼルス)を除く

✓ ✓

欧州 (アイルランド) ✓ ✓

欧州 (フランクフルト) ✓

アジアパシフィック (シンガポール)

Amazon FSx for Lustre で AWS KMS を使用する方法Amazon FSx for Lustre は、 AWS Key Management Service (AWS KMS) を使用して、保存データを暗号化するための鍵管理を行います。 Amazon FSx では、CMK(カスタマー マスター キー)を使用して、次の方法でファイル システムを暗号化します。

• 保存データの暗号化 – Amazon FSx for Lustre AWS が管理する CMK のいずれかである単一の顧客マスターキー (CMK) を使用します。 Amazon FSx またはカスタムCMKを使用して、ファイル・システム・データを暗号化および復号化します。LustreファイルシステムのすべてのスクラッチFSxは、サービスによって管理されるキーで保存時に暗号化されます。データはXTS-AES-256ブロック暗号を使用して暗号化されます。データは、ファイル・システムに書き込まれる前に自動的に暗号化され、読み取り時に自

82

Page 88: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドネットワーク間のプライバシー

動的に復号化されます。保存中のスクラッチ ファイル システムの暗号化に使用されるキーは、ファイルシステムごとに一意であり、ファイル システムの削除後に破棄されます。永続ファイル システムの場合、データの暗号化と復号化に使用するCMKを選択します。 Amazon FSx またはカスタムCMK。永続ファイル システムを作成するときに使用するキーを指定します。この CMK の許可を有効化、無効化、または削除することができます。この CMK は、以下の 2 つのタイプのいずれかになります。• Amazon FSx 用の AWS 管理の CMK – これはデフォルトの CMK です。CMK の作成と保存に対して

料金はかかりませんが、使用に対しては料金がかかります。詳細については、以下を参照してください。 AWSキー管理サービスの価格設定.

• カスタマー管理の CMK – これは、キーポリシーと許可を複数のユーザーまたはサービスに設定できる、最も柔軟性のあるマスターキーです。CMK 作成の詳細については、https://docs.aws.amazon.com/kms/latest/developerguide/create-keys.html のAWS Key Management ServiceDeveloper Guideキーの作成を参照してください。

カスタマー管理の CMK をファイルデータの暗号化と復号のマスターキーとして使用している場合、キーローテーションを有効にできます。キーローテーションを有効にすると、AWS KMS は、1 年に1 回、キーを自動的にローテーションします。また、顧客管理のCMKでは、いつでもCMKへのアクセスを無効化、再有効化、削除、または無効にするタイミングを選択できます。

Important

Amazon FSx では、対称 CMK のみを使用できます。非対称 CMK を Amazon FSx.

AWS KMS の Amazon FSx キーポリシー

キーポリシーは、CMK へのアクセスを制御するための主要な方法です。キー ポリシーの詳細については、以下を参照してください。 AWS KMSでのキーポリシーの使用 を AWS Key Management ServiceDeveloper Guide. 次のリストでは、すべての AWS KMS–サポートされている関連権限 Amazon FSx 暗号化された保存ファイル・システムの場合:

• kms:Encrypt – (オプション) プレーンテキストを暗号化テキストに暗号化します。この権限は、デフォルトのキーポリシーに含まれます。

• kms:Decrypt – (必須) 暗号化テキストを復号します。以前に暗号化された暗号化テキストはプレーンテキストです。この権限は、デフォルトのキーポリシーに含まれます。

• kms:ReEncrypt – (オプション) クライアント側にデータのプレーンテキストを公開することなく、サーバー側で新しいカスタマーマスターキー (CMK) を使用してデータを暗号化します。データを復号してから再暗号化します。この権限は、デフォルトのキーポリシーに含まれます。

• kms:GenerateDataKeyWithoutPlaintext – (必須) CMK で暗号化されたデータ暗号化キーを返します。この権限は、kms:GenerateDataKey* のデフォルトのキーポリシーに含まれます。

• kms:CreateGrant – (必須) キーを使用できるユーザーとその条件を指定する権限をキーに追加します。許可は、キーポリシーの代替のアクセス許可メカニズムです。権限の詳細については、以下を参照してください。 権限の使用 を AWS Key Management Service Developer Guide. この権限は、デフォルトのキーポリシーに含まれます。

• kms:DescribeKey – (必須) 指定されたカスタマーマスターキーに関する詳細情報を提供します。この権限は、デフォルトのキーポリシーに含まれます。

• kms:ListAliases – (オプション) アカウント内のキーエイリアスをすべて一覧表示します。コンソールを使用して暗号化されたファイルシステムを作成すると、このアクセス許可により KMS マスターキーの選択リストが設定されます。最高のユーザーエクスペリエンスを提供するこのアクセス許可を使用することをお勧めします。この権限は、デフォルトのキーポリシーに含まれます。

ネットワーク間のプライバシーこのトピックでは、Amazon FSx でサービスから他のロケーションまでの接続を保護する方法について説明します。

83

Page 89: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドファイル・システム・アクセス制御 Amazon VPC

サービスとオンプレミスクライアント間のトラフィック AmazonFSxプライベートネットワークと AWS との間には 2 つの接続オプションがあります。

• AWS Site-to-Site VPN 接続。詳細については、「AWS Site-to-Site VPN とは」を参照してください。• AWS Direct Connect 接続。詳細については、「AWS Direct Connect とは」を参照してください。

ネットワークを介した Amazon FSx へのアクセスは、AWS が発行する API を利用して行われます。クライアントは Transport Layer Security (TLS) 1.0 をサポートしている必要があります。TLS 1.2 以上をお勧めします。また、Ephemeral Diffie-Hellman (DHE) や Elliptic Curve Ephemeral Diffie-Hellman (ECDHE) などの Perfect Forward Secrecy (PFS) を使用した暗号スイートもクライアントに対応している必要があります。これらのモードは、Java 7 以降など、最近のほとんどのシステムでサポートされています。また、IAM 元本。または、 AWS Security Token Service (STS)は、一時的にセキュリティ認証情報を生成して要求に署名します。

ファイル・システム・アクセス制御 Amazon VPCアン Amazon FSx ファイル・システムは、仮想プライベート・クラウド(VPC)に存在する柔軟なネットワーク・インタフェースを介してアクセスでき、 Amazon VPC ファイル システムに関連づけるサービス。あなたの Amazon FSx ファイル システムのDNS名(ファイル システムのネットワーク インタフェースにマッピングされる)。関連づけられたVPCまたはピアされたVPC内のリソースのみが、ファイル システムのネットワーク インタフェースにアクセスできます。詳細については、以下を参照してください。 とはAmazon VPC? を Amazon VPC ユーザーガイド.

Warning

変更や削除は、 Amazon FSx 柔軟なネットワーク・インターフェース。ネットワーク インタフェースを変更または削除すると、VPCとファイル システム間の接続が永続的に失われることがあります。

Amazon VPC セキュリティグループVPC内のファイル システムのネットワーク インタフェースを通過するネットワーク トラフィックをさらに制御するには、セキュリティ グループを使用してファイル システムへのアクセスを制限します。A セキュリティグループ は仮想ファイアウォールとして動作し、関連するリソースのトラフィックを制御します。この場合、関連づけられたリソースはファイル システムのネットワーク インタフェースです。また、VPCセキュリティ グループを使用して、Lustreクライアントのネットワーク トラフィックを制御します。

インバウンドおよびアウトバウンドルールを使用したアクセスの制御セキュリティグループを使用して Amazon FSx 受信トラフィックと送信ルールを制御して、ファイル システムとLustreクライアントからの送信トラフィックを制御するインバウンド ルールを追加します。セキュリティ・グループの適切なネットワーク・トラフィック・ルールが、 Amazon FSx ファイルシステムのファイル共有を、サポート対象のコンピューティングインスタンス上のフォルダに保存します。

セキュリティグループルールの詳細については、以下を参照してください。 セキュリティグループルールを Linux インスタンス用 Amazon EC2 ユーザーガイド.

セキュリティグループを作成するには、 Amazon FSx ファイル・システム

1. [ Amazon EC2 のコンソール https://console.aws.amazon.com/EC2.

84

Page 90: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドAmazon VPC セキュリティグループ

2. ナビゲーションペインで、[Security Groups] を選択します。3. [Create Security Group] を選択します。4. セキュリティグループの名前と説明を指定します。5. 対象 VPC(バイスプレジデント)から、 Amazon FSx ファイル システムを使用して、そのVPC内にセ

キュリティ グループを作成します。6. [作成] を選択して、セキュリティグループを作成します。

次に、作成したセキュリティグループにインバウンドルールを追加して、 Amazon FSx for Lustre ファイル サーバ。

インバウンドルールをセキュリティグループに追加するには

1. 作成したセキュリティグループがまだ選択されていない場合は、選択します。[Actions (アクション)]メニューで、[Edit inbound rules (インバウンドルールの編集)] を選択します。

2. 次のインバウンドルールを追加します。

タイプ プロトコル ポート範囲 ソース 説明

カスタム TCPルール

TCP 988人 選択 カスタム 作成したセキュリティグループのセキュリティグループIDを入力します。

次の間のLustreトラフィックを許可Amazon FSx forLustre ファイルサーバ

カスタム TCPルール

TCP 988人 選択 カスタム そして、Lustreクライアントに関連付けられたセキュリティグループのセキュリティグループIDを入力します。

次の間のLustreトラフィックを許可Amazon FSx forLustre ファイル・サーバとLustreクライアント

カスタム TCPルール

TCP 1021-1023 選択 カスタム 作成したセキュリティグループのセキュリティグループIDを入力します。

次の間のLustreトラフィックを許可Amazon FSx forLustre ファイルサーバ

カスタム TCPルール

TCP 1021-1023 選択 カスタム そして、Lustreクライアントに関連付けられたセキュリティグループのセキュリティグループIDを入力します。

次の間のLustreトラフィックを許可Amazon FSx forLustre ファイル・サーバとLustreクライアント

3. 選択 保存 新しいインバウンドルールを保存して適用します。

デフォルトでは、セキュリティグループルールはすべてのアウトバウンドトラフィックを許可します(すべて、0.0.0.0/0)。セキュリティグループがすべてのアウトバウンドトラフィックを許可しない場合は、次のアウトバウンドルールをセキュリティグループに追加します。これらのルールは、次の間のトラフィック

85

Page 91: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドAmazon VPC セキュリティグループ

を許可します。 Amazon FSx for Lustre ファイル・サーバとLustreクライアント、およびLustreファイル・サーバ間のファイル・サーバです。

アウトバウンドルールをセキュリティグループに追加するには

1. インバウンドルールを追加したばかりのセキュリティグループを選択します。対象 アクション、選択送信ルールの編集.

2. 次のアウトバウンドルールを追加します。

タイプ プロトコル ポート範囲 ソース 説明

カスタム TCPルール

TCP 988人 選択 カスタム 作成したセキュリティグループのセキュリティグループIDを入力します。

次の間のLustreトラフィックを許可する Amazon FSxfor Lustre ファイル サーバ

カスタム TCPルール

TCP 988人 選択 カスタム そして、Lustreクライアントに関連付けられているセキュリティ グループのセキュリティ グループIDを入力します。

次の間のLustreトラフィックを許可する Amazon FSxfor Lustre ファイル・サーバとLustreクライアント

カスタム TCPルール

TCP 1021-1023 選択 カスタム 作成したセキュリティグループのセキュリティグループIDを入力します。

次の間のLustreトラフィックを許可Amazon FSx forLustre ファイルサーバ

カスタム TCPルール

TCP 1021-1023 選択 カスタム そして、Lustreクライアントに関連付けられたセキュリティグループのセキュリティグループIDを入力します。

次の間のLustreトラフィックを許可Amazon FSx forLustre ファイル・サーバとLustreクライアント

3. 選択 保存 新しい送信ルールを保存して適用します。

セキュリティグループを Amazon FSx ファイルシステム

1. [ Amazon FSx のコンソール https://console.aws.amazon.com/フルスケール/.2. コンソール・ダッシュボードで、ファイル・システムを選択して詳細を表示します。3. [ ネットワークとセキュリティ ]タブで、ファイル システムのネットワーク インタフェースID(たとえ

ば、 ENI-01234567890123456)。すると、 Amazon EC2 コンソール。4. 各ネットワーク インタフェースIDを選択します。各アクションによって、 Amazon EC2 ブラウザに

インストールできます。各セキュリティグループについて、 セキュリティグループを変更 の アクション.

5. [ セキュリティグループを変更 ダイアログ ボックスで、使用するセキュリティ グループを選択し、保存.

86

Page 92: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドLustre Client VPCセキュリティグループルール

Lustre Client VPCセキュリティグループルールVPCセキュリティ グループを使用して、Lustreクライアントからの着信トラフィックと発信ルールを制御するインバウンド ルールを追加して、Lustreクライアントへのアクセスを制御します。LustreクライアントとLustreクライアント間でLustreトラフィックが流れるように、セキュリティグループに適切なネットワークトラフィックルールがあることを確認してください。 Amazon FSx ファイル・システム。

次のインバウンドルールを、Lustreクライアントに適用されるセキュリティグループに追加します。

タイプ プロトコル ポート範囲 ソース 説明

カスタム TCP ルール

TCP 988人 選択 カスタム そして、Lustreクライアントに適用されるセキュリティグループのセキュリティグループIDを入力します。

Lustreクライアント間のLustreトラフィックを許可する

カスタム TCP ルール

TCP 988人 選択 カスタム そして、 Amazon FSxfor Lustre ファイルシステム

次の間のLustreトラフィックを許可Amazon FSx forLustre ファイル・サーバとLustreクライアント

カスタム TCP ルール

TCP 1021-1023 選択 カスタム そして、Lustreクライアントに適用されるセキュリティグループのセキュリティグループIDを入力します。

Lustreクライアント間のLustreトラフィックを許可する

カスタム TCP ルール

TCP 1021-1023 選択 カスタム そして、 Amazon FSxfor Lustre ファイルシステム

次の間のLustreトラフィックを許可Amazon FSx forLustre ファイル・サーバとLustreクライアント

Lustreクライアントに適用されるセキュリティグループに、次のアウトバウンドルールを追加します。

タイプ プロトコル ポート範囲 ソース 説明

カスタム TCP ルール

TCP 988人 選択 カスタム そして、Lustreクライアントに適用されるセキュリティグループのセキュリティグループIDを入力します。

Lustreクライアント間のLustreトラフィックを許可する

カスタム TCP ルール

TCP 988人 選択 カスタム そして、 Amazon FSx

次の間のLustreトラフィックを許

87

Page 93: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドAmazon VPC ネットワークACL

タイプ プロトコル ポート範囲 ソース 説明for Lustre ファイルシステム

可する AmazonFSx for Lustre ファイル・サーバとLustreクライアント

カスタム TCP ルール

TCP 1021-1023 選択 カスタム そして、Lustreクライアントに適用されるセキュリティグループのセキュリティグループIDを入力します。

Lustreクライアント間のLustreトラフィックを許可する

カスタム TCP ルール

TCP 1021-1023 選択 カスタム そして、 Amazon FSxfor Lustre ファイルシステム

次の間のLustreトラフィックを許可Amazon FSx forLustre ファイル・サーバとLustreクライアント

Amazon VPC ネットワークACLVPC内のファイル・システムへのアクセスを保護するもう1つのオプションは、ネットワーク・アクセス制御リスト(ネットワークACL)を確立することです。ネットワークACLはセキュリティ・グループとは別のものですが、VPCのリソースにセキュリティ・レイヤーを追加する機能は類似しています。ネットワークACL を使用したアクセス制御の実装の詳細については、以下を参照してください。 ファイル・システム・アクセス制御 Amazon VPC (p. 84).

管理アクセス制御 IAM の Amazon FSx for Lustre リソース

すべての AWS リソースは AWS アカウントによって所有され、リソースの作成またはアクセスは、アクセス権限のポリシーによって管理されます。アカウント管理者は、権限ポリシーを AWS Identity andAccess Management (IAM)ID(ユーザー、グループ、役割)。一部のサービス (AWS Lambda など) は、アクセス許可ポリシーをリソースにアタッチすることができます。

Note

アカウント管理者 (または管理者ユーザー) は、管理者権限を持つユーザーです。詳細については、『IAM ユーザーガイド』の「IAM のベストプラクティス」を参照してください。

アクセス権限を付与する場合、アクセス権限を取得するユーザー、取得するアクセス権限の対象となるリソース、およびそれらのリソースに対して許可される特定のアクションを決定します。

トピック• のリソースとオペレーション Amazon FSx for Lustre (p. 89)• Amazon FSx for Lustre のサービスにリンクされたロールの使用 (p. 89)• リソース所有権について (p. 91)• リソースへのアクセスの管理 (p. 91)• Amazon FSx for Lustre API 許可: アクション、リソース、および条件のリファレンス (p. 91)

88

Page 94: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドのリソースとオペレーション Amazon FSx for Lustre

のリソースとオペレーション Amazon FSx for Lustreイン Amazon FSx for Lustreプライマリ リソースは ファイルシステム. Amazon FSx for Lustre また、追加のリソース タイプ、データ リポジトリ タスクもサポートします。ただし、 Amazon FSxデータ リポジトリ タスクは、既存のファイル システムのコンテキストでのみ作成できます。データ リポジトリ タスクは、サブリソースと呼ばれます。これらのリソースとサブリソースには、次の表に示すとおり、一意のAmazon リソースネーム (ARN) が関連付けられています。

Amazon FSx for Lustre では、Amazon FSx for Lustre リソースを操作する一連のオペレーションが用意されています。使用可能な操作のリストについては、 Amazon FSx for Lustre APIリファレンス.

Amazon FSx for Lustre のサービスにリンクされたロールの使用Amazon FSx for Lustre は、AWS Identity and Access Management (IAM) のサービスにリンクされたロールを使用します。サービスにリンクされたロールは、Amazon FSx for Lustre に直接リンクされた一意のタイプの IAM ロールです。サービスにリンクされたロールは、Amazon FSx for Lustre で事前に定義されており、ユーザーに代わってサービスから他の AWS サービスを呼び出すために必要なすべてのアクセス権限を備えています。

Amazon FSx for Lustre は、サービスにリンクされたロールのアクセス許可を定義します。特に定義されている場合を除き、Amazon FSx for Lustre のみがそのロールを引き受けることができます。定義されるアクセス許可には、信頼ポリシーやアクセス許可ポリシーなどがあり、そのアクセス許可ポリシーをその他のIAM エンティティにアタッチすることはできません。

サービスにリンクされたロールを削除するには、まずその関連リソースを削除します。これにより、リソースへの意図しないアクセスによるアクセス権限の削除が防止され、Amazon FSx for Lustre リソースは保護されます。

サービスにリンクされたロールをサポートする他のサービスについては、「IAM と連携する AWS サービス」を参照の上、「サービスにリンクされたロール」列が「はい」になっているサービスを検索してください。サービスにリンクされたロールに関するドキュメントをサービスで表示するには、[はい] リンクを選択します。

Amazon FSx for Lustre のサービスにリンクされたロールのアクセス権限Amazon FSx for Lustre は、次の名前の2つのサービス リンク ロールを使用します。AWSServiceRoleForAmazonFSx および AWSServiceRoleForFSxS3Access_fs-01234567890これは、お客様のアカウントで特定のアクションを実行します。これらのアクションの例は、VPCのファイル・システムに柔軟なネットワーク・インタフェースを作成し、 Amazon S3 バケット。対象AWSServiceRoleForFSxS3Access_fs-01234567890、このサービスリンクされた役割は、 AmazonFSx for Lustre S3バケットにリンクされたファイル システム。

対象 AWSServiceRoleForAmazonFSx、ロール権限ポリシーは、 Amazon FSx for Lustre 該当するすべての AWS リソース:

• ec2:CreateNetworkInterface

対象 AWSServiceRoleForFSxS3Access_fs-01234567890、ロール権限ポリシーは、 Amazon FSx forLustre 次のアクションを Amazon S3 バケットをホストします。

• s3:AbortMultipartUpload

• s3:DeleteObject

89

Page 95: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドサービスにリンクされたロールの使用

• s3:Get*

• s3:List*

• s3:PutBucketNotification

• s3:PutObject

IAM エンティティ (ユーザー、グループ、ロールなど) に対してサービスにリンクされたロールの作成、編集、削除を許可するように、アクセス権限を設定する必要があります。詳細については、https://docs.aws.amazon.com/IAM/latest/UserGuide/using-service-linked-roles.html#service-linked-role-permissionsの「IAM ユーザーガイドサービスにリンクされたロールのアクセス権限」を参照してください。

のサービスにリンクされたロールの作成Amazon FSx for Lustreサービスにリンクされたロールを手動で作成する必要はありません。ファイル システムを AWS マネジメントコンソール、 IAM CLI、または IAM API、 Amazon FSx for Lustre によって、サービスにリンクされているロールが作成されます。

Important

この役割でサポートされている機能を使用する別のサービスでアクションを完了した場合、サービスにリンクされている役割がアカウントに表示されます。詳細については、「IAM アカウントに新しいロールが表示される」を参照してください。

これらのサービスにリンクされているロールを削除してから、再度作成する必要がある場合は、同じプロセスを使用してアカウントでロールを再作成できます。ファイルシステムを作成すると、 Amazon FSx forLustre は、再びサービスにリンクしたロールを作成します。

Note

以下のために Amazon FSx 作成するには、AWSServiceRoleForFSxS3Access_fs-01234567890 次のIAMアクションへのアクセスが許可される必要があります。 AmazonFSxFullAccess 管理対象ポリシー:

• iam:AttachRolePolicy

• iam:PutRolePolicy

Amazon FSx for Lustre のサービスにリンクされたロールの編集Amazon FSx for Lustre では、これらのサービスにリンクされているロールを編集できません。サービスにリンクされたロールを作成すると、多くのエンティティによってロールが参照される可能性があるため、ロール名を変更することはできません。ただし、IAM を使用したロールの説明の編集はできます。詳細については、IAM ユーザーガイドの「サービスにリンクされたロールの編集」を参照してください。

Amazon FSx for Lustre のサービスにリンクされたロールの削除サービスにリンクされたロールが必要な機能またはサービスが不要になった場合には、そのロールを削除することをお勧めします。そうすることで、使用していないエンティティがアクティブにモニタリングされたり、メンテナンスされたりすることがなくなります。ただし、サービス リンクされている役割を手動で削除する前に、すべてのファイル システムおよびバックアップを削除する必要があります。

Note

リソースを削除する際に、Amazon FSx for Lustre サービスでロールが使用されている場合、削除は失敗することがあります。失敗した場合は、数分待ってから再度オペレーションを実行してください。

90

Page 96: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドリソース所有権について

を使用してサービス リンクされている役割を手動で削除するには IAM

IAM コンソール、AWS CLI、IAM API を使用して、AWSServiceRoleForAmazonFSx サービスにリンクされたロールを削除します。詳細については、の「サービスにリンクされたロールの削除」を参照してくださいIAM ユーザーガイド。

Amazon FSx for Lustre サービスにリンクされたロールがサポートされているリージョンAmazon FSx for Lustre は、サービスを利用できるすべてのリージョンで、サービスにリンクされたロールの使用をサポートします。詳細については、AWS Regions and Endpoints を参照してください。

リソース所有権についてAWS アカウントは、誰がリソースを作成したかにかかわらず、アカウントで作成されたリソースを所有します。具体的には、リソース所有者は、リソースの作成リクエストを認証するプリンシパルエンティティ(ルートアカウント、IAM ユーザー、または IAM ロール) の AWS アカウントです。以下の例では、このしくみを示しています。

• AWSアカウントのrootアカウント認証情報を使用してファイル システムを作成する場合、AWSアカウントがリソースの所有者になります。イン Amazon FSx for Lustreリソースはファイル システムになります。

• AWS アカウントに IAM ユーザーを作成し、ファイルシステムを作成するためのアクセス権限をそのユーザーに付与した場合、そのユーザーはファイルシステムを作成できます。ただし、ユーザーが属する AWS アカウントはファイルシステムリソースを所有しています。

• AWS アカウントに、ファイルシステムを作成するためのアクセス権限を持つ IAM ロールを作成する場合は、ロールを引き受けることのできるいずれのユーザーもファイルシステムを作成できます。ロールが属する AWS アカウントはファイルシステムリソースを所有しています。

リソースへのアクセスの管理アクセスポリシーでは、誰が何にアクセスできるかを記述します。以下のセクションで、アクセス権限のポリシーを作成するために使用可能なオプションについて説明します。

Note

このセクションでは、Amazon FSx for Lustre のコンテキストでの IAM の使用について説明します。これは、IAM サービスに関する詳細情報を取得できません。完全なIAMドキュメントについては、以下を参照してください。 IAMとは? を IAM ユーザーガイド. IAM ポリシー構文の詳細および説明については、AWS IAM ポリシーリファレンス」を参照してください。IAM ユーザーガイド

IAM アイデンティティにアタッチされたポリシーはアイデンティティベースのポリシー (IAM ポリシー) と呼ばれ、リソースにアタッチされたポリシーはリソースベースのポリシーと呼ばれます。Amazon FSx forLustre では、アイデンティティベースのポリシー (IAM ポリシー) がサポートされています。

Amazon FSx for Lustre API 許可: アクション、リソース、および条件のリファレンスアクセス制御を設定し、IAM ID(IDベースのポリシー)に添付できる権限ポリシーを作成する場合は、次の参考にしてください。このには、各 Amazon FSx for Lustre API オペレーション、アクションを実行するためのアクセス権限を付与できる対応するアクション、およびアクセス権限を付与できる AWS リソース

91

Page 97: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドAmazon FSx for Lustre API アクセス許可のリファレンス

が含まれています。ポリシーの Action フィールドでアクションを指定し、ポリシーの Resource フィールドでリソースの値を指定します。

条件を表すには、Amazon FSx for Lustre ポリシーで AWS 全体の条件キーを使用します。AWS 全体を対象とするキーの完全なリストについては、『IAM ユーザーガイド』の「利用可能なキー」を参照してください。

アクションを指定するには、API オペレーション名 (fsx: など) の前に fsx:CreateFileSystem プレフィックスを使用します。各アクションは、 Amazon FSx for Lustre ファイル システム、すべてのAmazon FSx for Lustre AWSアカウントが所有するファイル システム。

Amazon FSx for Lustre API、およびアクションに必要なアクセス許可

Amazon FSx for Lustre API オペレーション

必要なアクセス許可 (API アクション)

Resource

CreateFileSystem fsx:* arn:aws:fsx:region:account-id:file-system/*

CreateBackup elasticfilesystem:CreateMountTarget

ec2:DescribeSubnets

ec2:DescribeNetworkInterfaces

ec2:CreateNetworkInterface

arn:aws:fsx:region:account-id:backup/*

arn:aws:fsx:region:account-id:file-system/*

arn:aws:fsx:region:account-id:file-system/filesystem-id

バックアップからファイル・システムを作成

fsx:CreateFileSystemFromBackuparn:aws:fsx:region:account-id:file-system/*

arn:aws:fsx:region:account-id:backup/*

arn:aws:fsx:region:account-id:backup/backup-id

DeleteFileSystem fsx:DeleteFileSystem arn:aws:fsx:region:account-id:file-system/*

arn:aws:fsx:region:account-id:file-system/filesystem-id

ファイル・システムの説明 fsx:DescribeFileSystems 該当なし

UpdateFileSystem (ファイルシステムの更新)

fsx:UpdateFileSystem arn:aws:fsx:region:account-id:file-system/*

arn:aws:fsx:region:account-id:file-system/filesystem-id

ListTagsForResource fsx:ListTagsForResource arn:aws:fsx:region:account-id:file-system/*

arn:aws:fsx:region:account-id:file-system/filesystem-id

92

Page 98: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドコンプライアンス検証

Amazon FSx for Lustre API オペレーション

必要なアクセス許可 (API アクション)

Resource

TagResource fsx:TagResource arn:aws:fsx:region:account-id:file-system/*

arn:aws:fsx:region:account-id:file-system/filesystem-id

UntagResource fsx:UntagResource arn:aws:fsx:region:account-id:file-system/*

arn:aws:fsx:region:account-id:file-system/filesystem-id

Amazon FSx for Lustre のコンプライアンス検証サードパーティーの監査では、複数の AWS コンプライアンスプログラムの一環として、AmazonFSx for Lustre のセキュリティとコンプライアンスの評価が行われます。このプログラムには、SOC、PCI、ISO、HIPAA などがあります。

特定のコンプライアンスプログラムの範囲内にある AWS のサービスのリストについては、「コンプライアンスプログラムによる AWS 対象範囲内のサービス」を参照してください。一般的な情報については、「AWS コンプライアンスプログラム」を参照してください。

サードパーティーの監査レポートをダウンロードするには、AWS Artifact を使用します。詳細については、「AWS Artifact でレポートをダウンロードする」を参照してください。

Amazon FSx を使用する際のお客様のコンプライアンス責任は、データの機密性、企業のコンプライアンス目的、適用法規によって決まります。AWS は、コンプライアンスに役立つ以下のリソースを提供しています。

• セキュリティおよびコンプライアンスのクイックスタートガイド – これらのデプロイガイドでは、アーキテクチャ上の考慮事項について説明し、セキュリティとコンプライアンスに重点を置いたベースライン環境を AWS でデプロイするためのステップを説明します。

• HIPAA のセキュリティとコンプライアンスに関するホワイトペーパーを作成する – このホワイトペーパーでは、企業が AWS を使用して HIPAA 準拠のアプリケーションを作成する方法について説明します。

• AWS コンプライアンスのリソース – このワークブックおよびガイドのコレクションは、お客様の業界や場所に適用される場合があります。

• ルールを使用したリソースの評価 を AWS Config 開発者ガイド – [ AWS Config サービスは、リソース構成が社内慣行、業界ガイドライン、規制にどの程度準拠しているかを評価します。

• AWS Security Hub – この AWS サービスでは、AWS 内のセキュリティ状態を包括的に表示しており、セキュリティ業界の標準およびベストプラクティスへのコンプライアンスを確認するのに役立ちます。

93

Page 99: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドCloudTrail での Amazon FSx for Lustre 情報

AWS CloudTrail による Amazon FSxfor Lustre API コールのログ記録

Amazon FSx for Lustre は、Amazon FSx for Lustre のユーザーやロール、または AWS のサービスによって実行されたアクションを記録するサービスである AWS CloudTrail と統合されています。CloudTrailは、Amazon FSx for Lustre のすべての API コールをイベントとしてキャプチャします。キャプチャされた通話には、 Amazon FSx for Lustre コードコールから Amazon FSx for Lustre API 操作。

証跡を作成する場合は、CloudTrail のイベントなど、Amazon S3 バケットへの Amazon FSx for Lustre イベントの継続的な配信を有効にすることができます。証跡を設定しない場合でも、CloudTrail コンソールの [Event history (イベント履歴)] で最新のイベントを表示できます。CloudTrail で収集された情報に基づいて、Amazon FSx for Lustre に対して行われたリクエストを判断できます。リクエストの実行元 IP アドレス、実行者、実行日時、および追加の詳細を判断することもできます。

CloudTrail の詳細については、AWS CloudTrail User Guideを参照してください。

CloudTrail での Amazon FSx for Lustre 情報CloudTrail は、アカウント作成時に AWS アカウントで有効になります。APIアクティビティが AmazonFSx for Lustreそのアクティビティは CloudTrail 他のイベントと共に AWS サービスイベント イベント履歴. 最近のイベントは、AWS アカウントで表示、検索、ダウンロードできます。詳細については、「CloudTrail イベント履歴でのイベントの表示」を参照してください。

Amazon FSx for Lustreのイベントなど、AWS アカウントのイベントの継続的な記録については、証跡を作成します。証跡により、CloudTrail はログファイルを Amazon S3 バケットに配信できます。デフォルトでは、コンソールで作成した証跡がすべての AWS リージョンに適用されます。証跡では、AWS パーティションのすべての AWS リージョンからのイベントがログに記録され、指定した Amazon S3 バケットにログファイルが配信されます。さらに、より詳細な分析と CloudTrail ログで収集されたデータに基づいた行動のためにその他の AWS サービスを設定できます。詳細については、『AWS CloudTrail User Guide』の次のトピックを参照してください。

• 証跡の作成に関する概要• CloudTrail サポート対象のサービスと統合• の Amazon SNS 通知の設定 CloudTrail• 複数のリージョンから CloudTrail ログファイルを受け取ると複数のアカウントから CloudTrail ログファ

イルを受け取る

すべての Amazon FSx for Lustre API コール は、CloudTrail によってログに記録されます。たとえば、CreateFileSystem オペレーションと TagResource オペレーションへのコールに伴って、CloudTrail ログファイルにエントリが生成されます。

各イベントまたはログエントリには、リクエストの生成者に関する情報が含まれます。この ID 情報は以下のことを確認するのに役立ちます。

• リクエストが、root 認証情報と AWS Identity and Access Management (IAM) ユーザー認証情報のどちらを使用して送信されたか.

• リクエストが、ロールとフェデレーティッドユーザーのどちらの一時的なセキュリティ認証情報を使用して送信されたか.

94

Page 100: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドAmazon FSx for Lustre ログファイルエントリについて

• リクエストが、別の AWS サービスによって送信されたかどうか。

詳細については、CloudTrailの「AWS CloudTrail User Guide userIdentity 要素」を参照してください。

Amazon FSx for Lustre ログファイルエントリについて

証跡は、指定した Amazon S3 バケットにイベントをログファイルとして配信できるようにする設定です。CloudTrail ログファイルには、1 つ以上のログエントリが含まれます。イベントは任意の送信元からの単一のリクエストを表し、リクエストされたアクション、アクションの日時、リクエストのパラメータなどに関する情報が含まれます。CloudTrail ログファイルは、パブリック API 呼び出しの順序付けられたスタックトレースではないため、特定の順序では表示されません。

次の例は、ファイルシステムのタグがコンソールから作成されたときの TagResource オペレーションを示す CloudTrail ログエントリを示しています。

{ "eventVersion": "1.05", "userIdentity": { "type": “Root”, "principalId": “111122223333”, "arn": "arn:aws:sts::111122223333:root”, "accountId": “111122223333”, "accessKeyId": "AKIAIOSFODNN7EXAMPLE”, "sessionContext": { "attributes": { "mfaAuthenticated": "false", "creationDate": "2018-11-14T22:36:07Z" } } }, "eventTime": "2018-11-14T22:36:07Z", "eventSource": "fsx.amazonaws.com", "eventName": "TagResource", "awsRegion": "us-east-1", "sourceIPAddress": “192.0.2.0”, "userAgent": “console.amazonaws.com”, "requestParameters": { "resourceARN": "arn:aws:fsx:us-east-1:111122223333:file-system/fs-ab12cd34ef56gh789” }, "responseElements": null, "requestID": “aEXAMPLE-abcd-1234-56ef-b4cEXAMPLE51”, "eventID": “bEXAMPLE-gl12-3f5h-3sh4-ab6EXAMPLE9p”, "eventType": "AwsApiCall", "apiVersion": "2018-03-01", "recipientAccountId": “111122223333”}

次の例は、ファイルシステムのタグがコンソールから削除されたときの UntagResource アクションを示す CloudTrail ログエントリを示しています。

{ "eventVersion": "1.05", "userIdentity": {

95

Page 101: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドAmazon FSx for Lustre ログファイルエントリについて

"type": “Root”, "principalId": "111122223333", "arn": "arn:aws:sts::111122223333:root", "accountId": "111122223333", "accessKeyId": "AKIAIOSFODNN7EXAMPLE", "sessionContext": { "attributes": { "mfaAuthenticated": "false", "creationDate": "2018-11-14T23:40:54Z" } } }, "eventTime": "2018-11-14T23:40:54Z", "eventSource": "fsx.amazonaws.com", "eventName": "UntagResource", "awsRegion": "us-east-1", "sourceIPAddress": "192.0.2.0", "userAgent": "console.amazonaws.com", "requestParameters": { "resourceARN": "arn:aws:fsx:us-east-1:111122223333:file-system/fs-ab12cd34ef56gh789" }, "responseElements": null, "requestID": "aEXAMPLE-abcd-1234-56ef-b4cEXAMPLE51", "eventID": "bEXAMPLE-gl12-3f5h-3sh4-ab6EXAMPLE9p", "eventType": "AwsApiCall", "apiVersion": "2018-03-01", "recipientAccountId": "111122223333"}

96

Page 102: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド増加できるノルマ

QuotasAmazon FSx for Lustre を使用する際のクォータについて以下に説明します。

増加できるノルマ次のクォータは、 Amazon FSx for Lustre AWSアカウントごと、AWS地域ごと、 配置タイプ (p. 16) AWSサポートに問い合わせます。

Resource デフォルトの制限 引き上げることができる最大

ファイルシステムの数 100 千

ファイルシステムごとのリンクされた S3 バケットからのファイル更新数

1.000万/月 数億/月

すべてのファイル システムのユーザー開始バックアップの合計数

500 千

すべてのファイルシステムの合計ストレージ

100.800 GiB。これは、デフォルト値です。

ペタバイト

クォータの引き上げをリクエストするには

1. [ AWSサポートセンター ページを開き、必要に応じてサインインし、 症例の作成.2. 対象 症例の作成、選択 アカウントと請求のサポート.3. [ 症例詳細 パネルで、次のエントリを作成します。

• 対象 種類、選択 口座.• 対象 カテゴリー、選択 その他のアカウントの問題.• [Subject (件名)] に Amazon FSx for Lustre service limit increase request と入力し

ます。• 詳細な 説明 増加をリクエストする各ファイル システムについて、次の内容を含むリクエストの1つ

として、• ファイル システムIDと地域。• ファイル システムの導入タイプ – SCRATCH_1、 SCRATCH_2、または PERSISTENT_1.

PERSISTENT_1の場合、スループット階層を提供 – 12 MB/s、 40 MB/s、 50 MB/s、 100MB/s、または 200 MB/s.

HDDの場合、ドライブのキャッシュタイプを提供 – NONE 又は READ.• ファイル システムの優先可用性ゾーン。• 増加させたいFSxクォータ、および増加させたい値(既知の場合)。• ノルマ増加を求める理由。

4. 希望する 連絡先オプション 選択して 送信.

97

Page 103: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド各ファイル・システムのリソース・クォータ

各ファイル・システムのリソース・クォータ以下が、 Amazon FSx for Lustre AWSリージョンの各ファイル・システムのリソースです。

Resource ファイルシステムごとの制限

タグの数 50

スループット容量の詳細については、以下を参照してください。 Amazon FSx for Lustre のパフォーマンス (p. 45).

98

Page 104: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイドファイル・システム・マウントがすぐに失敗する

Troubleshooting以下の情報を使用して、 で作業中に発生する可能性のある問題を解決してください。 Amazon FSx forLustre.

トピック• ファイル・システム・マウントがすぐに失敗する (p. 99)• ファイルシステムのマウントがハングした後、タイムアウトエラーで失敗する (p. 99)• 自動マウントが失敗してインスタンスが応答しない (p. 100)• DNS 名を使用したファイルシステムのマウントが失敗する (p. 100)• 誤設定のリンクされたS3バケットのトラブルシューティング (p. 101)• S3バケットにリンクされているファイル システムを作成できません (p. 102)

ファイル・システム・マウントがすぐに失敗するファイル システム マウント コマンドがすぐに失敗する。コードの例を以下に示します。

mount.lustre: mount fs-0123456789abcdef0.fsx.us-east-1.aws@tcp:/fsx at /lustrefailed: No such file or directory

Is the MGS specification correct?Is the filesystem name correct?

このエラーは、正しい mountname 永続的またはスクラッチ2のファイル システムを mount コマンド。以下を入手できます。 mountname の応答からの値 describe-file-systems AWS CLI コマンドまたはDescribeFileSystems API 操作。

ファイルシステムのマウントがハングした後、タイムアウトエラーで失敗する

ファイルシステムのマウントコマンドが 1、2 分間ハングし、タイムアウトエラーで失敗します。

コードの例を以下に示します。

sudo mount -t lustre file_system_dns_name@tcp:/mountname /mnt/fsx

[2+ minute wait here]Connection timed out

このエラーは、 Amazon EC2 インスタンスまたはファイル システムが正しく構成されていない。

実行するアクション

ファイル システムのセキュリティ グループに、 Amazon VPC セキュリティグループ (p. 84).

99

Page 105: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド自動マウントが失敗してインスタンスが応答しない

自動マウントが失敗してインスタンスが応答しない場合によっては、ファイル システムと Amazon EC2 インスタンスが応答しなくなる可能性があります。

この問題は、 _netdev オプションは宣言されませんでした。次の場合: _netdev が不足しています。Amazon EC2 インスタンスは応答を停止できます。この結果は、コンピューティングインスタンスがネットワーキングを開始後、ネットワークファイルシステムを初期化する必要があるためです。

実行するアクション

この問題が発生した場合は、AWS サポートにお問い合わせください。

DNS 名を使用したファイルシステムのマウントが失敗する

DNS(ドメイン名サービス)名を使用しているファイル システム マウントが失敗する。コードの例を以下に示します。

sudo mount -t lustre file_system_dns_name@tcp:/mountname /mnt/fsxmount.lustre: Can't parse NID 'file_system_dns_name@tcp:/mountname'

実行するアクション

仮想プライベートクラウド(VPC)の構成を確認します。カスタム VPC を使用している場合は、DNS 設定が有効であることを確認します。詳細については、「Amazon VPC ユーザーガイド」の「VPC での DNSの使用」を参照してください。

でDNS名を指定するには、 mount コマンドを実行するには、次の手順を実行します。

• 必ず、 Amazon EC2 インスタンスは、 Amazon FSx for Lustre ファイル システム。• を接続 Amazon EC2 インスタンスは、Amazon が提供する DNS サーバーを使用するよう構成された

VPC 内で構成されます。詳細については、Amazon VPC ユーザーガイド の「DHCP オプションセット」を参照してください。

• 接続する Amazon VPC インスタンスの Amazon EC2 で、DNS ホスト名が有効であることを確認します。詳細については、『https://docs.aws.amazon.com/AmazonVPC/latest/UserGuide/vpc-dns.html#vpc-dns-updating』の「Amazon VPC ユーザーガイドVPC の DNS サポートを更新する」を参照してください。

DNS(ドメイン名サービス)名を使用しているファイル システム マウントが失敗する。コードの例を以下に示します。

mount -t lustre file_system_dns_name@tcp:/mountname /mnt/fsxmount.lustre: mount file_system_dns_name@tcp:/mountname at /mnt/fsx failed: Input/output error Is the MGS running?

実行するアクション

クライアントのVPCセキュリティ グループに正しいアウトバウンド トラフィック ルールが適用されていることを確認します。この推奨事項は、デフォルトのセキュリティグループを使用していない場合、また

100

Page 106: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド誤設定のリンクされたS3バケッ

トのトラブルシューティング

はデフォルトのセキュリティグループを変更した場合に特に当てはまります。詳細については、AmazonVPC セキュリティグループ (p. 84) を参照してください。

誤設定のリンクされたS3バケットのトラブルシューティング

場合によっては、 Amazon FSx for Lustre ファイル システムのリンクされたS3バケットが、データ リポジトリ ライフサイクルの状態として正しく構成されていない可能性があります。詳細については、データ リポジトリ ライフサイクルの状態 (p. 21) を参照してください。リンクされたデータ リポジトリは、次の条件下では、誤って構成されたライフサイクル状態を持つ可能性があります。

考えられる原因

このエラーは、 Amazon FSx は必要な AWS Identity and Access Management (IAM) のアクセス権を、リンクされたデータ リポジトリへのアクセスに必要な権限として取得できます。必要な IAM 権限は、Amazon FSx for Lustre 指定された Amazon S3 バケットを代わりに使用します。

実行するアクション

1. 必ず、 IAM エンティティ(ユーザー、グループ、役割)には、ファイル システムを作成する適切な権限があります。これには、 Amazon FSx for Lustre サービスにリンクした役割です。詳細については、でデータリポジトリを使用する許可を追加する Amazon S3 (p. 7) を参照してください。

2. [ Amazon FSx ファイル システムの AutoImportPolicy と update-file-system CLI コマンド(UpdateFileSystem (ファイルシステムの更新) は同等のAPIアクション)である。

aws fsx update-file-system \--file-system-id fs-0123456789abcdef0 \--lustre-configuration AutoImportPolicy=the_existing_AutoImportPolicy

サービスにリンクされたロールの詳細については、「Amazon FSx for Lustre のサービスにリンクされたロールの使用 (p. 89)」を参照してください。

考えられる原因

このエラーは、リンクされている Amazon S3 データ リポジトリには、 Amazon FSx イベント通知構成(s3:ObjectCreated:*、 s3:ObjectRemoved:*)。

これは、 Amazon FSx リンクされた S3 バケットのイベント通知コンフィグレーションが削除または変更されました。

実行するアクション

1. FSx イベントコンフィグレーションが使用するイベントタイプのいずれかまたは両方を使用する、リンクされた S3 バケット上の既存のイベント通知を削除します。 s3:ObjectCreated:* およびs3:ObjectRemoved:*.

2. S3 バケットにリンクされている名前を持つ S3 イベント通知設定があることを確認してくださいFSx、イベントタイプ s3:ObjectCreated:* および s3:ObjectRemoved:*、および と共に SNSトピックに送信します。 ARN:topic_arn_returned_in_API_response.

3. S3 バケットに FSx イベント通知コンフィグレーションを再適用します。 Amazon FSx ファイル システムの AutoImportPolicy. これは、 update-file-system CLI コマンド (UpdateFileSystem(ファイルシステムの更新) は同等のAPIアクション)である。

aws fsx update-file-system \

101

Page 107: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) LustreユーザーガイドS3バケットにリンクされている

ファイル システムを作成できません

--file-system-id fs-0123456789abcdef0 \--lustre-configuration AutoImportPolicy=the_existing_AutoImportPolicy

S3バケットにリンクされているファイル システムを作成できません

S3バケットにリンクされた新しいファイル システムを作成する場合、次のようなエラー メッセージが表示されて失敗します。

User: arn:aws:iam::012345678901:user/username is not authorized to perform: iam:PutRolePolicy on resource: resource ARN

このエラーは、 Amazon S3 バケットを IAM 許可。必要な IAM 権限は、 Amazon FSx for Lustre 指定された Amazon S3 バケットを代わりに使用します。

実行するアクション

必ず、 IAM エンティティ(ユーザー、グループ、役割)には、ファイル システムを作成する適切な権限があります。これには、 Amazon FSx for Lustre サービスにリンクした役割です。詳細については、でデータリポジトリを使用する許可を追加する Amazon S3 (p. 7) を参照してください。

サービスにリンクされたロールの詳細については、「Amazon FSx for Lustre のサービスにリンクされたロールの使用 (p. 89)」を参照してください。

102

Page 108: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド

ドキュメント履歴• API バージョン:• 最新の文書更新: 2020年8月12日

以下の表は、Amazon FSx for Lustre ユーザーガイドの重要な変更点をまとめたものです。ドキュメントの更新に関する通知については、RSS フィードにサブスクライブできます。

update-history-change update-history-description update-history-date

HDD(ハードディスクドライブ)ストレージオプションのサポート (p. 103)

SSD(ソリッド・ステート・ドライブ)ストレージ・オプションに加えて、 Amazon FSx for Lustreは、HDD(ハードディスクドライブ)ストレージオプションをサポートするようになりました。通常は大きなシーケンシャルなファイル操作を行うスループット集中型ワークロードにHDDを使用するようにファイル システムを構成できます。詳細については、以下を参照してください。 複数のストレージ・オプション.

August 12, 2020

リンクされたデータ リポジトリの変更のインポートのサポートAmazon FSx for Lustre (p. 103)

これで、 Amazon FSx for Lustreファイルシステムは、ファイルシステムの作成後にリンクされたデータリポジトリに追加された新しいファイルと変更されたファイルを自動的にインポートします。詳細については、以下を参照してください。 データ リポジトリから更新を自動的にインポート.

July 23, 2020

SUSE Linux SP4およびSP5に対するLustreクライアント サポートを追加 (p. 103)

[ Amazon FSx for Lustre クライアントは Amazon EC2 SUSELinux SP4およびSP5を実行しているインスタンス。詳細については、以下を参照してください。Lustreクライアントのインストール.

July 20, 2020

Centos および Red HatEnterprise Linux (RHEL) 8.2 のLustre クライアント サポートを追加 (p. 103)

[ Amazon FSx for Lustre クライアントは Amazon EC2 Centosおよび Red Hat Enterprise Linux(RHEL) 8.2 を実行しているインスタンス。詳細については、以下を参照してください。 Lustreクライアントのインストール.

July 20, 2020

ファイル システムの自動バックアップと手動バックアップのサポートが追加されました。 (p. 103)

Amazon S3 の耐久性のあるデータ リポジトリにリンクされていないファイルシステムの自動日次バックアップおよび手動バック

June 23, 2020

103

Page 109: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド

アップを実行できるようになりました。詳細については、以下を参照してください。 バックアップでの作業.

2つの新しいファイル・システム導入タイプがリリース (p. 103)

スクラッチ・ファイル・システムは、データの一時的なストレージと短期間の処理用に設計されています。永続的なファイル・システムは、長期のストレージとワークロード用に設計されています。詳細については、以下を参照してください。 Lustre 用 FSx 配備オプション.

February 12, 2020

新しいデータ リポジトリ タスク機能のリリース (p. 103)

変更されたデータと関連付けられたPOSIXメタデータを、 durabledata repository on Amazon S3データ リポジトリ タスクの使用。詳細については、以下を参照してください。 データ リポジトリ タスクを使用したデータおよびメタデータの転送.

December 23, 2019

POSIXメタデータのサポートが追加されました (p. 103)

Amazon FSx for Lustre 関連するPOSIXメタデータは、リンクされた durable data repository onAmazon S3. 詳細については、以下を参照してください。 データリポジトリのPOSIXメタデータサポート.

December 23, 2019

その他の AWS リージョンのサポートが追加されました (p. 103)

Amazon FSx for Lustre は、 欧州(ロンドン) リージョン AWS 地域。対象 Amazon FSx for Lustre地域固有の制限、参照 限度.

July 9, 2019

その他の AWS リージョンのサポートが追加されました (p. 103)

Amazon FSx for Lustre は、 アジアパシフィック (シンガポール)AWS 地域。対象 Amazon FSx forLustre 地域固有の制限、参照 限度.

June 26, 2019

Amazon LinuxおよびAmazonLinux 2に対するLustreクライアントサポートを追加 (p. 103)

[ Amazon FSx for Lustre クライアントは Amazon EC2 AmazonLinux および Amazon Linux 2 を実行するインスタンス。詳細については、以下を参照してください。 Lustreクライアントのインストール.

March 11, 2019

104

Page 110: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド

ユーザー定義のデータ エクスポート パスのサポートが追加されました (p. 103)

ユーザーは、 Amazon S3 または、新しいファイルまたは変更したファイルを、指定したプレフィックスにバケットまたは書き込みます。このオプションを使用すると、 Amazon FSx for Lustreデータ処理ワークフローに導入できます。詳細については、以下を参照してください。 Amazon S3バケットへのデータのエクスポート.

February 6, 2019

ストレージのデフォルト制限の合計が増加 (p. 103)

すべての Amazon FSx for Lustreファイル・システムが100.800GiBに増加。詳細については、「の制限」を参照してください。

January 11, 2019

Amazon FSx for Lustre は一般利用可能です。 (p. 103)

Amazon FSx for Lustre は、高パフォーマンスのコンピューティング、機械学習、メディア処理ワークフローなど、コンピューティング集約型のワークロード向けに最適化された、完全に管理されたファイル・システムです。

November 28, 2018

105

Page 111: Amazon FSx for Lustre - Lustre User Guide...The open-source Lustre file system is designed for applications that require fast storage—where you want your storage to keep up with

Amazon FSx(Lustre用) Lustreユーザーガイド

英語の翻訳が提供されている場合で、内容が矛盾する場合には、英語版がオリジナルとして取り扱われます。翻訳は機械翻訳により提供されています。

cvi