IBM Total Storage DS6000 Series Performance Monitoring and Tuning

8/8/2019 IBM Total Storage DS6000 Series Performance Monitoring and Tuning

1/535ibm.com/redbooks

Front cover

IBM TotalStorage DS6000

Series: PerformanceMonitoring and Tuning

Cathy Warrick

Craig Gordon

Benoit Granier

Keitaro Imai

Rosemary McCutchen

Brannen Proc

Jim Sedgw

Paulus Uso

Mary Ann Vanderm

John Wick

Understand the performance aspectsof the DS6000 architecture

Configure the DS6000 to fully

exploit its capabilities

Use planning and monitoring

tools with the DS6000
http://www.redbooks.ibm.com/http://www.redbooks.ibm.com/http://www.redbooks.ibm.com/http://www.redbooks.ibm.com/


2/535


3/535

International Technical Support Organization

IBM TotalStorage DS6000 Series: PerformanceMonitoring and Tuning

December 2005

SG24-7145-00


4/535

Copyright International Business Machines Corporation 2005. All rights reserved.

Note to U.S. Government Users Restricted Rights -- Use, duplication or disclosure restricted by GSA ADP Schedule

Contract with IBM Corp.

First Edition (December 2005)

This edition applies to the IBM TotalStorage DS6000 and its capabilities as of August 2005.

Note: Before using this information and the product it supports, read the information in Notices on

page xvii.


5/535

Copyright IBM Corp. 2005. All rights reserved.iii

Contents

Figures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii

Notices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii

Trademarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xviii

Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xix

The team that wrote this redbook. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xix

Become a published author . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii

Comments welcome. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii

Chapter 1. Model characteristics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.1 Benefits of the DS6000 series. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.1.1 Infrastructure Simplification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.1.2 Business Continuity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.1.3 Information Life Cycle Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31.2 Hardware overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.2.1 DS6800 controller enclosure (Model 1750-511) . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.2.2 DS6000 expansion enclosure (Model 1750-EX1) . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.3 Functional overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3.1 Storage capacity: RAID 5 and RAID 10 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3.2 Resiliency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.3.3 Copy Services. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

1.4 DS management tools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.4.1 IBM TotalStorage DS Storage Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.4.2 IBM TotalStorage DS Open API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.4.3 IBM TotalStorage DS Command Line Interface (CLI). . . . . . . . . . . . . . . . . . . . . . . 9

1.5 Supported environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101.6 Performance overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.6.1 Sequential Prefetching in Adaptive Replacement Cache (SARC) . . . . . . . . . . . . 10

1.6.2 Performance for zSeries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.6.3 IBM TotalStorage Multi-path Subsystem Device Driver (SDD). . . . . . . . . . . . . . . 11

1.6.4 Command Tag Queuing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.7 IBM TotalStorage DS family comparisons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.7.1 DS6000 series compared to ESS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.7.2 DS6000 series compared to DS8000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

1.7.3 DS6000 series compared to DS4000 series. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

1.8 IBM DS6000 combined with virtualization products . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

1.8.1 IBM SAN Volume Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

1.8.2 IBM SAN File System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Chapter 2. Hardware configuration planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172.1 Rules of thumb and benchmarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.2 Understanding your workload characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

2.3 DS6000 major hardware components. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.4 DS6000 server processor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.5 Cache and persistent memory (formerly NVS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.5.1 Cache . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.5.2 Persistent memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2.5.3 Cache algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22


6/535

iv IBM TotalStorage DS6000 Ser ies: Performance Monitoring and Tuning

2.5.4 Cache size consideration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26

2.6 DS6000 disks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2.6.1 DS6000 disk capacity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2.6.2 Disk four-packs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2.6.3 Disk four-pack capacity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27

2.6.4 Disk four-pack intermixing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2.6.5 Disk conversions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292.7 Choosing the DS6000 disks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

2.7.1 Disk capacity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

2.7.2 Disk Magic examples using 146 GB and 300 GB disk drives. . . . . . . . . . . . . . . . 30

2.7.3 Disk speed (RPM). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

2.7.4 Disk Magic examples using 15K rpm and 10K rpm disk drives . . . . . . . . . . . . . . 32

2.8 RAID implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2.8.1 RAID Arrays . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2.8.2 RAID 5 array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

2.8.3 RAID 10 array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2.8.4 Combination of RAID 5 and RAID 10 arrays. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.8.5 RAID 5 versus RAID 10 performance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2.9 SBOD (Switched Bunch of Disks) connection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412.9.1 Standard storage subsystem FC-AL problem. . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

2.9.2 Switched FC-AL advantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

2.9.3 DS6000 switched FC-AL implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

2.10 Host adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

2.10.1 Host adapter configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

2.10.2 FCP attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

2.10.3 FICON attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

2.10.4 Preferred Path. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

2.11 Tools to aid in hardware planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

2.11.1 Whitepapers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

2.11.2 Disk Magic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

2.11.3 Capacity Magic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52

Chapter 3. Logical configuration planning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53

3.1 Principles for performance optimization: balance, isolation and spread . . . . . . . . . . . . 54

3.1.1 Isolation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

3.1.2 Resource sharing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

3.1.3 Spreading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

3.1.4 Using isolation, resource-sharing and spreading to optimize the DS6000

performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.2 Isolation requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.2.1 Review the application workload characteristics to determine the isolation

requirements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.3 Plan assignment of DS6000 hardware resources to workloads . . . . . . . . . . . . . . . . . . 58

3.3.1 Plan DS6000 hardware resources for isolated workloads . . . . . . . . . . . . . . . . . . 583.3.2 Plan DS6000 hardware resources for resource-sharing workloads . . . . . . . . . . . 58

3.3.3 Spread volumes and host connections across available hardware . . . . . . . . . . . 59

3.4 Logical configuration - components and terminology . . . . . . . . . . . . . . . . . . . . . . . . . . 60

3.5 Configuring for performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

3.5.1 Mixing drive geometries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

3.5.2 Mixing open and zSeries logical disks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

3.5.3 Arrays and Array Sites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

3.5.4 Select a Rank format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

3.5.5 Extent Pool implications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69


7/535

Contentsv

3.5.6 Number of Ranks in an Extent Pool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70

3.5.7 LSS design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

3.5.8 Preferred paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

3.6 Performance and sizing considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

3.6.1 Workload characteristics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

3.6.2 Data placement in the DS6000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

3.6.3 Open systems LVM striping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 753.7 .Performance and sizing considerations for z/OS. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

3.7.1 Performance potential in z/OS environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76

3.8 Logical disks - number and size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

3.9 Logical disk sizes - general considerations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

3.9.1 Future requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

3.9.2 Maximum number of devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

3.10 Configuring I/O ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

3.10.1 Multiple host attachment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

Chapter 4. Planning and monitoring tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 854.1 Disk Magic. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

4.1.1 Overview and characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86

4.1.2 Output information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

4.1.3 Disk Magic modeling. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

4.1.4 Disk Magic for zSeries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

4.1.5 Disk Magic for open systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

4.1.6 Workload growth projection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

4.1.7 Input data needed for DIsk Magic study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

4.2 Capacity Magic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

4.2.1 Overview and features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

4.2.2 Wizard. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

4.2.3 Graphical interface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

4.2.4 Reports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

4.2.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

4.3 IBM TotalStorage Productivity Center for Disk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1094.3.1 IBM TotalStorage Productivity Center. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

4.3.2 IBM TotalStorage Productivity Center for Disk . . . . . . . . . . . . . . . . . . . . . . . . . . 110

4.3.3 Operation characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

4.3.4 Using IBM TotalStorage Productivity Center for Disk . . . . . . . . . . . . . . . . . . . . . 117

4.3.5 Exploiting gauges . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

4.3.6 Interpreting the DS6000 performance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128

4.3.7 Performance gauge - considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134

4.3.8 IBM TotalStorage Productivity Center for Disk and other tools. . . . . . . . . . . . . . 134

4.3.9 IBM TotalStorage Productivity Center for Disk in mixed environment . . . . . . . . 137

4.4 SAN statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138

4.5 Monitoring performance through a SAN switch or director . . . . . . . . . . . . . . . . . . . . . 138

Chapter 5. Host attachment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1435.1 DS6000 host attachment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144

5.1.1 Attaching to open systems hosts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144

5.1.2 FICON-attached S/390 and zSeries hosts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144

5.1.3 Example of host attachments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

5.2 Multipathing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

5.3 FICON. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146

5.4 Fibre Channel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

5.4.1 Supported Fibre Channel attached hosts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148


8/535

vi IBM TotalStorage DS6000 Ser ies: Performance Monitoring and Tuning

5.4.2 Fibre Channel topologies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148

5.5 SAN implementations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

5.5.1 Description and characteristics of a SAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151

5.5.2 Benefits of a SAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152

5.5.3 SAN cabling for availability and performance . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

5.5.4 Importance of establishing zones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

5.5.5 LUN masking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1545.5.6 Configuring logical disks in a SAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154

5.6 Subsystem Device Driver (SDD) - multipathing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157

5.6.1 SDD load balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

5.6.2 Concurrent LMC load . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

5.6.3 Single path mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

5.6.4 Single FC adapter with multiple paths. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

5.6.5 Path failover and online recovery . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

5.6.6 Using SDDPCM on an AIX host system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

5.6.7 SDD datapath command. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162

Chapter 6. IBM TotalStorage SAN Volume Controller attachment . . . . . . . . . . . . . . . 1676.1 IBM TotalStorage SAN Volume Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

6.1.1 IBM TotalStorage SAN Volume Controller concepts. . . . . . . . . . . . . . . . . . . . . . 168

6.1.2 SAN Volume Controller multipathing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

6.1.3 Copy Services. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

6.1.4 SAN Volume Controller performance considerations . . . . . . . . . . . . . . . . . . . . . 174

6.2 DS6000 performance considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

6.2.1 DS6000 Array . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

6.2.2 DS6000 Rank format . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176

6.2.3 DS6000 Extent Pool implications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177

6.2.4 DS6000 volumes consideration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

6.2.5 Volume assignment to SAN Volume Controller cluster. . . . . . . . . . . . . . . . . . . . 181

6.2.6 Number of paths to attach the DS6000 to SAN Volume Controller. . . . . . . . . . . 181

6.3 Performance monitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

6.3.1 IBM TotalStorage Productivity Center for Disk . . . . . . . . . . . . . . . . . . . . . . . . . . 1826.3.2 Using IBM TotalStorage Productivity Center for Disk to monitor the SAN Volume

Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

6.4 Sharing the DS6000 between a host and the IBM SAN Volume Controller . . . . . . . . 185

6.4.1 Sharing the DS6000 between open systems server hosts and the IBM SAN Volume

Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

6.4.2 Sharing the DS6000 between iSeries host and the IBM SAN Volume Controller 185

6.4.3 Sharing the DS6000 between zSeries server host and the IBM SAN Volume

Controller . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

6.5 Advanced functions for the DS6000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

6.6 Volume creation and deletion on the DS6000. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

6.7 Configuration guidelines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186

Chapter 7. Open systems servers - UNIX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1897.1 UNIX performance monitoring and tuning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190

7.2 Planning and preparing UNIX servers for performance . . . . . . . . . . . . . . . . . . . . . . . 191

7.2.1 I/O balanced across Extent Pools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191

7.2.2 DS6000 LUN size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

7.2.3 Document the LUN assignments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194

7.2.4 Multipathing considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196

7.2.5 System and adapter code level. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

7.3 Common UNIX performance monitoring tools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198


9/535

Contentsvii

7.3.1 iostat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198

7.3.2 SAR. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204

7.3.3 vmstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206

7.4 AIX-specific I/O monitoring commands and tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

7.4.1 topas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

7.4.2 nmon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209

7.4.3 filemon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2127.4.4 lvmstat. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216

7.5 HP-UX specific I/O monitoring commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

7.6 SDD commands for AIX, HP-UX, and Solaris . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218

7.6.1 HP-UX SDD commands . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223

7.6.2 Sun Solaris SDD commands. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225

7.7 Testing and verifying DS6000 storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227

7.7.1 Using the dd command to test sequential Rank reads and writes . . . . . . . . . . . 227

7.7.2 Verifying your system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229

7.8 Volume groups, logical volumes and file systems. . . . . . . . . . . . . . . . . . . . . . . . . . . . 233

7.8.1 Creating the volume group . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233

7.8.2 Creating a logical volume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239

7.8.3 Creating the file system . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2507.9 Operating system tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251

7.9.1 AIX operating system tuning (JFS and JFS2). . . . . . . . . . . . . . . . . . . . . . . . . . . 251

7.9.2 HP-UX OS tuning for sequential I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256

7.9.3 Sun Solaris OS tuning for sequential I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257

Chapter 8. Open system servers - Linux for xSeries . . . . . . . . . . . . . . . . . . . . . . . . . . 261

8.1 Supported Linux distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262

8.2 Introduction to Linux OS components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262

8.2.1 Understanding and tuning virtual memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262

8.2.2 Understanding and tuning the swap partition . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

8.2.3 Understanding and tuning the daemons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266

8.2.4 Compiling the kernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270

8.2.5 Changing kernel parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2718.2.6 Kernel parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273

8.2.7 Understanding and tuning the file systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277

8.2.8 Tuning TCP window size. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279

8.3 Linux monitoring tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280

8.3.1 uptime . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280

8.3.2 dmesg . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281

8.3.3 top . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282

8.3.4 iostat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284

8.3.5 vmstat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

8.3.6 sar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 285

8.3.7 isag . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288

8.3.8 GKrellM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2948.3.9 KDE System Guard. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294

8.4 Host bus adapter (HBA) settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295

8.5 Logical Volume Manager for Linux (LVM). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296

8.5.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296

8.5.2 Performance management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297

8.6 Bonnie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300

8.6.1 Benchmarks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300

8.6.2 Downloading . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301

8.7 Bonnie++. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301


10/535

viii IBM TotalStorage DS6000 Series: Performance Monitoring and Tuning

8.8 Disk bottlenecks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301

8.9 Other performance resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303

Chapter 9. Open system servers - Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3059.1 Host system performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306

9.2 Tuning Windows 2000 and Server 2003 systems. . . . . . . . . . . . . . . . . . . . . . . . . . . . 306

9.2.1 Foreground and background priorities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3079.2.2 Virtual memory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308

9.2.3 File system cache tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311

9.2.4 Disabling unnecessary services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315

9.2.5 Process priority levels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318

9.2.6 Process affinity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321

9.2.7 Assigning interrupt affinity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322

9.2.8 The /3GB BOOT.INI parameter. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323

9.2.9 Using PAE and AWE to access memory above 4 GB . . . . . . . . . . . . . . . . . . . . 324

9.3 File system overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326

9.3.1 NTFS overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326

9.3.2 Disabling short file name generation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327

9.3.3 Disable NTFS last access updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327

9.3.4 Added functionality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328

9.3.5 Removing limitations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328

9.3.6 NTFS and FAT performance and recoverability considerations . . . . . . . . . . . . . 329

9.3.7 Do not use NTFS file compression . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329

9.3.8 Monitor drive space utilization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329

9.4 Windows registry options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330

9.4.1 Disable kernel paging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330

9.4.2 Optimize the paged pool size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 330

9.4.3 Increase memory available for I/O locking operations . . . . . . . . . . . . . . . . . . . . 332

9.4.4 Improve memory utilization of file system cache. . . . . . . . . . . . . . . . . . . . . . . . . 333

9.5 Host bus adapter (HBA) settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333

9.6 Tools for Windows Server 2003 and Windows 2000 . . . . . . . . . . . . . . . . . . . . . . . . . 334

9.6.1 Windows Performance console. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3349.6.2 System Monitor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335

9.6.3 Key objects and counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336

9.6.4 Performance console output information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338

9.6.5 Performance Logs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339

9.6.6 Monitoring disk counters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340

9.6.7 Disk bottlenecks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340

9.6.8 How to monitor, collect and view performance reports . . . . . . . . . . . . . . . . . . . . 343

9.7 Task Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349

9.7.1 Starting Task Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349

9.8 Other Windows tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353

9.9 Iometer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354

9.10 General considerations for Windows servers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3559.11 Subsystem Device Driver (SDD). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356

Chapter 10. zSeries servers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35710.1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358

10.2 Parallel Access Volumes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358

10.2.1 Static and dynamic PAVs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 358

10.2.2 PAV and large volumes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359

10.3 Multiple Allegiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359

10.4 How PAV and Multiple Allegiance work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360


11/535

Contentsix

10.4.1 Concurrent read operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361

10.4.2 Concurrent write operation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362

10.5 I/O priority queuing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363

10.6 Logical volume sizes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363

10.6.1 Selecting the volume size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364

10.6.2 Larger versus smaller volumes performance . . . . . . . . . . . . . . . . . . . . . . . . . . 364

10.6.3 Planning the volume sizes of your configuration. . . . . . . . . . . . . . . . . . . . . . . . 36610.7 FICON. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367

10.7.1 MIDAWs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368

10.8 z/OS planning and configuration guidelines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369

10.8.1 Channel configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369

10.8.2 Extent Pool . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370

10.8.3 Considerations for mixed workloads . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371

10.9 DS6000 performance monitoring tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371

10.9.1 RMF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371

10.9.2 Analyze the response time components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372

10.9.3 Analyze I/O queuing activity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374

10.9.4 Analyze FICON statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374

10.9.5 Analyze cache statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37510.9.6 Analyze Rank statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376

10.9.7 Analyze DS6000 port statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377

10.9.8 RMF Magic for Windows. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378

Chapter 11. iSeries servers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387

11.1 iSeries architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388

11.1.1 Single level storage. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388

11.1.2 Expert Cache . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388

11.1.3 Independent auxiliary storage pools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388

11.1.4 Internal versus external storage on iSeries. . . . . . . . . . . . . . . . . . . . . . . . . . . . 389

11.2 DS6000 attachment to iSeries server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390

11.2.1 Fibre Channel adapters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390

11.2.2 DS6000 disk drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39011.2.3 iSeries LUNs on the DS6000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391

11.2.4 LUN size and performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391

11.2.5 iSeries and DS6000 configuration planning . . . . . . . . . . . . . . . . . . . . . . . . . . . 392

11.2.6 Protected and unprotected volumes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393

11.2.7 Changing LUN protection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393

11.3 Multipath . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393

11.3.1 Multipath compared to mirroring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394

11.3.2 Multipath rules for multiple iSeries systems or partitions . . . . . . . . . . . . . . . . . 394

11.3.3 Changing from single path to multipath. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394

11.4 iSeries performance and monitoring tools. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394

11.4.1 Rules of thumb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395

11.4.2 iSeries tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39511.4.3 Collection Services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396

11.4.4 iSeries Navigator monitors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397

11.4.5 IBM Performance Management for iSeries. . . . . . . . . . . . . . . . . . . . . . . . . . . . 397

11.4.6 Performance Tools for iSeries. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 398

11.4.7 Performance Explorer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400

11.4.8 iDoctor for iSeries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402

11.4.9 Workload Estimator for iSeries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403

11.4.10 PATROL for iSeries (AS/400) - Predict. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403

11.4.11 Sizing a DS6000 on iSeries using Disk Magic . . . . . . . . . . . . . . . . . . . . . . . . 403


12/535

x IBM TotalStorage DS6000 Ser ies: Performance Monitoring and Tuning

11.5 Additional information about iSeries performance . . . . . . . . . . . . . . . . . . . . . . . . . . 405

11.5.1 Publications. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405

11.5.2 Web sites . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405

Chapter 12. Understanding your workload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407

12.1 General workload types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408

12.1.1 Standard workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40812.1.2 Read intensive cache unfriendly workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408

12.1.3 Sequential workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408

12.1.4 Batch jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408

12.1.5 Sort jobs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408

12.2 Database workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409

12.2.1 DB2 query . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 409

12.2.2 DB2 logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410

12.2.3 DB2 transaction environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410

12.2.4 DB2 utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410

12.3 Application workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410

12.3.1 General file serving . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411

12.3.2 Online transaction processing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411

12.3.3 Data mining. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411

12.3.4 Video on demand . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412

12.3.5 Data warehousing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412

12.3.6 Engineering and scientific applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412

12.3.7 Digital video editing. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413

12.4 How to understand your workload type. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413

12.4.1 Monitoring the DS6000 workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413

12.4.2 Monitor host workload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413

Chapter 13. Databases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41513.1 DB2 in a z/OS environment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416

13.1.1 Understanding your database workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416

13.1.2 DB2 overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41713.1.3 DB2 storage objects . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417

13.1.4 DB2 dataset types. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418

13.2 DS6000 considerations for DB2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419

13.3 DB2 with the DS6000: Performance recommendations . . . . . . . . . . . . . . . . . . . . . . 419

13.3.1 Know where your data resides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 419

13.3.2 Balance workload across DS6000 resources . . . . . . . . . . . . . . . . . . . . . . . . . . 420

13.3.3 Take advantage of VSAM data striping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420

13.3.4 Large volumes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420

13.3.5 MIDAWs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421

13.3.6 Monitoring the DS6000 performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421

13.4 DS6000 DB2 UDB - open systems environment . . . . . . . . . . . . . . . . . . . . . . . . . . . 421

13.4.1 DB2 UDB storage concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42113.5 DB2 UDB with DS6000: Performance recommendations . . . . . . . . . . . . . . . . . . . . . 427


13.5.2 Balance workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427

13.5.3 Use DB2 to stripe across containers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428

13.5.4 Selecting DB2 logical sizes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428

13.5.5 Selecting the DS6000 logical disk sizes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430

13.5.6 Multi-pathing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431

13.6 IMS in a z/OS environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432

13.6.1 IMS overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432


13/535

Contentsxi

13.6.2 IMS logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433

13.7 DS6000 considerations for IMS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433

13.8 IMS with the DS6000: Performance recommendations . . . . . . . . . . . . . . . . . . . . . . 434


13.8.2 Balance workload across DS6000 resources . . . . . . . . . . . . . . . . . . . . . . . . . . 434

13.8.3 Large volumes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434

13.8.4 Monitoring the DS6000 performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435

Chapter 14. Copy Services for the DS6000. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43714.1 Copy Services introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438

14.2 IBM TotalStorage FlashCopy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438

14.2.1 FlashCopy objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439

14.2.2 Performance considerations with FlashCopy . . . . . . . . . . . . . . . . . . . . . . . . . . 441

14.2.3 Planning for FlashCopy. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442

14.3 IBM TotalStorage Metro Mirror (Synchronous PPRC) . . . . . . . . . . . . . . . . . . . . . . . 443

14.3.1 Metro Mirror options:. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445

14.3.2 Metro Mirror interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446

14.3.3 Metro Mirror configuration considerations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446

14.3.4 Metro Mirror performance considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450

14.4 IBM TotalStorage Global Copy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 451

14.4.1 Global Copy state change logic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452

14.4.2 Configuration guidelines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453

14.4.3 DS6000 I/O ports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454

14.4.4 Global Copy connectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454

14.4.5 Distance considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454

14.4.6 Other planning considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455

14.4.7 Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456

14.4.8 Scalability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456

14.4.9 Addition of capacity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456

14.5 IBM TotalStorage Global Mirror . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457

14.5.1 Performance aspects for Global Mirror . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 460

14.5.2 Performance considerations at coordination time. . . . . . . . . . . . . . . . . . . . . . . 46214.5.3 Consistency Group drain time. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464

14.5.4 Avoid unbalanced configurations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464

14.5.5 Remote storage server configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464

14.5.6 Growth within Global Mirror configurations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466

14.5.7 Global Mirror performance recommendations. . . . . . . . . . . . . . . . . . . . . . . . . . 467

14.6 IBM TotalStorage z/OS Metro/Global Mirror . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 467

14.7 Copy Services performance considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469

14.8 Measuring Copy Services performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469

14.9 z/OS and Copy Services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470

14.9.1 RMF and Copy Services . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471

14.10 Copy Services performance considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 471

14.11 DS CLI metrics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47214.11.1 Managing performance with DS CLI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473

Appendix A. Benchmarking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475Goals of benchmarking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476

Requirements for a benchmark . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476

Define the benchmark architecture. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477

Define the benchmark workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477

Monitoring the performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478

Define the benchmark time frame. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 478


14/535

xii IBM TotalStorage DS6000 Ser ies: Performance Monitoring and Tuning

Caution using benchmark results to design production . . . . . . . . . . . . . . . . . . . . . . . . . . . 479

Appendix B. UNIX shell scripts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482

vgmap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 482

lvmap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483

vpath_iostat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 484ds_iostat. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 488

test_disk_speeds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 491

Related publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493

IBM Redbooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493

Other publications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493

Online resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494

How to get IBM Redbooks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495

Help from IBM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495

Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497


15/535

Copyright IBM Corp. 2005. All rights reserved.xiii

Figures

1-1 DS6000 Series. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1-2 IBM TotalStorage DS6000 and ESS comparison . . . . . . . . . . . . . . . . . . . . . . . . . . . 121-3 IBM TotalStorage DS6000 series and DS8000 series comparison . . . . . . . . . . . . . . 13

1-4 IB M TotalStorage DS6000 series and DS4800 comparison. . . . . . . . . . . . . . . . . . . 14

2-1 Planning the DS6000 hardware configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2-2 DS6000 architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2-3 Persistent memory. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

2-4 Cache lists of the SARC algorithm for random and sequential data . . . . . . . . . . . . . 24

2-5 IO Response Time (under 3500 IOPS) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2-6 IO response time (over 3500 IOPS). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

2-7 DS6000 Arrays - physical and effective capacities . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2-8 Open OLTP workload on 146 GB and 300 GB configuration . . . . . . . . . . . . . . . . . . 30

2-9 Open read intensive workload on 146 GB and 300 GB configuration . . . . . . . . . . . . 31

2-10 OLTP workload - 15K rpm versus 10K rpm disk drives . . . . . . . . . . . . . . . . . . . . . . . 32

2-11 Read intensive - 15K rpm versus 10K rpm drives . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

2-12 Example of Array Site configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

2-13 RAID 5 Array implementation 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

2-14 RAID 5 Array implementation 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

2-15 RAID 5 array implementation 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

2-16 RAID 10 Array implementation 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37



2-19 RAID 5 and RAID 10 in the same loop . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

2-20 SBOD FC-AL structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

2-21 Server enclosure and expansion enclosure connection . . . . . . . . . . . . . . . . . . . . . . 43

2-22 Host port architecture. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

2-23 Comparison of host adapter performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442-24 Fibre Channel/FICON host adapters - FCP attachment . . . . . . . . . . . . . . . . . . . . . . 46

2-25 Performance Enhancement of FICON Express2. . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

2-26 Fibre Channel/FICON host adapters - FICON attachment . . . . . . . . . . . . . . . . . . . . 48

2-27 Host has two paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

2-28 Host has multiple paths to each server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

2-29 Host has only single path. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

3-1 Disk Drive Module internal connections. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

3-2 Fully configured DS6000 with seven expansion enclosures . . . . . . . . . . . . . . . . . . . 61

3-3 Array Sites S1-S4 in a DS6000 base unit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

3-4 Sample of Array Site locations within three expansion enclosures . . . . . . . . . . . . . . 65

3-5 Logical CKD volume physical location example . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

3-6 DS6000 preferred path connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 773-7 Logical Volume sizes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

3-8 Host Adapter server affinity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

3-9 Host shown with dual paths to DS6000. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

4-1 Welcome to Disk Magic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88

4-2 Disk Subsystem zSeries dialog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

4-3 Configuration details . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

4-4 Interfaces panel zSeries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

4-5 zSeries workload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

4-6 Merge dialog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92


16/535

xiv IBM TotalStorage DS6000 Series: Performance Monitoring and Tuning

4-7 Merge Target panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

4-8 Merge Result . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

4-9 Disk Subsystem open systems dialog . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

4-10 Interfaces panel open systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

4-11 Open systems workload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97

4-12 Response time projection with workload growth . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

4-13 HDD/DDM Utilization with workload growth. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 994-14 Specify effective capacity for zSeries servers in terms of 3390 volumes . . . . . . . . 104

4-15 Graphical interface before any DDMs are specified . . . . . . . . . . . . . . . . . . . . . . . . 105

4-16 Graphical interface populated with DDMs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

4-17 RAID Array report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

4-18 zSeries reports. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108

4-19 Graphical interface with non-optimum spare configuration . . . . . . . . . . . . . . . . . . . 108

4-20 Report warning of non-optimum spare configuration. . . . . . . . . . . . . . . . . . . . . . . . 109

4-21 IBM TotalStorage Productivity Center launch pad. . . . . . . . . . . . . . . . . . . . . . . . . . 110

4-22 Monitor and configure the storage infrastructure disk area . . . . . . . . . . . . . . . . . . . 111

4-23 IBM TotalStorage Productivity Center for Disk operating environment . . . . . . . . . . 112

4-24 IBM Director Console. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

4-25 TPC architecture overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1164-26 IBM Director console with Performance Manager . . . . . . . . . . . . . . . . . . . . . . . . . . 117

4-27 Performance Manager tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

4-28 DS8000/DS6000 Data Collection Task . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

4-29 DS8000/DS6000 Cluster level gauge values. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

4-30 DS8000/DS6000 Rank Group level gauge values. . . . . . . . . . . . . . . . . . . . . . . . . . 121

4-31 DS8000/DS6000 volume level gauge values. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

4-32 Display performance gauge. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

4-33 DS8000/DS6000 performance thresholds panel . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

4-34 DS8000/DS6000 Threshold enable warning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

4-35 Modifying DS8000/DS6000 threshold warning and error values . . . . . . . . . . . . . . . 124

4-36 Performance gauges panel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

4-37 Create performance gauge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

4-38 Gauge for DS6000 Cluster performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

4-39 Customizing gauge for array level metric. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

4-40 Modified gauge with Avg. response time chart . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

4-41 Windows 2000 Performance Monitor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136

4-42 Inter-switch link (ISL) configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139

4-43 Shared DS6000 I/O ports. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

4-44 Single server accessing multiple DS6000s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

4-45 Remote mirroring configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141

5-1 DS6000 attachment types: FCP and FICON. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

5-2 Measurements of channel performance over several generations of channels. . . . 146

5-3 DS6000 FICON attachment. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

5-4 Fibre Channel connections with a DS6000 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149

5-5 Fibre Channel arbitrated loop topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1505-6 Example of a Storage Area Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153

5-7 Zoning in a SAN environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

5-8 SDD with multiple paths to a DS6000 logical disk. . . . . . . . . . . . . . . . . . . . . . . . . . 156

5-9 Subsystem Device Driver configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158

5-10 SAN single-path connection. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160

5-11 SAN multi-path connection with single fiber. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161

6-1 Extents being used to create Virtual Disks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170

6-2 Relationship between physical and virtual. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171

6-3 SAN Volume Controller FlashCopy outside the box . . . . . . . . . . . . . . . . . . . . . . . 173


17/535

Figuresxv

6-4 Synchronous remote copy relationship between 2 SAN Volume Controller clusters 174

6-5 Shows an example configuration that illustrates this performance limitation. . . . . . 178

6-6 SAN Volume Controller configuration based on DS6000 (1 Rank per Extent Pool) 180

7-1 One LUN from each Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192

7-2 Data layout diagram. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

7-3 Data layout legend. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196

7-4 Devices presented to iostat . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1997-5 Non striped logical volume. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240

7-6 Inter-disk policy logical volume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241

7-7 Striped logical volume . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245

8-1 linuxconf screen. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266

8-2 serviceconfig screen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

8-3 SUSE Linux Powertweak. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271

8-4 Red Hat kernel tuning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272

8-5 Paging statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288

8-6 I/O transfer rate report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 289

8-7 Run Queue report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290

8-8 Memory and Swap report. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291

8-9 Memory Activities report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2928-10 CPU Utilization. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293

8-11 System swapping. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293

8-12 GKrellM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294

8-13 KDE System Guard default window. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295

8-14 Striped volume set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 298

8-15 Three LUNs on the same DS6000 Rank will not optimize performance . . . . . . . . . 299

8-16 Effect of tuning the I/O subsystem. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302

9-1 Performance options in Windows 2003 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307

9-2 Virtual memory settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309

9-3 Configuring the system cache in Windows 2000 . . . . . . . . . . . . . . . . . . . . . . . . . . . 312

9-4 Memory optimization settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314

9-5 Windows Server 2003 Services window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316

9-6 Task Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318

9-7 Selecting Base Priority in Task Manager. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319

9-8 Base Priority. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319

9-9 Changing the priority of a process using Task Manager . . . . . . . . . . . . . . . . . . . . . 320

9-10 Assigning Processor Affinity to a selected process . . . . . . . . . . . . . . . . . . . . . . . . . 322

9-11 Assigning processor affinity using the INTFILTR tool . . . . . . . . . . . . . . . . . . . . . . . 323

9-12 Editing the BOOT.INI to include the /3GB switch. . . . . . . . . . . . . . . . . . . . . . . . . . . 324

9-13 Editing the BOOT.INI to include the /PAE switch. . . . . . . . . . . . . . . . . . . . . . . . . . . 325

9-14 Main Performance console window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335

9-15 The Performance console: System Monitor. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336

9-16 Performance Logs and Alerts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339

9-17 Chart setting for finding disk bottlenecks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342

9-18 New counter log, General tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3449-19 Log Files tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345

9-20 New counter log, Schedule tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346

9-21 Counter log pop-up . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347

9-22 System Monitor Properties (Source tab) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348

9-23 System Monitor Properties (Data tab) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349

9-24 Windows Task Manager - Processes tab . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350

9-25 Select columns for the Processes view . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351

9-26 Task Manager - Performance view . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352

10-1 Concurrent I/O prior to PAV and Multiple Allegiance. . . . . . . . . . . . . . . . . . . . . . . . 361


18/535

xvi IBM TotalStorage DS6000 Series: Performance Monitoring and Tuning

10-2 Concurrent I/O with PAV and Multiple Allegiance . . . . . . . . . . . . . . . . . . . . . . . . . . 361

10-3 Concurrent read operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362

10-4 Concurrent write operation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363

10-5 Number of volumes on a (6+P) RAID 5 Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364

10-6 DB2 large volume performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365

10-7 DSS dump large volume performance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366

10-8 Channel utilization limits for hypothetical workloads . . . . . . . . . . . . . . . . . . . . . . . . 36810-9 FICON port and channel throughput . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369

10-10 Daisy chaining DS6000s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370

10-11 Sample set of RMF Magic workload summary charts . . . . . . . . . . . . . . . . . . . . . . . 381

10-12 I/O and data rate summary for a single subsystem . . . . . . . . . . . . . . . . . . . . . . . . . 382

10-13 Cache summary for a single subsystem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383

10-14 Breakdown of measurement data by SSID within a subsystem . . . . . . . . . . . . . . . 384

10-15 Summary of subsystem response time components. . . . . . . . . . . . . . . . . . . . . . . . 385

11-1 Performance Tools Disk Utilization Report . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400

13-1 DB2 UDB logical structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422

13-2 Allocating DB2 containers using a spread your data approach. . . . . . . . . . . . . . . 428

13-3 IMS large volume performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435

14-1 FlashCopy establish. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44014-2 FlashCopy interfaces and functions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 441

14-3 Synchronous logical volume replication. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444

14-4 Logical paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 447

14-5 Logical paths for Metro Mirror . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448

14-6 Symmetrical Metro Mirror configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449

14-7 Asynchronous logical volume replication. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 452

14-8 Global Copy and Metro Mirror state change logic . . . . . . . . . . . . . . . . . . . . . . . . . . 453

14-9 Logical paths . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 454

14-10 Global Copy environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456

14-11 Global Mirror overview. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 458

14-12 How Global Mirror works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459

14-13 Global Copy with write hit at the remote site . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461

14-14 Application write I/O within two Consistency Group points . . . . . . . . . . . . . . . . . . . 462

14-15 Coordination time - how does it impact application write I/Os? . . . . . . . . . . . . . . . . 463

14-16 Remote storage server configuration, all Ranks contain equal numbers of volumes465

14-17 Remote storage server with D volumes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466

14-18 A three-site z/OS Metro/Global Mirror implementation . . . . . . . . . . . . . . . . . . . . . . 468


19/535

Copyright IBM Corp. 2005. All rights reserved.xvii

Notices

This information was developed for products and services offered in the U.S.A.

IBM may not offer the products, services, or features discussed in this document in other countries. Consultyour local IBM representative for information on the products and services currently available in your area. Anyreference to an IBM product, program, or service is not intended to state or imply that only that IBM product,program, or service may be used. Any functionally equivalent product, program, or service that does notinfringe any IBM intellectual property right may be used instead. However, it is the user's responsibility toevaluate and verify the operation of any non-IBM product, program, or service.

IBM may have patents or pending patent applications covering subject matter described in this document. Thefurnishing of this document does not give you any license to these patents. You can send license inquiries, inwriting, to:IBM Director of Licensing, IBM Corporation, North Castle Drive Armonk, NY 10504-1785 U.S.A.

The following paragraph does not apply to the United Kingdom or any other country where such provisions areinconsistent with local law: INTERNATIONAL BUSINESS MACHINES CORPORATION PROVIDES THISPUBLICATION "AS IS" WITHOUT WARRANTY OF ANY KIND, EITHER EXPRESS OR IMPLIED,

INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF NON-INFRINGEMENT,MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE. Some states do not allow disclaimer ofexpress or implied warranties in cer tain transactions, therefore, this statement may not apply to you.

This information could include technical inaccuracies or typographical errors. Changes are periodically madeto the information herein; these changes will be incorporated in new editions of the publication. IBM may makeimprovements and/or changes in the product(s) and/or the program(s) described in this publication at any timewithout notice.

Any references in this information to non-IBM Web sites are provided for convenience only and do not in anymanner serve as an endorsement of those Web sites. The materials at those Web sites are not part of thematerials for this IBM product and use of those Web sites is at your own risk.

IBM may use or distribute any of the information you supply in any way it believes appropriate without incurringany obligation to you.

Information concerning non-IBM products was obtained from the suppliers of those products, their publishedannouncements or other publicly available sources. IBM has not tested those products and cannot confirm theaccuracy of performance, compatibility or any other claims related to non-IBM products. Questions on thecapabilities of non-IBM products should be addressed to the suppliers of those products.

This information contains examples of data and reports used in daily business operations. To illustrate themas completely as possible, the examples include the names of individuals, companies, brands, and products.All of these names are fictitious and any similarity to the names and addresses used by an actual businessenterprise is entirely coincidental.

COPYRIGHT LICENSE:This information contains sample application programs in source language, which illustrates programmingtechniques on various operating platforms. You may copy, modify, and distribute these sample programs inany form without payment to IBM, for the purposes of developing, using, marketing or distributing application

programs conforming to the application programming interface for the operating platform for which the sampleprograms are written. These examples have not been thoroughly tested under all conditions. IBM, therefore,cannot guarantee or imply reliability, serviceability, or function of these programs. You may copy, modify, anddistribute these sample programs in any form without payment to IBM for the purposes of developing, using,marketing, or distributing application programs conforming to IBM's application programming interfaces.


20/535

xviii IBM TotalStorage DS6000 Series: Performance Monitoring and Tuning

Trademarks

The following terms are trademarks of the International Business Machines Corporation in the United States,other countries, or both:

Eserver

iSeries

i5/OSpSeries

xSeries

z/OS

z/VM

zSeries

z9

AIX 5L

AIX

AS/400

BladeCenter

CICS

Domino

DB2 Universal Database

DB2

DFSMSdss

DFSORTEnterprise Storage Server

ECKD

ESCON

FlashCopy

FICON

HACMP

IBM

IMS

MVS

Netfinity

NUMA-Q

OS/2

OS/400

PowerPC

Predictive Failure Analysis

Ratio

IBM Total Storage DS6000 Series Performance Monitoring and Tuning

Documents