NetApp ONTAP2

● Physical Storage

○ Data ONTAP Storage Architecture

 

 

 

 

 

 

○ Disk Type

Type	Disk Class	Industry Std	Description
BSAS	Capacity	SATA	Bridge SAS-SATA disks
FSAS	Capacity	NL-SAS	Near-line SAS
m SATA	Capacity	SATA	SATA disk in multidisc carrier storage shelf
SAS	Performance	SAS	Serial-attached SCSI
SSD	Ultra-performance	SSD	Solid-state drive
ATA	Capacity	SATA	FC-connected Serial ATA
FC-AL	Performance	FC	Fibre Channel
LUN	Not applicable	LUN	Array LUN
VMDISK	Not applicable	VMDK

 

○ Aggregate 생성 Workflow

 

 

 

 

 

 

1. aggregate auto-provision

auto-provisioning을 사용한 aggregate 생성은 ONTAP 9.2 이상에서 best practice 이지만 사용자 환경에서 지원되는지 여부를 확인해야 함. 지원하지 않는 경우 RAID 정책 및 디스크 구성에 대해 결정한 다음 수동으로 생성해야 함.

::>storage aggregate auto-provision 명령 사용

 

※ Default RAID policies

RAID-DP나 RAID-TEC가 새 aggregate에 대한 기본 RAID 정책.

RAID 정책은 디스크 오류 발생 시 사용하는 패리티 보호를 결정.

RAID-DP는 단일 또는 이중 디스크 오류 발생 시 이중 패리티(double-parity) 보호를 제공.

RAID-DP는 아래 aggregate type에 대한 기본 RAID 정책임.

1) All Flash Aggregates

2) Flash Pool Aggregates

3) Performance hard disk drive aggregates.

 - ONTAP 9.0부터는 RAID-TEC라는 새로운 RAID 정책을 사용할 수 있음

RAID-TEC는 AFF를 포함한 모든 디스크 유형과 모든 플랫폼에서 지원됨. 더 큰 디스크를 포함하는 Aggregate는 동시 디스크 오류 가능성이 더 높음. RAID-TEC은 3중 패리티 보호를 제공하여 데이터가 최대 3개의 디스크 오류가 발생하더라도 견딜 수 있도록 함.

RAID-TEC는 6TB 이상의 디스크를 사용하는 용량 HDD 집합에 대한 기본 RAID 정책임.

 

• Aggregate에 필요한 Disk나 Disk Partition 수를 결정하는 방법

- 시스템 요구 사항을 충족하려면 충분한 디스크 또는 디스크 파티션이 있어야 함.

- 데이터 손실 가능성을 최소화하려면 권장되는 수의 Hot Spare나 Hot Spare Disk Partition이 있어야 함.

- Root-data 파티셔닝은 특정 구성에서 기본적으로 활성화 됨. root-data 파티셔닝이 활성화 된 시스템은 디스크 파티션을 사용하여 Aggregate를 생성.

- root-data 파티셔닝이 활성화 되지 않은 시스템은 파티션 되지 않은 디스크?를 사용.

- RAID 정책에 필요한 최소 수를 충족하고 최소 용량 요구 사항을 충족하기에 충분한 디스크 또는 디스크 파티션이 있어야 함.

※ ONTAP에서 드라이브의 사용 가능한 공간은 드라이브의 물리적 용량보다 적음. 하드웨어 Universe에서 특정 드라이브의 사용 가능한 공간과 각 RAID 정책에 필요한 최소 디스크 또는 파티션을 찾을 수 있음.

::> storage aggregate show-spare-disks

 

 

 

 

 

 

 

- RAID Group를 만들고 용량 요구 사항을 충족하는데 필요한 디스크나 디스크 파티션의 수 외에도 Aggregate에 권장되는 최소 Hot Spare나 Hot Spare Disk partition이 있어야 함.

- 모든 Flash Aggregate는 최소 하나의 Hot Spare나 Hot Spare Disk partition이 있어야 함.

- non-flash Aggregate의 경우 최소 2개의 Hot Spare나 Hot Spare Disk partition이 있어야 함.

- Maintenance Center를 지원하고 여러 동시 디스크 장애로 인한 문제를 방지하려면 multi-disk carrier에 최소 4개의 Hot Spare가 있어야 함.

 

2. 수동으로 Aggregate 생성

- Aggregate에 필요한 디스크 수와 Hot Spare 수를 결정해야 함.

※ root-data-data 파티셔닝이 활성화 되고 구성에 SSD가 24개 이하인 경우 데이터 파티션을 다른 노드에 할당하는 것이 좋음.

root-data 파티셔밍 및 root-data-data 파티셔닝이 활성화 된 시스템에서 aggregate를 만드는 절차는 파티션 되지 않은 디스크를 사용하여 시스템에서 aggregate를 만드는 절차와 동일.

시스템에서 root-data 파티셔닝이 활서오하 된 경우 -diskcount 옵션에 디스크 파티션 수를 사용해야 함. root-data-data를 분할의 경우 -diskcount 옵션은 사용할 디스크 수를 지정.

※ FlexGroups 와 함께 사용하기 위해 여러 aggregate를 만들 때 aggregate는 가능한 한 크기가 비슷해야 함.

 

○  스토리지 aggregate 생성

1) spare disk 파티션 목록을 보고 aggregate를 생성하기에 충분한지 확인

::>storage aggregate show-spare-disk -original-owner node_name

=> 데이터 파이션은 사용 가능한 로컬데이터 아래에 표시됨. 루트 파티션은 spare로 사용할 수 없음.

 

 

 

 

2) Aggregate 생성 시 시뮬레이션:

::>storage aggregate create -aggregate [aggregate_name] -node [node_name] -raidtype raid_dp -diskcount [number of disks or partition] -simulate true

 

 

 

 

 

3) 시뮬레이션 된 명령에서 경고가 표시되면 명령을 조정하고 다시 시뮬레이션

4) aggregate 생성

::>storage aggregate create -aggregate [aggregate_name] -node [node_name] -raidtype raid_dp -diskcount [number of disks or partition]      

 

 

 

 

 

 

5) aggregate 생성 확인

::>storage aggregate show-status [aggregate_name]

 

 

 

 

 

 

3. Aggregate 확장 Workflow

 

 

 

 

 

 

 

 

 

 

 

 

4. Node나 Shelf에 Drives 추가

- 노드나 Shelf에 드라이브를 추가하여 Hot Spare 수를 늘리거나 Aggregate에 추가

- 추가하려는 Drives는 플랫폼에서 지원되어야 함.

- 단일 Procedure에서 추가해야 하는 최소 드라이브 수는 6개. 단일 드라이브를 추가하면 성능이 저하될 수 있음.

- Steps

1) 넷앱 지원 사이트에서 최신 드라이브 및 Shelf 펌웨어와 디스크 검증 패키지 파일을 확인.

노드나 Shelf에 최신 버전이 없는 경우 새 드라이브를 설치하기 전에 업데이트 진행.

드라이브 펌웨어는 최신 펌웨어 버전이 없는 새 드라이브에서 자동으로 업데이트 됨.

2) 바르게 접지(Properly ground yourself)

3) 플랫폼 전면에서 베젤을 제거

4) 새 드라이브의 올바른 슬롯을 확인

※ 드라이브 추가를 위한 올바른 슬롯은 플래솜 모델 및 ONTAP 버전에 따라 다름. 어떤 경우에는 특정 슬롯에 순서대로 드라이브를 추가해야 함.

5) 새 드라이브를 삽입

a. Cam handle 이 열린 위치에 있는 상태에서 양손으로 새 드라이브를 삽입

b. 드라이브가 멈출 때까지 밈.

c. Cam handle을 닫아 드라이브가 미드 플레인과 핸들에 완전히 안착되고 핸들이 제자리에 고정되도록 함. Cam handle을 천천히 닫아 드라이브 면과 올바르게 정렬되도록 함.  

6) 드라이브의 activity LED(녹색)가 켜져 있는지 학인. LED가 계속 켜져 있으면 드라이브에 전원이 있음을 의미. activity LED가 깜빡이면 드라이브에 전원이 있고 I/O가 진행 중임을 의미. 드라이브 펌웨어가 자동으로 업데이트되는 경우 LED가 깜빡임.

7) 다른 드라이브를 추가하려면 4) ~ 6)단계를 반복. 새 드라이브는 노드에 할당될 때까지 인식이 되지 않음. 새 드라이브를 수동으로 할당하거나 노드가 드라이브 자동 할당 규칙을 따르는 경우 ONTAP이 새 드라이브를 자동할당할 때까지 기다릴 수 있음.

8) 새 드라이브가 모두 인식 되면 추가 및 소유권 정보를 확인

::>storage aggregate show-spare-disks => 올바른 노드가 소유한 새 드라이브가 표시되어야 함

9) Options: 새로 추가된 드라이브를 제로화(::>storage disk zerospares)

※ Aggregate에서 이전에 사용된 드라이브는 다른 Aggregate에 추가하기 전에 0으로 설정해야 함. 드라이브를 0으로 설정하면 Aggregate 크기를 빠르게 늘려야 하는 경우 지연을 방지할 수 있음. 드라이브 제로화 명령은 백그라운드에서 실행되며 노드에서 제로화 되지 않은 드라이브의 크기에 따라 완료하는데 몇 시간이 걸릴 수 있음.

::>storage disk zerospares

 

 

 

 

 

 

 

 

 

 

 

 

 

 

디스크 초기화 후

- 새 드라이브를 aggregate에 추가하거나 Host Spare 목록에 배치 or 새 aggregate 생성 가능.

1) 디스크 검증 패키지를 업데이트 해야 하는 경우,

디스크 검증 패키지(Disk Qualification Package, DQP)는 새로 검증 된 드라이브에 대한 완전한 지원을 추가. 드라이브 펌웨어를 업데이트 하거나 새 드라이브 유형 또는 크기를 클러스터에 추가하기 전에 DQP를 업데이트 해야 함.

DQP를 분기 or 반기마다 정기적 업데이트 하는 것이 best practice

2) Hot Spare 디스크 동작

핫 스페어 디스크는 스토리지 시스템에 할당되고 사용할 준비가 되었지만 RAID 그룹에서 사용 중이 아니고 데이터를 보유하지 않는 디스크.

3) Aggregate 생성 플로우

aggregate를 생성하면 시스템의 볼륨에 스토리지가 제공됨. ONTAP 9.2부터는 ONTAP이 시스템에 대한 Aggregate 구성 권장하도록 할 수 있음(Auto Provisioning). Auto Provisioning을 사용할 수 없거나 적합하지 않은 경우 수동으로 구성할 수 있음.

 

5. 수동으로 디스크 ownership 할당

디스크는 Aggregate에 사용되지 전에 node가 소유해야 함. 클러스터가 자동 디스크 소유권 할당을 사용하도록 구성되지 않은 경우 소유권을 수동으로 할당해야 함.

Aggregate에서 사용중인 디스크의 소유권을 재 할당 할 수는 없음.

- 할당되지 않은 디스크 확인

::>storage disk show -container-type unassigned

 

 

- 디스크 할당

::>storage disk assign -disk disk_name -owner owner_name

 

 

 

 

 

6. 빠른 드라이브 zeroing

ONTAP 9.4부터는 긴 대기시간 없이 프로비저닝 하기 전에 드라이브(SSD 및 HDD)를 자동으로 빠르게 제로화 할 수 있음.

ONTAP 9.4이상으로 설치되거나 초기화 된 시스템의 경우 드라이브 제로화가 자동으로 수행되고 몇 초 만에 완료.

수동으로 드라이브를 제로화해야 할 경우 아래 방법을 사용

1) storage disk zerospares 명령 사용(관리자 권한 필요)

2) 부팅 메뉴에서 다음 옵션 중 하나를 선택

- (4) Clean configuration and initialize all disks

- (9a) Unpartition all disks and remove their ownership information

- (9b) Clean configuration and initialize node with whole disks

빠른 제로화 향상은 ONTAP 9.4 이전 릴리스에서 업그레이드 된 시스템을 지원하지 않음.

클러스터 노드에 빠르게 비워진 드라이브가 있는 Aggregate가 포함된 경우 클러스터를 ONTAP 9.2 또는 이전으로 되돌릴 수 없음.

 

7. Aggregate 확장

볼륨에 더 많은 공간을 제공할 수 있도록 Aggregate에 디스크를 추가할 수 있음.

partitioned disks나 unpartitioned disks 를 Aggregate에 추가하는 절차는 유사함.

스토리지를 추가하는 Aggregate RAID Group 크기를 아는 것이 중요.

- Aggregate를 확장할 때 Aggregate에 partitioned disks를 추가하는지 unpartitioned disks를 추가하는지를 알고 있어야 함. unpartitioned disk를 기존 Aggregate에 추가하면 기존 RAID Group 크기가 새 RAID Group 크기에 상속되어 필요한 Parity 디스크 수에 영향을 줄 수 있음.

unpartitioned disk가 Partitioned disk로 구성된 RAID Group에 추가되면 새 디스크가 분할되어 사용되지 않는 예비 분할 영역에 남음.

파티션을 프로비저닝 할 때 두 파티션을 예비로 사용하는 드라이브 없이 노드를 떠나지 않도록?해야 함. 그럴 경우 노드에서 컨트롤러 중단이 발생하면 문제에 대한 중요한 정보(the core file)를 기술 지원에 제공하지 못할 수 있음.

※ disklist 명령을 사용해서 Aggregate 디스크를 확장하지 말도록 하라.

   파티션 정렬이 잘못될 수 있음

 

-Steps

1) Aggregate를 소유하는 시스템에서 사용 가능한 spare storage를 표시.

::> show-spare-disk -original-owner [node_name] -is-disk-shared true 매개 변수를 사용하여 Partitioned 디스크나 unpartitioned 디스크만 표시할 수 있음.

 

 

 

 

 

 

2) 현재 Aggregate에 대한 RAID 그룹 표시

::>storage aggregate show-status [aggr_name]

 

 

 

 

 

3) Aggregate에 디스크 추가

::>storage aggregate add-disks -aggregate [Aggr_name] -diskcount [number_of_disk_or_partition] -simulate true  

실제 프로비저닝하지 않고 스토리지에 디스크 추가 결과를 볼 수 있음.

 

 

 

 

 

 

- Flash Pool Aggregate를 생성할 때, Aggregate와 다른 체크섬이 있는 디스크를 추가하거나 혼합.

 

체크섬 Aggregate에 디스크를 추가하는 경우 -checksumstyle 매개 변수를 사용해야 함.

- Flash Pool Aggregate에 디스크를 추가하는 경우 -disktype 매개 변수를 사용하여 지정

- disksize 매개 변수를 사용하여 추가 할 디스크의 크기를 지정할 수 있음. 지정된 크기의 디스크만 선택 됨.

::> storage aggregate add-disks -aggregate TEST_AGGR -raidgroup new -diskcount 5

 

5) 디스크 추가 확인

::>storage aggregate show-status -aggregate TEST_AGGR

- 새 raidgroup에 디스크 추가

 

 

 

 

 

 

 

 

 

 

 

6) 노드에 root partition과 data partition 이 모두 스페어인 디스크가 있는지 확인

::>storage aggregate show-spare-disks -original-owner NETAPPPAR_TEMP-N1

 

 

 

 

 

 

 

 

 

 

 

 

8. Managing Aggregates

디스크 RAID protection levels

- 3가지 RAID 지원. RAID 보호 수준에 따라 디스크 오류 발생 시 데이터 복구에 사용할 수 있는 Parity 디스크 수가 결정 됨.

- RAID Protection 기능을 사용하면 RAID 그룹 디스크 오류가 있는 경우, 오류가 발생한 디스크를 Spare 디스크로 교체하고 패리티 데이터를 사용하여 오류가 발생한 디스크의 데이터를 재구성 함.

1) RAID 4

하나의 Spare 디스크 사용. RAID 그룹 내 장애 발생 시 하나의 디스크에서 데이터를 교체 재구성.

2) RAID DP

RAID-DP 보호 기능을 통해 최대 2개의 Spare 디스크를 사용하여 RAID 그룹 내에서 동시에 오류가 발생한 최대 2개의 디스크에서 데이터를 교체하고 재구성.

3) RAID-TEC

RAID-TEC 보호 기능을 사용하면 최대 3개의 Spare 디스크를 사용하여 RAID 그룹 내에서 동시에 오류가 발생한 최대 3개의 디스크에서 데이터를 교체하고 재구성.

 

Aggregate에 필요한 디스크나 디스크 파티션 수를 결정하는 방법

- Aggregate에 충분한 디스크 또는 디스크 파티션이 있어야 함. 데이터 손실 가능성을 최소화하려면 권장되는 수의 hot spare 디스크나 hot spare 디스크 파티션이 있어야 함.

- Root-data partitioning은 특정 구성에서 기본적으로 활성화 됨. Root-data partitioning이 활성화 된 시스템은 디스크 파티션을 사용하여 Aggregate를 생성.  Root-data partitioning이 활성화되지 않은 시스템은 파티션되지 않은 디스크를 사용.

- RAID 정책에 필요한 최소 수를 충족하고 최소 용량 요구 사항을 충족하기에 충분한 디스크 도는 디스크 파티션이 있어야 함.

※ ONTAP에서 드라이브의 사용 가능한 공간은 드라이브이 물리적 용량보다 적음.

특정 드라이브의 사용 가능한 공간과 하드웨어 유니버스에서 각 RAID 정책에 필요한 최소 디스크나 디스크 파티션을 찾을 수 있음.

::>storage aggregate show-spare-disks

 

- RAID 그룹을 만들고 용량 요구 사항을 충족하는데 필요한 디스크 또는 디스크 파티션 수 외에도 Aggregate에 권장되는 최소 hot spare 디스크나 hot spare 디스크 파티션이 있어야 함.

1) 모든 Aggregate의 경우 최소 하나의 hot spare디스크나 hot spare 디스크 파티션이 있어야 함.

2) 비플래시 동종 Aggregate의 경우 최소 2개의 hot spare 디스크나 디스크 파티션이 있어야 함.

3) Flash Pool Aggregate의 경우 각 디스크 유형에 대해 최소 2개의 hot spare 디스크나 디스크 파티션이 있어야 함.

4) Management Center의 사용을 지원하고 여러 동시 디스크 오류로 인한 문제를 방지하려면 다중 디스크 캐리어에 최소 4개의 hot spare가 있어야 함.