NetApp Deduplication

NetApp Deduplication

- 스토리지 효율성 향상

- FlexVol 볼륨이나 데이터 집합에서 블록 단위 중복 제거 제공

- metadata 생성 - 4KB 블록 단위

  그림1. How NetApp deduplication works at the highest level

동작: 새로 저장된 데이터는 기본적으로 4KB 블록에 저장. 데이터의 각 블록은 FlexVol 볼륨이나 데이터 constituent에 있는 다른 모든 Fingerprints와 비교되는 디지털 fingerprints를 가지고 있음. 이 fingerprints이 동일한 것으로 판단될 경우, 바이트 단위 비교는 블록의 모든 바이트로 이루어짐. 새로운 블록과 FlexVol 볼륨이나 데이터 constituent에 존재하는 블록 이 정확하게 일치하면 중복 블록은 폐기되고 해당 디스크 공간이 회수.

 그림2. Data structure in a deduplicated FlexVol volume or data constituent.

각 데이터 블록은 볼륨이나 데이터 contituent 메타 데이터의 참조 카운트를 갖는다. 기존 데이터를 공유하고 중복된 데이터 블록을 제거하는 과정에서 블록 포인터가 변경. 블록 포인터가 디스크에 남아있는 블록의 경우, 참조 카운트가 증가. 중복 데이터가 포함된 블록의 경우 참조 횟수가 감소. 제공된 블록 포인터는 데이터 블록에 대한 참조가 없으면 블록은 해제 됨.

중복 제거 기술의 핵심은 fingerprints. fingerprints는 FlexVol 볼륨이나 데이터 constituent마다 4KB 데이터 블록에 대해 고유 디지털 '서명'을 함.

중복 제거는 기존 데이터 볼륨에서 처음으로 실행하면 FlexVol 볼륨이나 데이터 constituent에 사용되는 블록에 대한 모든 fingerprints의 분류 목록이 포함된 fingerprints 데이터베이스를 만듦. 이 fingerprints를 만든 후, fingerprints 블록의 바이트 단위 비교가 블록이 실제로 동일한 지 확인하기 위한 것. 중복 검사 중 이들이 동일한 것으로 발견되면 블록의 포인터는 기존 데이터 블록에 업데이트되고 새로운 (중복)데이터 블록은 해제 됨.