AWS Storage

Snow Family

• Snowball

  • 엣지 환경에서 데이터를 수집하고 프로세싱, 마이그레이션하기 위해 사용되는 보안성이 높은 장치

  • PB 단위의 데이터를 마이그레이션할 때 네트워크를 거치는 대신 장치를 통해 이동시킬 수 있다.

  • Snowball(80TB ~ 210TB)보다 적은 양의 데이터를 다루는 Snowcone(8TB HDD ~ 14TB SSD)도 제공된다.

  • 네트워크를 통해 데이터를 전송할 경우 대역폭이 10Gbps라고 할 때 10TB는 3시간, 1PB는 12일까지 소요된다.

  • 네트워크를 공용으로 사용해 모든 대역폭을 소진하지 않아야 하거나, 네트워크 비용이 비싸거나, 연결이나 대역폭이 제한된 환경에서 데이터를 옮기기 위해 사용된다.

• 엣지 컴퓨팅 환경이란 인터넷 연결이 원활히 되지 않는 환경을 의미한다. 이러한 환경에서 데이터를 수집하거나 프로세싱할 때 스노우볼 엣지 장치를 이용할 수 있다. 엣지 장치에서 EC2 인스턴스나 람다 함수를 실행할 수도 있다.

• 스노우볼의 데이터는 바로 S3 Glacier로 입력할 수 없다. 따라서 S3 생명 주기 규칙에 의해 Glacier로 이동시켜주어야 한다.

Amazon FSx

• Amazon FSx는 타사 고성능 파일 시스템을 실행시키는 관리형 서비스이다.

• FSx for Lustre

  • Linux와 클러스터(Cluster)를 합친 단어로 대량의 연산에 사용되던 분산 파일 시스템이다.

  • 머신 러닝과 HPC, 동영상 처리나 금융 모델링 전자 설계 자동화 등의 애플리케이션에서 쓰이고 확장성이 높다.

  • 초당 수백 GB의 데이터에 수백만 IOPS로 확장되고 밀리초보다 짧은 지연 시간을 보장한다.

  • 스토리지 옵션

    • SSD: 낮은 지연 시간, IOPS 워크로드 위주, 크기가 작은 무작위 파일 작업을 위해 사용한다.

    • HDD: 처리량이 많은 워크로드나 크기가 큰 시퀀스 파일 작업을 위해 사용한다.

  • FSx를 통해 S3를 파일 시스템로 읽어들이고 FSx의 연산 결과를 S3에 쓸 수 있다.

  • 온프레미스 서버에서 VPN, Direct Connect를 통해 사용할 수 있다.

  • 파일 시스템 배포 옵션

    • 스크래치 파일 시스템

      • 임시 스토리지로 데이터가 복제되지 않는다. 따라서 서버가 오작동하면 파일이 모두 유실된다.

      • 초과 버스트를 제공하여 영구 파일 시스템보다 성능을 여섯 배(200MBps per TiB) 늘릴 수 있다.

      • 단기 처리 데이터에 쓰이며 저렴하다.

    • 영구 파일 시스템

      • 동일한 AZ에 데이터가 복제된다.

      • 서버가 오작동했을 때 몇분 내에 해당 파일이 대체된다.

      • 민감한 데이터의 장기 처리 및 스토리지로 사용한다.

• FSx for Windows File Server

  • 완전 관리형 Windows 파일 서버 공유 드라이브

  • SMB 프로토콜과 Windows NTFS, Microsoft Active Directory 통합을 지원한다.

  • 사용자 보안을 추가할 수 있고 ACL로 사용자 할당량을 추가해 액세스를 제어할 수 있다.

  • Linux EC2 인스턴스에도 마운트할 수 있다.

  • 기존 온프레미스 환경에 Windows 파일 서버가 있는 경우 Microsoft 분산 파일 시스템인 DFS 기능을 이용해서 파일 시스템을 그룹화할 수 있다.

  • 초당 수십 GB에 수백만 IOPS 그리고 수백 PB의 데이터까지 확장될 수 있다.

  • 스토리지 옵션

    • SSD: 지연 시간이 짧아야 하는 워크로드를 저장하기 위해 사용한다.

    • HDD: 비용이 저렴하고 넓은 스펙트럼의 워크로드를 저장하기 위해 사용한다.

  • 프라이빗 연결로 온프레미스 인프라에서 액세스할 수 있다.

  • 다중 AZ에 구성할 수 있다.

  • 모든 데이터는 재해 복구 목적으로 Amazon S3에 매일 백업된다.

• FSx for NetApp ONTAP

  • NFS, SMB, iSCSI 프로토콜과 호환된다.

  • 온프레미스 시스템의 ONTAP이나 NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있다.

  • 다양한 운영 체제에서 사용 가능하다.

  • 스토리지가 자동으로 확장 및 축소된다.

  • 복제와 스냅샷 기능을 지원한다.

  • 비용이 적게 들고 데이터 압축이나 데이터 중복제거도 가능하다.

  • 새 워크로드 등을 테스트할 때 유용한 지정 시간 복제 기능을 제공한다.

• FSx for OpenZFS

  • 여러 버전에서의 NFS 프로토콜과 호환된다.

  • 주로 ZFS에서 실행되는 워크로드를 내부적으로 AWS로 옮길 때 사용된다.

  • Linux, Mac, Windows에서 사용할 수 있다.

  • 백만 IOPS까지 확장 가능하고 지연 시간은 0.5 밀리초 이하이다.

  • 스냅샷, 압축을 지원하고 비용이 적지만 데이터 중복제거 기능은 없다.

  • NetApp ONTAP과 동일하게 지정 시간 동시 복제 기능을 제공한다.

Storage Gateway

하이브리드 클라우드

• 일부 인프라는 AWS 클라우드에 있고, 나머지는 온프레미스에 두는 방식을 의미한다.

• 클라우드 마이그레이션이 오래 걸리거나 보안 또는 규정 준수 요건이 있는 경우 이 방식을 사용한다.

• 엘라스틱 워크로드에만 클라우드를 활용하고 나머지는 온프레미스에 두는 방법을 사용할 수도 있다.

AWS Storage Gateway

• 온프레미스 데이터와 클라우드 데이터를 이어주는 브릿지 역할을 한다. 정확히는 온프레미스 데이터를 클라우드로 이동시킬 때 사용한다.

• 다음의 AWS Storage Cloud Native Options들이 있다.

  • Amazon EBS나 EC2 인스턴스 같은 블록 스토리지

  • Amazon EFS나 Amazon FSx 같은 파일 시스템

  • Amazon S3나 Amazon Glacier 같은 객체 수준 스토리지

• 사용 목적

  • 재해 복구

    • 온프레미스 데이터를 클라우드에 백업해둔다.

  • 백업과 복구

    • 클라우드 마이그레이션, 혹은 온프레미스에서 클라우드 간 스토리지 확장을 사용

  • 계층 스토리지

    • 클라우드에는 콜드 데이터를 두고 온프레미스에는 이보다 더 자주 쓰는 웜 데이터를 둔다.

  • 온프레미스 캐시

    • 대부분의 데이터를 AWS에 저장하고 파일 액세스 지연 시간을 줄이기 위함

• S3 파일 게이트웨이, FSx 파일 게이트웨이, 볼륨 게이트웨이, 테이프 게이트웨이가 존재한다.

• 게이트웨이는 온프레미스 환경(ex. 회사 데이터 센터)에 설치되어 있어야 한다.

Amazon S3 파일 게이트웨이

• S3 버킷은 원하는 스토리지 클래스를 사용해 구성할 수 있다. 하지만 Glacier는 사용할 수 없다.

• 애플리케이션 서버가 NFS나 SMB 프로토콜을 사용해 데이터를 보내면, S3 파일 게이트웨이는 해당 요청을 HTTPS 요청으로 변환시켜 Amazon S3 버킷으로 보낸다.

• 따라서 애플리케이션 서버가 보기에는 일반적인 파일 공유 액세스로 보이지만, 실제로는 Amazon S3 버킷을 사용하게 되는 것이다.

• S3 버킷에 수명 주기 정책을 생성하여 S3 Glacier로 객체를 옮길 수 있다.

• S3 파일 게이트웨이로 구성한 모든 버킷은 NFS 및 SMB 프로토콜을 이용해서 접근 가능하다.

• 가장 최근에 사용된 데이터는 파일 게이트웨이에 캐싱된다.

• 버킷에 접근하기 위해 각 파일 게이트웨이마다 IAM 역할을 생성해야 한다.

• Windows 파일 시스템 네이티브인 SMB 프로토콜을 사용하는 경우에는 사용자 인증을 위해 Active Directory와 통합해야 한다.

Amazon FSx 파일 게이트웨이

• Amazon FSx for Windows File Server에 네이티브 액세스를 제공한다. 즉, 온프레미스 시스템에서 Amazon FSx for Windows File Server에 접근할 수 있다.

• 빈번히 접근된 데이터를 로컬 캐시에 저장한다.

• Windows 네이티브인 SMB, NTFS Active Directory와 호환 가능하다.

• 그룹 파일 공유나 온프레미스를 연결할 홈 디렉터리로 사용할 수 있다.

볼륨 게이트웨이

• iSCSI 프로토콜을 사용해 S3에 백업 데이터를 저장하는 블록 스토리지

• 온프레미스 서버에서 볼륨을 EBS 스냅샷으로 백업하여 필요에 따라 온프레미스 볼륨을 복구할 수 있다.

• 볼륨 게이트웨이 유형

  • 캐시 볼륨: 최신 데이터에 접근 시 지연 시간이 낮다.

  • 저장 볼륨: 전체 데이터가 온프레미스에 있으며 주기적으로 Amazon S3에 백업한다.

• 애플리케이션 서버 백업이 필요한 경우 iSCSI 프로토콜로 볼륨 게이트웨이를 생성한다. 볼륨 게이트웨이는 Amazon EBS 스냅샷을 생성해 Amazon S3에 저장한다.

테이프 게이트웨이

• 물리적으로 테이프를 사용하는 백업 시스템이 있는 회사가 테이프 대신에 클라우드를 활용해 데이터를 백업할 수 있도록 한다.

• 가상 테이프 라이브러리(VTL)는 Amazon S3와 Glacier를 이용한다.

• 테이프 기반 프로세스의 기존 백업 데이터를 iSCSI 인터페이스를 사용하여 백업한다.

• 업계를 선도하는 백업 소프트웨어 벤더가 사용하는 서비스이다.

• 테이프 기반인 회사 데이터 센터의 백업 서버가 있을 때 테이프 게이트웨이가 이를 클라우드에 연결하여 Amazon S3나 Amazon Glacier에 해당 테이프를 저장한다.

Hardware Appliance

• 게이트웨이를 실행할 가상 서버가 없는 환경이라면 AWS에서 제공하는 하드웨어를 구매해 사용할 수 있다

• 하드웨어 어플라이언스는 미니 서버가 되어 파일 게이트웨이, 볼륨 게이트웨이 혹은 테이프 게이트웨이를 수행시킬 수 있다.

• 원활히 작동하려면 충분한 CPU, 메모리 네트워크, 그리고 SSD 캐시 리소스가 필요하다.

• 소규모 데이터 센터의 일일 NFS 백업 시에 유용하다.

AWS Transfer Family

• Amazon S3 또는 EFS의 파일을 내보내거나 업로드할 때 FTP 프로토콜을 사용하도록 지원한다.

• S3 API나 EFS 네트워크 파일 시스템도 사용하고 싶지 않을 때 적합하다.

• FTP, FTPS(SSL 사용한 FTP), SFTP(보안 파일 전송 프로토콜) 프로토콜을 이용한 AWS 전송을 지원한다.

• 완전 관리형 인프라이며 확장성, 안정성이 높고 가용성이 높다.

• 시간당 프로비저닝된 엔드 포인트 비용에 전송 제품군 안팎으로 전송된 데이터의 GB당 요금을 더해 과금된다.

• 서비스 내에서 사용자 자격 증명을 저장 및 관리할 수 있다.

• 기존의 인증 시스템과 통합할 수 있다.

  • Microsoft Active Directory, LDAP, Okta, Amazon Cognito, Custom ..

• 파일 공유, 공개 데이터셋 공유, CRM, ERP 등을 위해 사용한다.

• 사용자는 FTP의 엔드 포인트를 통해 직접 액세스하거나, Route 53를 사용하여 FTP 서비스에 도메인 이름을 제공할 수 있다.

• FTP 서비스에 IAM 역할을 부여해야 Amazon S3나 Amazon EFS의 파일을 보내거나 읽을 수 있다.

DataSync

• 대용량의 데이터를 한 곳에서 다른 곳으로 동기화할 수 있다.

• 온프레미스나 다른 클라우드의 데이터를 AWS로 옮길 수 있다. 양방향으로 데이터를 옮길 수 있다.

• 서버에서 NFS, SMB HDFS 또는 다른 프로토콜을 사용해야 할 경우, 온프레미스나 연결할 다른 클라우드에 에이전트가 있어야 한다.

• AWS 서비스에서 다른 AWS 서비스로 데이터를 옮길 수 있다. 이 경우에는 에이전트가 필요 없다.

• 동기화 가능한 대상은 다음과 같다.

  • Amazon S3의 Glacier를 포함한 모든 스토리지 클래스

  • Amazon EFS

  • Amazon FSx (모든 운영 체제 지원)

• 복제 작업은 주기를 지정하여 매 시간, 매일, 혹은 매주 실행되도록 할 수 있다.

• DataSync는 파일 권한과 메타데이터 저장 기능을 제공한다.

  • NFS POSIX 파일 시스템 그리고 SMB 권한을 준수할 수 있다.

  • 파일을 한 곳에서 다른 곳으로 옮길 때 파일의 메타데이터를 보존할 수 있다.

• 에이전트 하나의 태스크가 초당 10Gb까지 사용할 수 있으며 네트워크 성능을 초과하고 싶지 않은 경우 대역폭에 제한을 걸 수 있다.

• 동작 과정

  • 예를 들어 SMB 혹은 NFS 프로토콜을 사용하는 온프레미스 서버의 파일을 AWS로 동기화하려면, 온프레미스에 AWS DataSync 에이전트를 설치한다.

  • DataSync 에이전트를 NFS 또는 SMB 서버에 연결시킨다.

  • 에이전트를 이용하여 암호화를 거쳐 DataSync 서비스에 연결해야 한다.

  • Amazon S3 버킷의 스토리지 클래스나 AWS EFS 혹은 Amazon FSx에 동기화를 위해 데이터를 보내거나 받을 수 있다.

• DataSync를 이용하려 하지만 네트워크 대역폭이 부족할 경우 AWS Snowcone 장치를 사용하면 된다.

  • Snowcone 장치에는 DataSync 에이전트가 사전에 설치되어 있다.

  • 온프레미스에서 Snowcone을 실행하고 데이터를 가져온 다음 DataSync 에이전트를 실행하면 데이터가 AWS 리전으로 전송되어 AWS의 스토리지 리소스 외부에 데이터를 동기화할 수 있다.

• 서로 다른 AWS 스토리지 서비스 간 동기화도 가능하다.

  • Amazon S3, Amazon EFS 또는 Amazon FSx를 Amazon S3, Amazon EFS Amazon FSx로 다시 동기화할 수 있다.

  • 이를 통해 데이터 복사본을 만들 수 있다.

  • 서로 다른 AWS 스토리지 서비스 간 메타데이터 또한 유지된다.