AWS Storage
Last updated
Last updated
Snowball
엣지 환경에서 데이터를 수집하고 프로세싱, 마이그레이션하기 위해 사용되는 보안성이 높은 장치
PB 단위의 데이터를 마이그레이션할 때 네트워크를 거치는 대신 장치를 통해 이동시킬 수 있다.
Snowball(80TB ~ 210TB)보다 적은 양의 데이터를 다루는 Snowcone(8TB HDD ~ 14TB SSD)도 제공된다.
네트워크를 통해 데이터를 전송할 경우 대역폭이 10Gbps라고 할 때 10TB는 3시간, 1PB는 12일까지 소요된다.
네트워크를 공용으로 사용해 모든 대역폭을 소진하지 않아야 하거나, 네트워크 비용이 비싸거나, 연결이나 대역폭이 제한된 환경에서 데이터를 옮기기 위해 사용된다.
엣지 컴퓨팅 환경이란 인터넷 연결이 원활히 되지 않는 환경을 의미한다. 이러한 환경에서 데이터를 수집하거나 프로세싱할 때 스노우볼 엣지 장치를 이용할 수 있다. 엣지 장치에서 EC2 인스턴스나 람다 함수를 실행할 수도 있다.
스노우볼의 데이터는 바로 S3 Glacier로 입력할 수 없다. 따라서 S3 생명 주기 규칙에 의해 Glacier로 이동시켜주어야 한다.
Amazon FSx는 타사 고성능 파일 시스템을 실행시키는 관리형 서비스이다.
FSx for Lustre
Linux와 클러스터(Cluster)를 합친 단어로 대량의 연산에 사용되던 분산 파일 시스템이다.
머신 러닝과 HPC, 동영상 처리나 금융 모델링 전자 설계 자동화 등의 애플리케이션에서 쓰이고 확장성이 높다.
초당 수백 GB의 데이터에 수백만 IOPS로 확장되고 밀리초보다 짧은 지연 시간을 보장한다.
스토리지 옵션
SSD: 낮은 지연 시간, IOPS 워크로드 위주, 크기가 작은 무작위 파일 작업을 위해 사용한다.
HDD: 처리량이 많은 워크로드나 크기가 큰 시퀀스 파일 작업을 위해 사용한다.
FSx를 통해 S3를 파일 시스템로 읽어들이고 FSx의 연산 결과를 S3에 쓸 수 있다.
온프레미스 서버에서 VPN, Direct Connect를 통해 사용할 수 있다.
파일 시스템 배포 옵션
스크래치 파일 시스템
임시 스토리지로 데이터가 복제되지 않는다. 따라서 서버가 오작동하면 파일이 모두 유실된다.
초과 버스트를 제공하여 영구 파일 시스템보다 성능을 여섯 배(200MBps per TiB) 늘릴 수 있다.
단기 처리 데이터에 쓰이며 저렴하다.
영구 파일 시스템
동일한 AZ에 데이터가 복제된다.
서버가 오작동했을 때 몇분 내에 해당 파일이 대체된다.
민감한 데이터의 장기 처리 및 스토리지로 사용한다.
FSx for Windows File Server
완전 관리형 Windows 파일 서버 공유 드라이브
SMB 프로토콜과 Windows NTFS, Microsoft Active Directory 통합을 지원한다.
사용자 보안을 추가할 수 있고 ACL로 사용자 할당량을 추가해 액세스를 제어할 수 있다.
Linux EC2 인스턴스에도 마운트할 수 있다.
기존 온프레미스 환경에 Windows 파일 서버가 있는 경우 Microsoft 분산 파일 시스템인 DFS 기능을 이용해서 파일 시스템을 그룹화할 수 있다.
초당 수십 GB에 수백만 IOPS 그리고 수백 PB의 데이터까지 확장될 수 있다.
스토리지 옵션
SSD: 지연 시간이 짧아야 하는 워크로드를 저장하기 위해 사용한다.
HDD: 비용이 저렴하고 넓은 스펙트럼의 워크로드를 저장하기 위해 사용한다.
프라이빗 연결로 온프레미스 인프라에서 액세스할 수 있다.
다중 AZ에 구성할 수 있다.
모든 데이터는 재해 복구 목적으로 Amazon S3에 매일 백업된다.
FSx for NetApp ONTAP
NFS, SMB, iSCSI 프로토콜과 호환된다.
온프레미스 시스템의 ONTAP이나 NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있다.
다양한 운영 체제에서 사용 가능하다.
스토리지가 자동으로 확장 및 축소된다.
복제와 스냅샷 기능을 지원한다.
비용이 적게 들고 데이터 압축이나 데이터 중복제거도 가능하다.
새 워크로드 등을 테스트할 때 유용한 지정 시간 복제 기능을 제공한다.
FSx for OpenZFS
여러 버전에서의 NFS 프로토콜과 호환된다.
주로 ZFS에서 실행되는 워크로드를 내부적으로 AWS로 옮길 때 사용된다.
Linux, Mac, Windows에서 사용할 수 있다.
백만 IOPS까지 확장 가능하고 지연 시간은 0.5 밀리초 이하이다.
스냅샷, 압축을 지원하고 비용이 적지만 데이터 중복제거 기능은 없다.
NetApp ONTAP과 동일하게 지정 시간 동시 복제 기능을 제공한다.
일부 인프라는 AWS 클라우드에 있고, 나머지는 온프레미스에 두는 방식을 의미한다.
클라우드 마이그레이션이 오래 걸리거나 보안 또는 규정 준수 요건이 있는 경우 이 방식을 사용한다.
엘라스틱 워크로드에만 클라우드를 활용하고 나머지는 온프레미스에 두는 방법을 사용할 수도 있다.
온프레미스 데이터와 클라우드 데이터를 이어주는 브릿지 역할을 한다. 정확히는 온프레미스 데이터를 클라우드로 이동시킬 때 사용한다.
다음의 AWS Storage Cloud Native Options들이 있다.
Amazon EBS나 EC2 인스턴스 같은 블록 스토리지
Amazon EFS나 Amazon FSx 같은 파일 시스템
Amazon S3나 Amazon Glacier 같은 객체 수준 스토리지
사용 목적
재해 복구
온프레미스 데이터를 클라우드에 백업해둔다.
백업과 복구
클라우드 마이그레이션, 혹은 온프레미스에서 클라우드 간 스토리지 확장을 사용
계층 스토리지
클라우드에는 콜드 데이터를 두고 온프레미스에는 이보다 더 자주 쓰는 웜 데이터를 둔다.
온프레미스 캐시
대부분의 데이터를 AWS에 저장하고 파일 액세스 지연 시간을 줄이기 위함
S3 파일 게이트웨이, FSx 파일 게이트웨이, 볼륨 게이트웨이, 테이프 게이트웨이가 존재한다.
게이트웨이는 온프레미스 환경(ex. 회사 데이터 센터)에 설치되어 있어야 한다.
S3 버킷은 원하는 스토리지 클래스를 사용해 구성할 수 있다. 하지만 Glacier는 사용할 수 없다.
애플리케이션 서버가 NFS나 SMB 프로토콜을 사용해 데이터를 보내면, S3 파일 게이트웨이는 해당 요청을 HTTPS 요청으로 변환시켜 Amazon S3 버킷으로 보낸다.
따라서 애플리케이션 서버가 보기에는 일반적인 파일 공유 액세스로 보이지만, 실제로는 Amazon S3 버킷을 사용하게 되는 것이다.
S3 버킷에 수명 주기 정책을 생성하여 S3 Glacier로 객체를 옮길 수 있다.
S3 파일 게이트웨이로 구성한 모든 버킷은 NFS 및 SMB 프로토콜을 이용해서 접근 가능하다.
가장 최근에 사용된 데이터는 파일 게이트웨이에 캐싱된다.
버킷에 접근하기 위해 각 파일 게이트웨이마다 IAM 역할을 생성해야 한다.
Windows 파일 시스템 네이티브인 SMB 프로토콜을 사용하는 경우에는 사용자 인증을 위해 Active Directory와 통합해야 한다.
Amazon FSx for Windows File Server에 네이티브 액세스를 제공한다. 즉, 온프레미스 시스템에서 Amazon FSx for Windows File Server에 접근할 수 있다.
빈번히 접근된 데이터를 로컬 캐시에 저장한다.
Windows 네이티브인 SMB, NTFS Active Directory와 호환 가능하다.
그룹 파일 공유나 온프레미스를 연결할 홈 디렉터리로 사용할 수 있다.
iSCSI 프로토콜을 사용해 S3에 백업 데이터를 저장하는 블록 스토리지
온프레미스 서버에서 볼륨을 EBS 스냅샷으로 백업하여 필요에 따라 온프레미스 볼륨을 복구할 수 있다.
볼륨 게이트웨이 유형
캐시 볼륨: 최신 데이터에 접근 시 지연 시간이 낮다.
저장 볼륨: 전체 데이터가 온프레미스에 있으며 주기적으로 Amazon S3에 백업한다.
애플리케이션 서버 백업이 필요한 경우 iSCSI 프로토콜로 볼륨 게이트웨이를 생성한다. 볼륨 게이트웨이는 Amazon EBS 스냅샷을 생성해 Amazon S3에 저장한다.
물리적으로 테이프를 사용하는 백업 시스템이 있는 회사가 테이프 대신에 클라우드를 활용해 데이터를 백업할 수 있도록 한다.
가상 테이프 라이브러리(VTL)는 Amazon S3와 Glacier를 이용한다.
테이프 기반 프로세스의 기존 백업 데이터를 iSCSI 인터페이스를 사용하여 백업한다.
업계를 선도하는 백업 소프트웨어 벤더가 사용하는 서비스이다.
테이프 기반인 회사 데이터 센터의 백업 서버가 있을 때 테이프 게이트웨이가 이를 클라우드에 연결하여 Amazon S3나 Amazon Glacier에 해당 테이프를 저장한다.
게이트웨이를 실행할 가상 서버가 없는 환경이라면 AWS에서 제공하는 하드웨어를 구매해 사용할 수 있다
하드웨어 어플라이언스는 미니 서버가 되어 파일 게이트웨이, 볼륨 게이트웨이 혹은 테이프 게이트웨이를 수행시킬 수 있다.
원활히 작동하려면 충분한 CPU, 메모리 네트워크, 그리고 SSD 캐시 리소스가 필요하다.
소규모 데이터 센터의 일일 NFS 백업 시에 유용하다.
Amazon S3 또는 EFS의 파일을 내보내거나 업로드할 때 FTP 프로토콜을 사용하도록 지원한다.
S3 API나 EFS 네트워크 파일 시스템도 사용하고 싶지 않을 때 적합하다.
FTP, FTPS(SSL 사용한 FTP), SFTP(보안 파일 전송 프로토콜) 프로토콜을 이용한 AWS 전송을 지원한다.
완전 관리형 인프라이며 확장성, 안정성이 높고 가용성이 높다.
시간당 프로비저닝된 엔드 포인트 비용에 전송 제품군 안팎으로 전송된 데이터의 GB당 요금을 더해 과금된다.
서비스 내에서 사용자 자격 증명을 저장 및 관리할 수 있다.
기존의 인증 시스템과 통합할 수 있다.
Microsoft Active Directory, LDAP, Okta, Amazon Cognito, Custom ..
파일 공유, 공개 데이터셋 공유, CRM, ERP 등을 위해 사용한다.
사용자는 FTP의 엔드 포인트를 통해 직접 액세스하거나, Route 53를 사용하여 FTP 서비스에 도메인 이름을 제공할 수 있다.
FTP 서비스에 IAM 역할을 부여해야 Amazon S3나 Amazon EFS의 파일을 보내거나 읽을 수 있다.
대용량의 데이터를 한 곳에서 다른 곳으로 동기화할 수 있다.
온프레미스나 다른 클라우드의 데이터를 AWS로 옮길 수 있다. 양방향으로 데이터를 옮길 수 있다.
서버에서 NFS, SMB HDFS 또는 다른 프로토콜을 사용해야 할 경우, 온프레미스나 연결할 다른 클라우드에 에이전트가 있어야 한다.
AWS 서비스에서 다른 AWS 서비스로 데이터를 옮길 수 있다. 이 경우에는 에이전트가 필요 없다.
동기화 가능한 대상은 다음과 같다.
Amazon S3의 Glacier를 포함한 모든 스토리지 클래스
Amazon EFS
Amazon FSx (모든 운영 체제 지원)
복제 작업은 주기를 지정하여 매 시간, 매일, 혹은 매주 실행되도록 할 수 있다.
DataSync는 파일 권한과 메타데이터 저장 기능을 제공한다.
NFS POSIX 파일 시스템 그리고 SMB 권한을 준수할 수 있다.
파일을 한 곳에서 다른 곳으로 옮길 때 파일의 메타데이터를 보존할 수 있다.
에이전트 하나의 태스크가 초당 10Gb까지 사용할 수 있으며 네트워크 성능을 초과하고 싶지 않은 경우 대역폭에 제한을 걸 수 있다.
동작 과정
예를 들어 SMB 혹은 NFS 프로토콜을 사용하는 온프레미스 서버의 파일을 AWS로 동기화하려면, 온프레미스에 AWS DataSync 에이전트를 설치한다.
DataSync 에이전트를 NFS 또는 SMB 서버에 연결시킨다.
에이전트를 이용하여 암호화를 거쳐 DataSync 서비스에 연결해야 한다.
Amazon S3 버킷의 스토리지 클래스나 AWS EFS 혹은 Amazon FSx에 동기화를 위해 데이터를 보내거나 받을 수 있다.
DataSync를 이용하려 하지만 네트워크 대역폭이 부족할 경우 AWS Snowcone 장치를 사용하면 된다.
Snowcone 장치에는 DataSync 에이전트가 사전에 설치되어 있다.
온프레미스에서 Snowcone을 실행하고 데이터를 가져온 다음 DataSync 에이전트를 실행하면 데이터가 AWS 리전으로 전송되어 AWS의 스토리지 리소스 외부에 데이터를 동기화할 수 있다.
서로 다른 AWS 스토리지 서비스 간 동기화도 가능하다.
Amazon S3, Amazon EFS 또는 Amazon FSx를 Amazon S3, Amazon EFS Amazon FSx로 다시 동기화할 수 있다.
이를 통해 데이터 복사본을 만들 수 있다.
서로 다른 AWS 스토리지 서비스 간 메타데이터 또한 유지된다.
