Data Analysis
Amazon Athena
Amazon S3 버킷에 저장된 데이터 분석에 사용하는 서버리스 쿼리 서비스
데이터를 분석하려면 표준 SQL 언어로 파일을 쿼리해야 한다. 이를 위해 Athena는 SQL 언어를 사용하는 Presto 엔진에 빌드된다.
S3 버킷에 업로드된 데이터를 다른 위치로 이동시키지 않고 바로 데이터를 쿼리하고 분석할 수 있다.
CSV, JSON, ORC, Avro Parquet 등 다양한 형식을 지원한다.
스캔된 데이터의 TB당 고정 가격이 과금된다.
서버리스이므로 데이터베이스를 프로비저닝 할 필요가 없다.
Amazon QuickSight라는 도구와 함께 사용하여 분석 결과를 보고서와 대시보드로 내보낼 수 있다.
임시 쿼리 수행이나 비즈니스 인텔리전스 분석 및 보고, VPC 흐름 로그, 로드 밸런서 로그, CloudTrail 추적 등을 분석할 때 사용된다.
성능 향상 방법
데이터를 적게 스캔할 수 있는 데이터 타입을 사용한다. 열(column) 기반 데이터 유형을 사용하면 필요한 열만 스캔하므로 비용을 절감할 수 있다. 이를 위해 Apache Parquet과 ORC를 사용하면 된다.
작은 크기의 데이터를 조회하기 위해 데이터를 압축해 저장해둘 수 있다.
다음으로 특정 열을 항상 쿼리한다면 데이터셋을 파티셔닝할 수 있다. S3 버킷의 경로를 슬래시로 분할하여 열별로 특정 값을 저장할 수 있다. 이렇게 되면 데이터를 쿼리할 때 Amazon S3의 어떤 경로에 접근해 데이터를 조회할 지 알기 쉬워지고 적은 용량의 데이터만 조회 가능해진다.
128MB가 넘는 큰 파일을 사용해서 오버헤드를 최소화할 수 있다. 파일이 클수록 스캔과 검색이 쉽기 때문이다.
Federated Query
람다와 연동하여 S3 외에 ElastiCache, DocumentDB, DynamoDB 등 다른 데이터 소스에 연결할 수 있다.
각 데이터 소스로부터 얻은 쿼리 결과를 쿼리를 조인하거나 더 나은 데이터를 판별할 수 있다.
쿼리 결과는 사후 분석을 위해 Amazon S3 버킷에 저장할 수 있다.
Redshift
데이터베이스인 동시에 분석 엔진 기능을 제공한다.
Redshift는 PostgreSQL을 기반으로 하여 SQL문을 사용해 쿼리를 수행할 수 있다. 단, PostgreSQL과 달리 OLTP 용도로 사용하지 않는다.
OLTP: 온라인 트랜잭션 처리, 롤백을 지원하며 소규모의 데이터를 처리할 때 사용한다. OLAP: 온라인 분석 처리, 데이터 웨어하우스 등의 시스템과 연관되어 데이터를 분석하고 복잡한 프로세싱을 수행할 수 있다.
다른 데이터 웨어하우스보다 10배 좋은 성능을 제공한다.
PB단위로 확장 가능하다.
데이터를 로드하면 Redshift 내에서 바로 무작위화할 수 있다.
데이터를 Columnar(열 기반) 스토리지로 사용하여 성능이 좋다. 행 기반 스토리지와 달리 병렬 쿼리 엔진을 사용한다.
Amazon QuickSights나 Tableau 같은 비즈니스 인텔리전스 툴과 통합 가능하다.
Athena와 달리 Amazon S3로부터 Redshift로 모든 데이터를 로드한 후 쿼리를 진행한다. 따라서 조인과 집계 등 복잡한 쿼리를 빠르게 수행할 수 있다.
Redshift에는 인덱스가 있고 고성능 데이터 웨어하우스를 위해 인덱스를 빌드한다.
클러스터
Redshift 클러스터에 공급한 인스턴스만큼 비용을 지불해야 한다.
쿼리를 계획하고 결과를 집계하는 리더 노드와 쿼리를 수행하고 결과를 리더에게 전송하는 계산 노드로 분리된다. 클러스터의 노드 크기는 미리 지정되어야 한다.
프로비전 모드를 사용하면 예약 인스턴스를 통해 비용을 절감할 수 있다.
스냅샷, DR
특정 클러스터 유형에 대해 멀티 AZ모드를 제공한다.
일반적인 클러스터 유형에서는 싱글 AZ를 사용하는데, 이 경우에는 DR를 위해서 스냅샷을 주기적으로 내보내주어야 한다.
스냅샷은 클러스터를 위한 point-in-time 백업이며 Amazon S3에 내부적으로 저장되고, 계속해서 새로운 스냅샷을 저장하는 것이 아니라 변경된 사항들만 덧붙여진다.
새로운 클러스터에 스냅샷을 적용할 수 있다.
두 가지 모드가 존재한다.
수동 모드
직접 스냅샷을 내보내야 한다.
스냅샷의 저장 기간이 따로 없으며, 직접 제거할 때 까지 유지된다.
자동 모드
스냅샷을 내보내는 주기를 정해 일정 간격으로 내보낼 수 있다.
스냅샷을 위한 저장 기간을 설정할 수 있다. 1 ~ 35일 동안 유지할 수 있다.
스냅샷을 다른 AWS 리전에 자동으로 복사하도록 구성할 수 있다.
데이터 수집
Amazon Kinesis Data Firehose
다양한 소스에서 데이터를 받는 Firehose에서 Redshift로 데이터를 전송할 수 있다.
데이터를 먼저 Amazon S3 버킷에 넣은 후 Kinesis Data Firehose가 자동적으로 S3 복사 명령을 내려서해당 데이터를 Redshift로 로드할 수 있다.
수동으로 copy 명령을 이용해 S3 버킷의 데이터를 Redshift로 복사
IAM 역할을 함께 사용해야 한다.
S3 버킷은 퍼블릭 접근이 가능하므로 인터넷을 통해 데이터를 복사하거나, VPC 라우팅을 이용해 내부적으로 데이터를 복사할 수 있다.
JDBC 드라이버 사용
EC2 인스턴스에서 구동된 애플리케이션로부터 데이터를 Redshift 클러스터에 보낼 때 사용한다.
배치로 데이터를 보내는 것이 좋다.
Redshift Spectrum
Amazon S3의 데이터를 Redshift로 로드하지 않으면서 데이터를 분석할 때 사용한다.
Redshift 클러스터에 쿼리를 보내면 수천개의 Redshift Spectrum 노드에게 전달된다.
Spectrum 노드들은 Amazon S3에서 데이터를 읽고 병합하여 완료된 결과를 Amazon Redshift 클러스터로 전송한다.
이 기능은 Redshift의 처리 기능을 훨씬 더 많이 사용할 수 있다.
OpenSearch
데이터베이스에서는 기본 키나 인덱스만을 이용해서 쿼리를 할 수 있지만 OpenSearch를 사용하면 모든 필드를 검색할 수 있다. 부분 매칭도 가능하다.
OpenSearch는 보통 검색에 사용되지만, 분석적 쿼리에도 사용할 수 있다.
OpenSearch 클러스터 프로비저닝 모드
관리형 클러스터
실제 물리적인 인스턴스가 프로비저닝된다.
서버리스 클러스터
스케일링부터 운영까지 모두 AWS에서 관리한다.
자체적으로 SQL을 지원하진 않지만, 플러그인을 통해서 SQL 호환성을 활성화할 수 있다. 기본적으로는 자체 쿼리 언어를 사용해야 한다.
Kinesis Data Firehose, AWS IoT, CloudWatch Log, 커스텀 애플리케이션으로부터 데이터를 받을 수 있다.
Cognito, IAM, KMS 암호화, TLS를 통해 보안이 제공된다.
OpenSearch 대시보드로 OpenSearch 데이터를 시각화할 수 있다.
사용 패턴
실제 데이터를 담는 DynamoDB Table이 있고, DynamoDB Stream과 람다 함수를 통해 OpenSearch에 데이터를 복사해둘 수 있다. 애플리케이션에서는 OpenSearch를 통해 특정한 항목을 검색할 수 있다.
CloudWatch Logs를 Subscription Filter와 람다 함수를 사용해 실시간으로 OpenSearch에 복제할 수도 있고, Subscription Filter와 Kinesis Data Firehose를 사용해 거의 실시간으로 OpenSearch에 복제할 수도 있다.
Kinesis Data Streams를 Kinesis Data Firehose와 람다 함수를 사용해 거의 실시간으로 OpenSearch에 저장할 수 있다. 이 때 람다 함수에서는 원하는 형태로 데이터를 변환할 수 있다. 혹은 람다 함수만을 이용해 실시간으로 데이터 스트림을 읽어 OpenSearch에 저장할 수 있다.
EMR
Elastic MapReduce
AWS에서 빅 데이터 작업을 위한 하둡 클러스터 생성에 사용된다. 방대한 양의 데이터를 분석하고 처리할 수 있다.
하둡 클러스터는 프로비저닝해야 하며 수백 개의 EC2 인스턴스로 구성 가능하다.
빅 데이터 전문가가 사용하는 여러 도구 중 설정이 어려운 도구와 쉽게 통합된다. 예를 들어Apache Spark, HBase, Presto Apache Flink를 사용하고자 할 때 Amazon EMR이 프로비저닝과 구성을 대신 처리해준다.
전체 클러스터를 자동으로 확장할 수 있고, 스팟 인스턴스와 통합 가능하다.
데이터 처리와 기계 학습, 웹 인덱싱, 빅 데이터 작업에 사용될 수 있다.
노드 타입
마스터 노드: 클러스터를 관리하고 다른 모든 노드의 상태를 관리한다. 장기적으로 실행되어야 한다.
코어 노드: 태스크를 실행하고 데이터를 저장한다. 장기적으로 실행되어야 한다.
태스크 노드: 테스크를 실행한다. 대부분 일시적인 스팟 인스턴스를 활용한다. 태스크 노드 사용은 선택 사항이다.
구매 옵션
온디맨드 EC2 인스턴스 유형을 사용하면 신뢰할 수 있고 예측 가능한 유형의 워크로드를 얻게 된다.
최소 1년을 사용해야 하는 EC2 예약 인스턴스를 사용하여 비용을 절약할 수 있다. 장기 실행해야 하는 마스터 노드와 코어 노드에 적합하다.
언제든 종료될 수 있는 스팟 인스턴스는 신뢰도는 떨어지지만 저렴하여 태스크 노드에 활용하기 좋다.
장기 실행 클러스터로 사용할 수도 있고, 임시 클러스터를 사용해 특정 작업을 수행하고 분석 완료 후에 삭제할 수 있다.
QuickSight
서버리스 머신 러닝 기반 비즈니스 인텔리전스 서비스
대시보드를 생성하고 소유한 데이터 소스와 연결할 수 있다.
빠르고, 오토 스케일링이 가능하다.
웹사이트에 임베드할 수 있으며 세션당 비용을 지불해야 한다.
비즈니스 분석, 시각화, 시각화된 정보를 통한 임시 분석 수행, 데이터를 활용한 비즈니스 인사이트 획득에 활용할 수 있다.
SPICE 엔진
인 메모리 연산 엔진이며 Amazon QuickSight로 데이터를 직접 가져올 때 사용된다.
Amazon QuickSight가 이미 다른 DB와 연결되어 있을 때는 작동하지 않는다.
엔터프라이즈 에디션에서는 액세스 권한이 없는 사용자에게 일부 열이 표시되지 않도록 열 수준 보안(CLS)을 설정할 수 있다.
데이터 소스로는 다양하게 통합 가능하다.
RDS, Aurora, Athena, Redshift, S3, Opensearch, Timestream 등 다양한 AWS 서비스와 연결할 수 있다.
SaaS인 Salesforce와 Jira 등과도 통합 가능하다.
Teradata 같은 타사 데이터베이스와 통합 가능하다.
내부적으로 JDBC 프로토콜을 사용하는 온프레미스 데이터베이스와 통합 가능하다.
Excel 파일, CSV 파일, JSON 파일, TSV 파일, 로그 형식의 ELF 및 CLF 등의 데이터 소스를 가져올 수 있다.
대시보드 및 분석
사용자와 그룹을 정의할 수 있다. 그룹은 엔터프라이즈 버전에만 제공된다. IAM의 사용자와는 다른 개념이다.
대시보드는 읽기 전용 스냅샷이며 분석 결과를 공유할 수 있다. 또한 분석에 대한 설정(필터, 파라미터 등)을 보존한다.
특정 사용자 또는 그룹과 분석 결과나 대시보드를 공유할 수 있다.
액세스 권한이 있는 사용자는 기본 데이터를 볼 수도 있다.
Glue
추출과 변환 로드 서비스를 관리하는 ETL 서비스
분석을 위해 데이터를 준비하고 변환한다.
완전한 서버리스 서비스이다.
예를 들어 S3 버킷이나 Amazon RDS 데이터베이스에 있는 데이터를 데이터 웨어하우스인 Redshift에 로드할 경우, Glue를 사용해 데이터를 추출한 다음 일부 데이터를 필터링하거나열을 추가하는 등 데이터를 변형하여 Redshift 데이터 웨어하우스에 로드할 수 잇다.
Athena에서 사용하기 적합한 Parquet 형식으로 변환할 수도 있다. S3에 데이터가 추가되면 람다 함수가 Glue ETL Job을 트리거시켜, S3에서 CSV 파일을 가져온 후 Glue 서비스 내에서 Parquet 형식으로 변환하도록 한다. 이후 다른 S3 버킷으로 데이터를 내보내어 Amazon Athena가 분석하도록 할 수 있다.
Glue Data Catalog
Glue 데이터 크롤러를 실행해 Amazon S3, Amazon RDS, Amazon DynamoDB 또는 호환 가능한 온프레미스 JDBC 데이터베이스에 연결하여 데이터베이스의 테이블 열, 데이터 형식 등의 모든 메타 데이터를 Glue 데이터 카탈로그에 기록할 수 있다.
ETL을 수행하기 위한 Glue 작업에 활용될 모든 데이터베이스, 테이블 메타 데이터를 준비할 수 있다.
Amazon Athena, Amazon Redshift Spectrum, Amazon EMR는 데이터와 스키마를 검색할 때 백그라운드에서 AWS Glue Data Catalog를 활용한다.
다음과 같은 기능들을 추가적으로 제공한다.
Glue Job Bookmarks
새 ETL 작업을 실행할 때 이전 데이터의 재처리를 방지한다.
Glue Elastic Views
SQL을 사용해 여러 데이터 스토어의 데이터를 결합하고 복제한다.
커스텀 코드를 지원하지 않으며, Glue가 원본 데이터의 변경 사항을 모니터링한다.
Glue DataBrew
사전 빌드된 변환을 사용해 데이터를 정리하고 정규화한다.
Glue Studio
ETL 작업을 생성, 실행 및 모니터링하는 GUI
Glue Streaming ETL
Apache Spark Structured Streaming 위에 빌드되며 ETL 작업을 배치 작업이 아니라 스트리밍 작업으로 실행할 수 있다.
Kinesis Data Streaming Kafka 또는 AWS의 관리형 Kafka인 MSK에서 Glue 스트리밍 ETL을 사용해 데이터를 읽을 수 있다.
Lake Formation
데이터 레이크란 데이터 분석을 위해 모든 데이터를 한곳으로 모아 주는 중앙 집중식 저장소이다.
Lake Formation은 데이터 레이크 생성을 수월하게 해 주는 완전 관리형 서비스이다.
보통 수개월씩 걸리는 데이터 처리 작업을 며칠 만에 완료할 수 있다.
데이터 레이크에서 데이터 검색, 정제, 변환, 추출이 가능하다.
여러 작업들을 자동화한다. 이를 통해 데이터 수집, 정제, 카탈로그화, 복제 혹은 기계 학습(ML) 변환 기능으로 중복 제거를 수행할 수 있다.
정형 데이터와 비정형 데이터 소스를 결합할 수 있다.
블루프린트를 제공하여 데이터를 데이터 레이크로 마이그레이션하는 것을 도와준다. Amazon S3, Amason RDS 온프레미스의 RDB, NoSQL DB 등에서 지원된다.
애플리케이션을 연결할 때 행, 열 수준의 세분화된 액세스 제어를 할 수도 있다.
AWS Glue 위에 빌드되는 계층이지만 Glue와 직접 상호 작용하지 않는다.
아키텍처
데이터 소스로 Amazon S3 RDS, Aurora, SQL, NoSQL 같은 온프레미스 데이터베이스를 사용할 수 있다. 이 때 Lake Formation의 블루프린트를 통해 데이터를 추출(ingest)한다.
Lake Formation에는 소스 크롤러와 ETL 및 데이터 준비 도구 데이터 카탈로깅 도구가 포함된다. 이는 Glue의 기본 서비스에 해당된다. 데이터를 보호하는 보안 설정과 액세스 제어도 포함된다.
Athena, Redshift, EMR, Apache Spark 프레임워크 같은 분석 도구가 Lake Formation의 데이터를 사용하게 된다.
중앙화된 권한
사용자는 허용된 데이터에만 읽기 권한이 있어야 한다.
Athena와 QuickSight로 데이터 분석을 할 때, S3, RDS, Aurora 같이 각 데이터 소스마다 분석 툴에 대한 권한을 부여하게 되면 보안의 관리 요소가 증가한다.
Lake Formation에 주입된 모든 데이터는 중앙 S3 버킷에 저장되지만 모든 액세스 제어와 행, 열 수준 보안은 Lake Formation 내에서 관리된다.
Athena, QuickSight 등 어떤 도구를 사용하든 Lake Formation에 연결하면 한곳에서 보안을 관리할 수 있다.
Kinesis Data Analytics
SQL 애플리케이션용 Kinesis Data Analytics
Kinesis Data Streams와 Kinesis Data Firehose의 데이터를 SQL 문을 기반으로 실시간 분석할 수 있도록 해주는 서비스이다.
Kinesis Data Streams와 Kinesis Data Firehose 중 하나의 데이터 소스에서 데이터를 읽는다.
SQL 문을 적용하여 실시간 분석을 처리할 수 있다.
Amazon S3 버킷의 데이터를 참조해 참조 데이터를 조인할 수도 있다.
Kinesis Data Streams 또는 Kinesis Data Firehose에 데이터를 전송할 수 있다.
Kinesis Data Streams는 Kinesis Data Analytics의 실시간 쿼리로 스트림을 생성하여 AWS Lambda, EC2의 애플리케이션에서 실시간으로 처리하도록 할 수 있다.
Kinesis Data Firehose로 바로 전송하는 경우 Amazon S3, Amazon Redshift 혹은 Amazon OpenSearch 등 Firehose 타겟으로 전송된다.
특징
완전 관리형 서비스이므로 서버를 프로비저닝하지 않는다.
오토 스케일링이 가능하다.
Kinesis Data Analytics에 전송된 데이터만큼 비용을 지불한다.
주로 시계열 분석과 실시간 대시보드와 실시간 지표 용도로 사용된다.
Apache Flink용 Kinesis Data Analytics
Apache Flink를 사용하면 Java, Scala, SQL로 애플리케이션을 작성하고 스트리밍 데이터를 처리, 분석할 수 있다.
Kinesis Data Analytics의 Flink 전용 클러스터에서 Flink 애플리케이션을 백그라운드로 실행할 수 있다.
Apache Flink을 사용해 두 개의 메인 데이터 소스인 Kinesis Data Streams나 Amazon MSK의 데이터를 읽을 수 있다.
Apaches Flink는 표준 SQL보다 훨씬 강력하기 때문에 고급 쿼리 능력이나 필요하거나 Kinesis Data Streams나 AWS의 관리형 Kafka인 Amazon MSK 같은 서비스로부터 스트리밍 데이터를 읽는 능력이 필요할 때 사용한다.
컴퓨팅 리소스를 자동 프로비저닝할 수 있고 병렬 연산과 오토 스케일링을 할 수 있다.
체크포인트와 스냅샷으로 구현되는 애플리케이션 백업이 가능하다.
Apache Flink는 Kinesis Data Firehose의 데이터는 읽지 못하므로, Kinesis Data Firehose에서 데이터를 읽고 실시간 분석하려면 SQL 애플리케이션용 Kinesis Data Analytics를 사용해야 한다.
MSK
AWS의 완전 관리형 Kafka 클러스터 서비스
MSK 자체적으로 카프카 브로커 노드와 Zookeeper 노드를 생성 및 관리한다.
고가용성을 위해 VPC의 클러스터를 최대 세 개의 다중 AZ 전역에 배포한다.
일반적인 Kafka 장애를 자동 복구한다.
EBS 볼륨에 데이터를 저장할 수 있다. 비용만 지불하면 원하는 기간 만큼 계속 저장 가능하다.
Amazon MSK 서버리스
MSK에서 Apache Kafka를 실행하지만 서버 프로비저닝이나 용량 관리가 필요 없다.
MSK가 리소스를 자동으로 프로비저닝하고 컴퓨팅과 스토리지를 스케일링한다.
Apache Kafka는 데이터를 스트리밍하는 방식이다. Kafka 클러스터는 여러 브로커로 구성되고 데이터를 생산하는 생산자는 Kinesis, IoT, RDS 등의 데이터를 클러스터에 주입한다.
Kafka 토픽으로 데이터를 전송하면 해당 데이터는 다른 브로커로 복제된다.
Kafka 토픽은 실시간으로 데이터를 스트리밍하고, 소비자는 데이터를 소비하기 위해 토픽을 폴링한다.
소비자
데이터로 원하는 대로 처리하거나 EMR, S3, SageMaker, Kinesis RDS 등의 대상으로 보내 처리할 수 있다.
Apache Flink용 Kinesis Data Analytics를 사용해 Apache Flink 앱을 실행하고 MSK 클러스터의 데이터를 읽어 분석할 수 있다.
Apache Spark Streaming으로 구동된 AWS Glue로 ETL 작업을 스트리밍할 수 있다.
Amazon MSK를 이벤트 소스로 이용해 Lambda 함수가 호출되도록 할 수 있다.
자체 Kafka 소비자를 생성해 EC2, EKS 등에서 실행할 수 있다.
Kinesis Data Streams와의 차이점
메시지 크기 제한: Kinesis Data Streams는 1MB로 제한되어 있지만 Amazon MSK에서는 1MB이 기본값이고 더 큰 메시지를 가지도록 설정 가능하다.
데이터 파티셔닝: Kinesis Data Streams에선 샤드로 나누어 데이터를 스트리밍한다. 용량 확장/축소 시 샤드 분할/병합 작업이 필요하다. Amazon MSK에선 Kafka 토픽을 통해 파티셔닝한다. 토픽 확장만 가능하며, 파티션을 제거하는 기능은 없다.
TLS: Kinesis Data Streams에는 TLS 전송 중 암호화 기능이 있고, Amazon MSK에는 평문과 TLS 전송 중 암호화 기능이 있다.
저장된 데이터 암호화: 두 클러스터 모두 가능하다.
빅데이터 수집 파이프라인
빅데이터 수집 파이프라인의 예시는 다음과 같다.
IoT 디바이스들이 실시간으로 데이터를 생산한다. Amazon Cloud Services의 IoT Core를 통해 데이터를 수집하고 IoT 디바이스를 관리할 수 있다.
IoT Core는 데이터를 Kinesis Data Stream으로 전송한다. 빅데이터를 Kinesis 서비스로 실시간으로 파이프라이닝 할 수 있다.
Kinesis Data Stream은 Kinesis Data Firehose에 데이터를 전송한다.
Kinesis Data Firehose는 정해진 주기마다 Amazon S3 ingestion(수집) 버킷으로 데이터를 업로드할 수 있다. 이 과정에서 람다 함수를 이용해 데이터를 정리하거나 매우 빠르게 변환할 수 있다.
수집 버킷을 통해 SQS 큐 혹은 람다를 작동시킬 수 있다.
Lambda는 Amazon Athena의 SQL 쿼리를 작동시켜 수집 버킷에서 데이터를 꺼내고 SQL 쿼리를 서버리스로 수행시킨다.
쿼리 결과는 S3의 reporting(보고) 버킷으로 전달되어 QuickSight를 통해서 바로 시각화할 수도 있고, Redshift 같은 데이터 웨어하우스로 로드하여 추가적인 분석을 거친 후 QuickSight를 통해 시각화할 수 있다.
Last updated