DataLake Portfolio on AWS 안녕하세요 새롭게 나온 AWS Icon을 이어 DataLake Portfolio를 작성해 보았습니다. 아래 그림은 DataLake 구축 Layer Layer에 적용 가능한 AWS 서비스를 분류하였습니다. 기존 작성한 Dark버전에 비해 더욱 적합하게 서비스가 정리 되었다고 생각합니다. AWS Managed Kafka가 수집 영역에 추가되었고 Processing에 StepFunction을 추가하였습니다. 더불어 AWS 리소스 사용에 대한 모니터링 역시 주요 BI항목이라고 생각되어 CloudWatch를 BI영역에 포함 시켰습니다. EMR은 Processing과 분석이 가능하므로 두가지 영역에 포함되었습니다. Clould/AWS 6년 전
aws cli를 이용하여 ec2 설정 aws cli를 이용하여 ec2정보를 획득 후 ec2에 eni를 설정하는 bash shell script입니다. ec2리스트에 보이는 name정보를 이용하여 ec2 instance의 id를 조회한 후 instance-id를 이용하여 ec2설정에 필요한 명령을 사용하는 용도로 활용 될 수 있습니다. 아래 스크립트는 자동으로 ec2가 생성되는 pass서비스 ecs fargate내의 ec2의 네이밍 규칙을 통해 eip를 부여하는 사례입니다. EC2_NAME = my-ec2 EC2_INSTANCE_ID = $(aws ec2 describe-instances --filters Name=tag:Name,Values=${EC2_NAME} --output=text --query "Reservations[*].Insta.. Clould/AWS 6년 전
AWS EMR HUE에서 S3 브라우징 오늘은 AWS EMR HUE에서 S3 브라우징이 되지 않을때 해결하는 방법을 살펴 보겠습니다. EMR 설치 후 좌측 아이콘을 살펴보면 S3를 브라우징 할수 있는 아이콘이 존재 합니다.아이콘을 클릭하면 현재 계정에서 접속할 수 있는 S3 Bucket들이 리스트업 되고 해당 Bucket을 클릭하면 Bucket안에 넣어 놓은 파일들이 리스트 되길 기대하게 되지만 막상 클릭하게 되면 우측 상단에 "Failed to retrieve bucket: Bad Request" 에러메시지와 함께 Bucket안의 파일이 보이지 않게 됩니다. 이는 S3 Bucket에 접근하기 위한 권한 문제로 정상적으로 S3안의 파일이 Browsing되게 하기 위해서는 hue.ini파일의 수정이 필요합니다. emr-5.19.0 버전의 hue.. Clould/AWS 6년 전
AWS Bigdata Portfolio(Data Platform Portfolio) -Dark Version 안녕하세요 오늘은 AWS Big Data Portfolio Dark Version을 소개하고자 합니다. AWS Data Lake 아키텍처 구성도를 그리기 위해서 AWS 심플 아이콘 사이트를 들어가 보니 AWS 아키텍처 아이콘이 다크 버전으로 새로 나왔습니다. 그간 인터넷에서 구할 수 있는 AWS Big Data Portfolio 구성도는 모두 이전의 AWS 심플 아이콘을 사용하고 있고 AWS 서비스도 많이 추가 되었기에 새로운 아이콘에 맞추어 다크버전 AWS Big Data Portfolio를 구성해 보았습니다. 사실 근자에 들어서는 Big Data나 Data Lake라는 용어는 그 의미를 정확히 정의하기가 쉽지 않으며 데이터 수집으로 부터 데이터 엔지니어링을 통해 분석(ML, BI)에 이르기 까지의 기.. Clould/AWS 6년 전
