DataLake Portfolio on AWS 안녕하세요 새롭게 나온 AWS Icon을 이어 DataLake Portfolio를 작성해 보았습니다. 아래 그림은 DataLake 구축 Layer Layer에 적용 가능한 AWS 서비스를 분류하였습니다. 기존 작성한 Dark버전에 비해 더욱 적합하게 서비스가 정리 되었다고 생각합니다. AWS Managed Kafka가 수집 영역에 추가되었고 Processing에 StepFunction을 추가하였습니다. 더불어 AWS 리소스 사용에 대한 모니터링 역시 주요 BI항목이라고 생각되어 CloudWatch를 BI영역에 포함 시켰습니다. EMR은 Processing과 분석이 가능하므로 두가지 영역에 포함되었습니다. Clould/AWS 6년 전
EMR hue restart 방법 서비스 관리는 기존 SysVInit 스크립트가 아닌 업스타일에 의해 처리된다. 서비스가 upstart Cook에 나와 있는 upstart 명령을 사용하여 쿼리할 수 있음 List of services on EMR: grep -ir "env DAEMON=" /etc/init/ | cut -d"\"" -f2 hadoop-yarn-resourcemanager oozie hadoop-hdfs-namenode hive-hcatalog-server hadoop-mapreduce-historyserver hue hadoop-kms hadoop-yarn-proxyserver hadoop-httpfs hive-server2 hadoop-yarn-timelineserver Example commands to stop/st.. Clould/AWS 6년 전
AWS EMR HUE에서 S3 브라우징 오늘은 AWS EMR HUE에서 S3 브라우징이 되지 않을때 해결하는 방법을 살펴 보겠습니다. EMR 설치 후 좌측 아이콘을 살펴보면 S3를 브라우징 할수 있는 아이콘이 존재 합니다.아이콘을 클릭하면 현재 계정에서 접속할 수 있는 S3 Bucket들이 리스트업 되고 해당 Bucket을 클릭하면 Bucket안에 넣어 놓은 파일들이 리스트 되길 기대하게 되지만 막상 클릭하게 되면 우측 상단에 "Failed to retrieve bucket: Bad Request" 에러메시지와 함께 Bucket안의 파일이 보이지 않게 됩니다. 이는 S3 Bucket에 접근하기 위한 권한 문제로 정상적으로 S3안의 파일이 Browsing되게 하기 위해서는 hue.ini파일의 수정이 필요합니다. emr-5.19.0 버전의 hue.. Clould/AWS 6년 전
