여기서 다루는 내용

· 간단 소개
· Kafka cluster 생성
· Kafka client 생성
· Topic 생성
· Producer/Consumer 테스트
· 마무리

 

어제(2018년 11월 29일) Kafka의 완전관리 서비스 버전인 Amazon Managed Streming for Kafka (이하 MSK) 가 소개되었습니다.

이번 시간에는 MSK의 기능을 간단하게 확인해보도록 하겠습니다.

 

---

간단 소개

---

• Amazon Managed Streming for Kafka
  
  
  
  • 관리형 Kafka 클러스터
  
  
  
  
  • 제품 세부 정보 : Link
  
  
  
  

  
  이미지 출처 : https://aws.amazon.com/msk/

  
   
  
  

  ---

  
  
  

  Kafka cluster 생성

  
  
  

  ---

  
  
  EMR realse 5.10.0 이상 부터 kerberos 인증 활성화를 지원합니다.
  
  
  

  지원되는 어플리케이션은 여기 참고 하시면 됩니다.

  
   
  
  

  ---

  
  
  

  구성

  
  
  

  ---

  
  
  먼저 EMR의 Security configuration을 생성합니다.
  
   
  
  

  ---

  
  
  

  구성

  
  
  

  ---

  
  
  기본 가이드인 AWS 공식문서를 참고로 진행 가능하며,
  
   
  
  아래 명령으로 HDFS 디렉터리가 정상적으로 만들어진 부분도  확인 됩니다.  (test1 계정은 생략합니다.)
  

  [test2@ip-10-0-1-181 ~]$ hdfs dfs -ls /user

  
  
  
  여기까지 구성 및 확인이었습니다.
  
   
  
  

  ---

  
  
  

  마무리

  
  
  

  ---

  
  
  이상으로 MSK를 간단 확인해보았습니다.