Summary of Kafka in Security Side

Kafka는 대용량 및 대규모 메시지 데이터를 빠르게 처리하도록 개발된 메시징 플랫폼

 

 

Kafka를 사용해야 하는 이유

1. Poll 방식 사용 시 통신에 참여하는 개체가 늘어날 수록 복잡도가 늘어나 수집 및 처리시간이 늦어지며, 신규 매체 추가 시 추가적인 작업이 필요함
2. 데이터 파이프라인의 파편화를 통해 관리가 어려움
3. 이에 따라 개발이 지연되고 데이터의 신뢰도가 떨어질 수 있음

 

Kafka 용어

• 메시지 : 데이터 단위
• 토픽 : 메시지를 구분하기 위해 사용되는 일종의 Group name
• 브로커 : 카프카 애플리케이션이 설치되어 있는 서버 또는 노드
• 프로듀서 : 메시지를 생산하여 브로커의 토픽으로 메시지를 보내는 서버 또는 애플리케이션
• 컨슈머 : 브로커의 토픽에서 메시지를 가져와 소비하는 서버 또는 애플리케이션

 

 

프로듀서가 생산한 메시지가 민감하거나, 특정 컨슈머에게만 메시지를 제공하고 싶으면 어떻게 해야 할까?

 

 

 

SSL 적용을 통해 정보노출 방지

브로커 생성에서 SSL을 설정하여 네트워크 상에서 데이터가 노출되는 것을 방지

 

 

SASL 프로토콜을 사용한 인증

• Plain : ID, Password를 사용한 인증으로 계정정보 노출을 방지하기 위해 SSL적용이 필요함
• Scram : 주키퍼에 계정정보를 생성하여 이 계정정보를 이용하여 인증진행
• OauthBearer : JWT와 OAuth 2.0을 이용한 인증
• GSSAPI : Kerberos를 이용한 인증

 

ACL(Access Control List) 방식으로 인가

kafka-acls 명령어를 사용하여, 여러 리소스(토픽, 컨슈머 그룹, 클러스터, 트랜잭션, Delegation Token 등)에 대한 다양한 권한(읽기, 쓰기, 생성, 수정, 삭제 등)을 적용가능함