[AWS] Kafka란 무엇인가?
AWS에서 말하는 Kafka 는 보통 **Amazon MSK (Managed Streaming for Apache Kafka)**를 의미합니다. Kafka 자체는 분산형 이벤트 스트리밍 플랫폼 이고, AWS는 이를 관리형 서비스 형태로 제공해줍니다. 아래에서 Kafka 개념 → AWS MSK 용도 → 활용 사례 순으로 자세히 설명드릴게요. 1. Kafka란 무엇인가? Kafka는 실시간 데이터 스트리밍 플랫폼 으로, 대량의 데이터를 안정적으로 발행(Publish) , 구독(Subscribe) , 저장(Store) , 처리(Process) 할 수 있도록 만들어진 분산형 메시지 브로커입니다. Producer : 데이터를 발행하는 주체 (예: IoT 센서, 로그 시스템, 앱 서버) Broker (Kafka 서버) : 데이터를 저장하고 전달하는 역할 Consumer : 데이터를 구독해서 처리하는 주체 (예: 분석 시스템, 데이터 파이프라인) 즉, Kafka는 대규모 데이터 파이프라인과 실시간 스트리밍 애플리케이션을 위한 중심 허브 라고 보면 됩니다. 2. AWS Kafka (Amazon MSK)의 용도 AWS에서 Kafka를 직접 구축하려면 EC2 서버, Zookeeper, 네트워크, 보안, 운영 자동화까지 직접 관리해야 하는데, 이는 운영 부담이 매우 큽니다. 👉 그래서 AWS는 **MSK (Managed Streaming for Apache Kafka)**를 제공하여, 운영 부담을 줄여줍니다. 주요 용도 실시간 로그 수집 및 처리 애플리케이션 로그, 웹 클릭 로그, IoT 센서 데이터를 Kafka 토픽에 모아 실시간 분석 가능 데이터 파이프라인 구축 데이터 레이크(S3), 데이터 웨어하우스(Redshift), 분석 엔진(OpenSearch, Athena)와 연결해서 데이터 흐름 자동화 마이크로서비스 간 메시징 마이크로서비스 아키텍처에서 서비스 간 이벤트를 Kafka를 통해 주고받아...