MQTT 브로커 사이의 IoT 데이터를 아파치 카프카로 무료 스트리밍하려고 합니까? 하이브MQ 클라우드 카프카 통합이 도움이 될 수 있습니다!
스태티스타가 발표한 연구에 따르면, 사물인터넷 기기는 2025년 79제타바이트의 데이터를 생산할 것이며, 이는 2019년보다 483% 증가한 것입니다. 이 숫자를 요약하자면, 우리가 이 정보를 각각 128GB의 스토리지를 가진 스마트폰에 저장한다면, 우리는 6171억 875만 대의 스마트폰이 필요할 것입니다. 그러나, 더 이상의 처리 없이, 이 데이터는 거의 아무 가치가 없습니다. 이 데이터를 변형하고 분석해야만 사물인터넷(IoT)에 의해 약속된 거대한 부가 가치를 열 수 있습니다.
일반적인 질문은 IoT 장치에서 수집된 데이터를 실제로 처리하는 방법입니다. 이를 수행하는 몇 가지 방법이 있지만 가장 강력한 방법 중 하나는 MQTT 프로토콜을 사용하여 선택한 시스템에서 추가 처리를 위해 Apache Kafka를 통해 IoT 데이터를 보내는 것입니다.
MQTT와 Apache Kafka는 IoT 및 Machine-to-Machine 통신의 기능을 향상시키기 위해 함께 사용되는 경우가 많습니다. 다음과 같은 사용 사례에서 흔히 볼 수 있습니다:
데이터 수집: MQTT는 IoT 기기에서 데이터를 수집하여 Kafka 브로커에게 공개하는 데 사용되며, 향후 사용을 위해 데이터를 처리, 분석 및 저장합니다.
실시간 처리: 조직은 MQTT와 Kafka를 사용하여 IoT 장치에서 대량의 수신 데이터를 처리하는 실시간 데이터 처리 파이프라인을 구축합니다.
IoT 장치에서 Kafka 서비스로 데이터를 가장 쉽게 처리할 수 있는 방법은 새로 도입된 HiveMQ Cloud와의 Kafka 통합입니다.
Kafka-HiveMQ 클라우드 통합의 주요 기능과 이 기능을 사용하여 데이터를 스트리밍하는 방법 및 설정 방법에 대해 설명합니다.
HiveMQ 클라우드 Kafka 통합
단계별 지침을 시작하기 전에 Kafka-HiveMQ 클라우드 통합의 이점에 대해 살펴보겠습니다. 이 간단한 구성을 통해 지속적인 운영 부담 없이 HiveMQ 클라우드 브로커와 Kafka 클러스터 간에 데이터를 효율적으로 스트리밍할 수 있습니다.
Apache Kafka 서비스를 통해 IoT 장치에서 데이터를 쉽게 수집할 수 있는 5가지 단계가 있습니다. 이것들은 크게 다음과 같이 나눌 수 있습니다.
- 연결 구성 매개 변수
- 토픽 매핑 매개 변수
연결 구성 매개 변수는 HiveMQ Cloud와 Apache Kafka 클러스터 간의 안전한 연결을 설정하는 데 도움이 됩니다. 항목 매핑을 사용하여 MQTT 클러스터와 Apache Kafka 간의 양방향 데이터 흐름을 설정할 수 있습니다.
그러나 먼저 하이브MQ 클라우드 클러스터 내의 "통합" 탭에서 카프카 확장을 찾아야 합니다. 이 통합은 하이브MQ 클라우드에서 사용할 수 있습니다.
참고: HiveMQ Cloud 무료 버전을 처음 사용하여 이러한 지침을 따를 경우 결제 정보를 추가하지 않고 시작할 수 있습니다.
이제 다섯 단계로 이동할 준비가 되었습니다:
HiveMQ Cloud를 선택한 Kafka 서비스와 연결합니다. 연결하려면 Kafka 클러스터에 대한 부트스트랩 서버 목록이 필요하므로 통합을 통해 Kafka 클러스터에 대한 초기 메타데이터를 가져올 수 있습니다.
연결 보안: 이제 카프카 자격 증명을 추가해야 합니다. 이를 통해 하이브MQ 클라우드와 카프카 사이에 안전한 연결이 보장됩니다. 우리는 연결 보안을 위한 두 가지 다른 SASL 메커니즘을 제공합니다.
하이브MQ에서 카프카로 데이터 전송: 연결을 설정하고 보안을 설정하면 IoT 장치에서 전달할 데이터를 선택할 수 있습니다. 이를 위해서는 하이브MQ 클라우드에서 카프카 클러스터로 토픽을 매핑해야 합니다. 소스 토픽은 하이브MQ 클러스터에서 보낼 MQTT 토픽입니다. 대상 토픽은 하이브MQ 클러스터에서 보낸 메시지를 받는 카프카 토픽입니다.
양방향 통신 설정: Kafka와 HiveMQ 간의 양방향 통신의 경우 HiveMQ Cloud에서 Kafka 클러스터로 토픽 매핑을 정의하는 것과 유사하게 Kafka 클러스터를 HiveMQ Cloud로 구성할 수 있습니다. 이 경우 소스 토픽은 통합에서 메시지를 읽어야 하는 Kafka 토픽을 나타냅니다. 이러한 메시지는 HiveMQ Cloud MQTT 브로커 클러스터에 정의된 대상 토픽과 함께 게시됩니다.
구성 활성화: "활성화" 버튼을 선택하여 HiveMQ 클라우드 클러스터와 Kafka 클러스터 간의 데이터 흐름을 시작할 수 있습니다.
이 5가지 단계를 수행했다면 이제 HiveMQ Cloud와 함께 Apache Kafka를 사용하여 IoT 장치의 데이터를 양방향 통신에 사용할 수 있습니다.
시작하기
Kafka-HiveMQ 클라우드 기능에 무료로 액세스하려면 무료로 가입하기만 하면 됩니다.
통합은 Kafka용 HiveMQ Enterprise Extension의 경량 버전으로 자주 요청되는 사용 사례를 해결할 수 있습니다. 여전히 기능이 부족하다면 주저하지 말고 연락하십시오. 우리는 항상 직접적인 사용자 피드백을 원합니다.
'일상 > IT' 카테고리의 다른 글
| 새로운 위협 요소와 새로운 사이버 공격 및 위험 방지 전략 (0) | 2023.09.14 |
|---|---|
| 초보자를 위한 젠킨스 튜토리얼: 모범 사례 및 포괄적인 가이드 (0) | 2023.09.13 |
| 버그를 이해하고 해결하는 혁신적인 방법 (0) | 2023.09.07 |
| Microsoft Azure 이벤트 허브 : 개념, 예제, 방법 (0) | 2023.09.06 |
| 보안 소프트웨어 개발을 위한 실천 사례 (0) | 2023.09.05 |