Microsoft Azure 이벤트 허브 : 개념, 예제, 방법

이벤트 허브는 간단하고, 신뢰할 수 있으며, 확장 가능한 실시간 데이터 수집 솔루션입니다. 기능에 대해 자세히 알아보십시오.

 

 

서론

빅데이터 스트리밍 플랫폼 및 이벤트 수집 서비스인 애저 이벤트 허브를 사용하면 수백만 개의 이벤트를 1초 만에 수신하고 처리할 수 있습니다. 모든 실시간 분석 제공업체 또는 배치/저장 어댑터는 이벤트 허브에 공급되는 데이터를 변환하고 저장할 수 있습니다. 이벤트 허브는 간단하고 신뢰할 수 있으며 확장 가능한 실시간 데이터 수집 솔루션입니다. 비즈니스 문제를 신속하게 해결하기 위해 임의의 소스에서 수백만 개의 이벤트를 초당 스트리밍하는 동적 데이터 파이프라인을 구축합니다. 응급 상황 시에는 지리적 재해 복구 및 지리적 복제 기능을 활용하여 데이터를 계속 처리합니다.

다른 애저 서비스와 쉽게 통합하여 통찰력 있는 정보를 얻을 수 있습니다. 기존 Apache Kafka 클라이언트 및 애플리케이션이 코드 변경 없이 이벤트 허브와 통신할 수 있도록 설정하면 자체 클러스터를 유지할 필요 없이 관리되는 Kafka 경험을 얻을 수 있습니다. 동일한 스트림에서 마이크로 배치와 실시간 데이터 수집을 모두 경험할 수 있습니다.

이벤트 허브를 사용할 수 있는 인스턴스는 다음과 같습니다:

이상 탐지(사기/이상치)

응용 프로그램 로깅

클릭 스트림과 같은 분석 파이프라인

실시간 대시보드

데이터 보관

트랜잭션 처리

사용자 원격 측정 처리

장치 원격 측정 스트리밍

 

 

이벤트 허브를 사용하는 이유

데이터 처리가 간단하고 시기적절해야 데이터 소스로부터 통찰력을 얻을 수 있습니다. 이벤트 허브는 전체 빅데이터 파이프라인을 생성하기 위해 애저 내부 및 외부의 데이터 및 분석 서비스와 낮은 지연 시간과 원활한 연결을 제공하는 분산 스트림 처리 플랫폼을 제공합니다.

솔루션 설계에서 이벤트 투자자라고도 알려진 이벤트 파이프라인의 "프론트 도어"는 이벤트 허브로 표현됩니다. 이벤트 스트림 생성을 소비와 분리하기 위해 이벤트 투자자는 이벤트 게시자와 이벤트 소비자 사이에 존재하는 구성 요소 또는 서비스입니다. 이벤트 제작자와 이벤트 소비자의 이해를 분리함으로써 이벤트 허브는 시간 유지 버퍼를 가진 통합 스트리밍 플랫폼을 제공합니다.

 

 

Azure 이벤트 허브 서비스의 주요 기능

완벽하게 관리되는 PaaS

이벤트 허브는 최소한의 구성이나 관리 오버헤드로 완벽하게 관리되는 PaaS(Platform as a Service)이므로 비즈니스 솔루션에 집중할 수 있습니다. 클러스터를 관리, 설정 또는 실행할 필요 없이 Apache Kafka 생태계용 이벤트 허브와 함께 PaaS Kafka를 즐길 수 있습니다.

 

실시간 및 일괄 처리 지원

실시간 스트림은 사용할 수 있는 통찰력을 생성하기 위해 수집, 버퍼링, 아카이브 및 프로세스를 수행합니다. 이벤트 허브의 분할된 소비자 패러다임을 사용하면 여러 애플리케이션이 스트림을 동시에 처리할 수 있도록 하는 동시에 처리 속도를 조절할 수 있습니다. 서버 없는 아키텍처를 위해 애저 펑션과 애저 이벤트 허브도 통합되어 있습니다.

 

이벤트 데이터 캡처

거의 실시간으로 데이터를 캡처하여 Azure Data Lake 또는 Blob 저장소에 저장하여 마이크로 배치 처리 또는 장기 보관을 수행할 수 있습니다. 실시간 통계를 얻는 데 사용하는 동일한 스트림에서 이 동작을 수행할 수 있습니다. 이벤트 데이터 수집을 설정하는 데 시간이 거의 걸리지 않습니다. 이벤트 허브 처리량 또는 처리 장치로 자동으로 확장되며 관리 오버헤드가 없습니다. 이벤트 허브의 도움을 받아 데이터 수집보다 데이터 처리에 집중할 수 있습니다.

 

확장 가능

이벤트 허브를 사용하면 먼저 메가바이트 크기의 데이터 스트림으로 시작하여 기가바이트 또는 테라바이트 크기의 데이터 스트림으로 확장할 수 있습니다. 사용 요구 사항에 맞게 처리량 또는 처리 장치의 수를 확장할 수 있는 다양한 옵션 중 하나가 자동 확장 기능입니다.

 

풍부한 생태계

이벤트 허브는 널리 사용되는 AMQP 1.0 프로토콜을 기반으로 하며, 다양한 언어로 제공되며 대규모 에코시스템을 갖추고 있습니다. .NET, Java, Python 및 JavaScript를 사용하여 이벤트 허브에서 스트림 처리를 빠르게 시작할 수 있습니다. 지원되는 모든 클라이언트 언어에서 낮은 수준의 통합을 제공합니다. Azure Stream Analytics 및 Azure Functions와 같은 Azure 서비스와의 원활한 연결을 사용하여 서버리스 아키텍처를 만들 수 있습니다.

 

Apache Kafka의 이벤트 허브

또한 Apache Kafka(1.0 이상) 클라이언트 및 애플리케이션은 Apache Kafka 생태계용 이벤트 허브를 사용하여 이벤트 허브와 통신할 수 있습니다. Azure에 내장되지 않은 Kafka-as-a-Service 솔루션을 사용하거나 자체 주키퍼 및 Kafka 클러스터를 구축, 구성 및 관리할 필요가 없습니다.

 

이벤트 허브 프리미엄 및 전용

관리되는 멀티테넌트 PaaS 환경에서 더 나은 격리, 예측 가능한 대기 시간 및 낮은 간섭을 요구하는 하이엔드 스트리밍 요구사항은 이벤트 허브 프리미엄을 통해 충족됩니다. 프리미엄 계층은 기본 제공 기능의 모든 이점 외에도 동적 파티션 스케일업, 확장된 보존 및 고객 관리 키와 같은 다양한 추가 기능을 제공합니다. 자세한 내용은 이벤트 허브 프리미엄을 참조하십시오.

스트리밍 요구 사항이 가장 까다로운 고객을 위해 이벤트 허브의 전용 계층은 단일 테넌트 배포를 제공합니다. 이 단일 테넌트 서비스는 전용 가격 계층에서만 사용할 수 있으며 99.99%의 SLA가 보장됩니다. 초당 수백만 개의 이벤트를 용량과 초당 대기 시간이 보장되는 이벤트 허브 클러스터에서 사용할 수 있습니다. 전용 클러스터의 네임스페이스와 이벤트 허브에는 프리미엄 버전 등의 모든 기능이 있습니다. 자세한 내용은 이벤트 허브 전용을 참조하십시오.

 

Azure 스택 허브의 이벤트 허브

Azure Stack Hub의 이벤트 허브를 사용하면 하이브리드 클라우드 시나리오를 구현할 수 있습니다. 온프레미스 및 Azure 클라우드 처리가 모두 지원되며 스트리밍 및 이벤트 기반 솔루션도 지원됩니다. 솔루션을 사용하면 시나리오가 하이브리드(연결)인지 비연결)인지에 관계없이 이벤트/스트림을 대규모로 처리할 수 있습니다. 시나리오에 제한이 있는 것은 이벤트 허브 클러스터의 크기뿐이며, 필요에 따라 프로비저닝할 수 있습니다.

Azure Stack Hub 버전과 Azure 버전의 이벤트 Hubs 간에는 상당한 기능 패리티가 있습니다. 이 패리티는 SDK, 샘플, PowerShell, CLI 및 포털에서 제공하는 경험에 거의 변화가 없음을 의미합니다.

 

 

주요 아키텍처 구성 요소

이벤트 허브에는 다음과 같은 주요 구성 요소가 포함되어 있습니다:

이벤트 제작자: 이벤트 허브에 정보를 전송하는 모든 조직. 이벤트 게시자는 HTTPS, AMQP 1.0 또는 Apache Kafka를 사용하여 이벤트(1.0 이상)를 게시할 수 있습니다

각 소비자는 메시지 스트림의 특정 부분 또는 파티션만 읽습니다.

소비자 그룹을 위한 완전한 이벤트 허브의 관점(상태, 위치 또는 오프셋). 소비자 그룹 덕분에 각 소비자 애플리케이션은 이벤트 스트림의 고유한 관점을 가질 수 있습니다. 그들은 각각 독립적으로 자신의 속도로 스트림을 읽고 자신의 오프셋을 사용합니다.

이벤트 허브의 처리량 용량은 처리량 단위(표준 계층), 프로세싱 단위(프리미엄 계층) 또는 용량 단위(전용)로 알려진 사전 구매 용량 단위에 따라 결정됩니다.

이벤트 허브에서 이벤트 데이터를 읽는 모든 엔티티는 이벤트 수신기입니다. 이벤트 허브의 각 사용자는 AMQP 1.0 세션을 사용하여 연결합니다. 이벤트가 사용 가능해지면 이벤트 허브 서비스는 세션을 통해 이벤트를 제공합니다. 모든 카프카 소비자는 카프카 프로토콜 버전 1.0 이상을 사용하여 연결합니다.

이벤트 허브의 스트림 처리를 위한 아키텍처는 다음 그림에 나와 있습니다:

Microsoft Azure 이벤트 허브 : 개념, 예제, 방법 1

 

 

이벤트 허브를 선택하는 이유

인프라를 관리하는 대신 데이터에서 통찰력을 얻는 데 집중하십시오. 실시간 빅데이터 파이프라인을 만들어 즉각적인 비즈니스 문제를 해결하십시오.

 

간단

몇 번의 클릭으로 실시간 데이터 파이프라인을 구성할 수 있습니다. Azure 데이터 서비스와 원활하게 통합하여 통찰력을 더욱 빠르게 찾을 수 있습니다.

 

보안

현재 정보를 보호합니다. 이벤트 허브는 CSA STAR, ISO, SOC, GxP, HIPAA, HITRUST 및 PCI 바디로부터 인증을 받았습니다.

 

확장 가능

소비 요구사항에 따라 처리량을 동적으로 조정하여 사용하는 것에 대해서만 비용을 지불합니다.

 

개방

AMQP, HTTPS 및 Apache Kafka와 같은 공통 프로토콜을 지원하면 어디서나 데이터를 수집하고 플랫폼 간에 개발할 수 있습니다.

 

 

Microsoft Azure 이벤트 허브의 기능

초당 수백만 개의 이벤트 섭취

데이터는 최소의 지연 시간과 프로그램 가능한 시간 보존으로 수백만 개의 소스에서 지속적으로 수집됩니다.

 

실시간 및 마이크로 배치 처리 동시 사용

Event Hubs Capture를 활용하면 장기간 보관 또는 마이크로 배치 처리를 위해 데이터를 Blob 스토리지 또는 Data Lake 스토리지로 쉽게 전송할 수 있습니다.

 

탄력적인 규모로 관리되는 서비스 제공

메가바이트의 스트리밍 데이터에서 테라바이트로 쉽게 확장하면서 언제 얼마나 확장할지 제어할 수 있습니다.

 

Apache Kafka 생태계와 쉽게 연결

Apache Kafka용 Azure 이벤트 허브를 사용하면 이벤트 허브를 Kafka 앱 및 클라이언트와 쉽게 연결할 수 있습니다.

 

서버리스 스트리밍 솔루션 구축

Stream Analytics와 기본적으로 통합하여 처음부터 끝까지 서버리스 스트리밍 솔루션을 만듭니다.

 

Azure Stack Hub에서 이벤트 수집 및 하이브리드 클라우드 솔루션 실현

Azure 서비스를 활용하면 Azure Stack Hub에서 대규모로 데이터를 로컬로 수집하고 처리하여 하이브리드 클라우드 아키텍처를 구현하는 동안 데이터를 추가로 분석, 시각화 또는 저장할 수 있습니다.

 

 

이벤트 허브가 있는 서버리스 스트리밍

이벤트 허브 및 스트림 분석을 사용하여 완전한 서버리스 스트리밍 인프라를 생성합니다.

Microsoft Azure 이벤트 허브 : 개념, 예제, 방법 2

 

 

결론

Azure Event Hubs는 빅데이터 스트리밍 플랫폼 및 이벤트 수집 서비스입니다. 초당 수백만 개의 이벤트를 수신하고 처리할 수 있습니다. 이벤트 허브로 전송되는 데이터는 모든 실시간 분석 제공업체 또는 배치/저장 어댑터를 사용하여 변환 및 저장할 수 있습니다. 이벤트 허브는 간단하고 신뢰할 수 있으며 확장 가능한 완벽한 관리 실시간 데이터 수집 서비스입니다. 모든 소스에서 수백만 개의 이벤트를 초당 스트리밍하여 동적 데이터 파이프라인을 구축하고 비즈니스 문제에 즉시 대응하십시오. 지리적 재해 복구 및 지리적 복제 기능을 사용하여 응급 상황 시에도 데이터를 계속 처리할 수 있습니다.