지속적 애플리케이션이란 무엇이며, 단일 프로그래밍 인터페이스를 사용하여 실시간으로 데이터에 반응하는 엔드투엔드 시스템을 구축하는 방법을 알아보세요.
실시간 서비스, ETL, 배치 작업의 스트리밍 버전 생성, 온라인 머신 러닝과 같은 다양한 사용 사례를 하나의 지속적 애플리케이션에서 구현하는 방법을 살펴보세요.
스트리밍, 스토리지, 서비스 및 배치 처리를 하나의 API로 통합하는 것이 여러 개의 개별 시스템을 조합하는 것보다 복잡성을 줄이는 이유를 이해하세요.
지속형 애플리케이션이란?
지속형 애플리케이션(Continuous Application)은 실시간으로 데이터에 반응하는 종단간(E2E) 애플리케이션입니다. 특히 개발자의 경우 별도의 시스템에서 현재 처리 중인 지속형 애플리케이션의 여러 측면(예를 들어 쿼리 제공, 배치 작업과의 상호작용 등)을 지원하기 위해 단 한 가지 프로그래밍 인터페이스를 사용하고자 합니다. 아래에 다음과 같은 사용 사례를 처리할 수 있는 지속형 애플리케이션의 예를 소개하였습니다.
실시간으로 제공될 데이터 업데이트: 개발자는 Spark 애플리케이션을 하나 작성해서 업데이트와 제공을 둘 다 처리하게 하기도 하고(예: Spark의 JDBC 서버를 통해) MySQL, Redis나 Apache Cassandra와 같은 서빙 시스템에서 자동으로 트랜잭션 업데이트를 수행하는 API를 쓰기도 합니다.
추출, 변환 및 로드(ETL): 개발자가 배치 작업에 필요한 변환을 목록으로 나열하기만 하면 스트리밍 시스템이 스토리지 시스템 둘 모두와의 조율을 처리하여 딱 한 번만 처리하도록 보장합니다.
기존 배치 작업의 실시간 버전 생성: 스트리밍 시스템이 같은 데이터의 배치 작업과 항상 일관된 결과가 나오도록 보장합니다.
온라인 머신 러닝: 머신 러닝 라이브러리는 같은 API 배후에서 제공하는 실시간 교육, 정기 배치 교육과 예측을 조합하도록 설계됩니다.
