지속형 애플리케이션이란 무엇인가요?

지속형 애플리케이션이란?

지속형 애플리케이션(Continuous Application)은 실시간으로 데이터에 반응하는 종단간(E2E) 애플리케이션입니다. 특히 개발자의 경우 별도의 시스템에서 현재 처리 중인 지속형 애플리케이션의 여러 측면(예를 들어 쿼리 제공, 배치 작업과의 상호작용 등)을 지원하기 위해 단 한 가지 프로그래밍 인터페이스를 사용하고자 합니다. 아래에 다음과 같은 사용 사례를 처리할 수 있는 지속형 애플리케이션의 예를 소개하였습니다.

• 실시간으로 제공될 데이터 업데이트: 개발자는 Spark 애플리케이션을 하나 작성해서 업데이트와 제공을 둘 다 처리하게 하기도 하고(예: Spark의 JDBC 서버를 통해) MySQL, Redis나 Apache Cassandra와 같은 서빙 시스템에서 자동으로 트랜잭션 업데이트를 수행하는 API를 쓰기도 합니다.
• 추출, 변환 및 로드(ETL): 개발자가 배치 작업에 필요한 변환을 목록으로 나열하기만 하면 스트리밍 시스템이 스토리지 시스템 둘 모두와의 조율을 처리하여 딱 한 번만 처리하도록 보장합니다.
• 기존 배치 작업의 실시간 버전 생성: 스트리밍 시스템이 같은 데이터의 배치 작업과 항상 일관된 결과가 나오도록 보장합니다.
• 온라인 머신 러닝: 머신 러닝 라이브러리는 같은 API 배후에서 제공하는 실시간 교육, 정기 배치 교육과 예측을 조합하도록 설계됩니다.

추가 자료

• Structured Streaming PySpark API로 지속형 애플리케이션 쓰기
• 지속형 애플리케이션 빌드와 관련된 골칫거리와 돌파구
• Databricks Delta와 Structured Streaming을 사용한 100팀 규모 지속형 애플리케이션