Structured Streaming
Databricks 무료로 시작하기
Structured Streaming은 스트림 처리용 고차원 API의 일종으로, Spark 2.2에서는 바로 프로덕션에 적용할 수 있게 되었습니다. Structured Streaming을 사용하면 Spark의 구조적 API를 사용해 배치 모드로 수행하는 것과 같은 연산을 스트리밍 방식으로 실행할 수 있습니다. 이렇게 하면 레이턴시를 줄이고 증분식으로 처리할 수 있게 됩니다. Structured Streaming의 가장 좋은 점은 코드를 사실상 전혀 변경하지 않고도 스트리밍 시스템에서 신속하게 값을 얻을 수 있다는 사실입니다. 또한 추론도 한결 쉬운데, 프로토타이핑의 한 가지 방안으로서 배치 작업을 작성한 다음 이를 스트리밍 작업으로 변환하면 되기 때문입니다. 이 모든 작업은 해당 데이터를 증분식으로 처리하여 수행합니다. 