애플리케이션 스포트라이트: Elasticsearch

Elasticsearch, 이제 Spark에서 '인증' 획득

기업이 데이터에서 인사이트를 빠르게 얻을 수 있도록 돕는 것이 Elasticsearch 미션의 핵심입니다. 기업이 데이터를 저장하는 곳이면 어디든 운영될 수 있다는 것은 그 미션에 있어 분명히 중요하며, Hadoop 은 기업이 방대한 양의 데이터를 대규모로 저장하는 방법을 제공하는 선두 주자 중 하나입니다. 지난 1년 동안 저희는 실시간 검색 및 분석 엔진의 강력한 성능을 하둡 에코시스템에 제공하기 위해 열심히 노력해 왔습니다. Hadoop 커넥터인 Elasticsearch for Apache Hadoop은 최고의 세 가지 Hadoop 배포판인 Cloudera, Hortonworks, MapR과 호환되며, 오늘 Spark 인증이라는 또 다른 흥미로운 이정표를 달성했습니다.

Elasticsearch + Spark = 풍부한 검색, 즉각적인 인사이트

Spark는 Hadoop과 유사한 데이터 스토어 및 기타 데이터 스토어를 위한 인기 있는 처리 및 분석 도구로 빠르게 부상하고 있습니다. 저희는 많은 고객의 Hadoop 배포판 등에서 이를 계속해서 확인하고 있으며, 두 기술 간의 연결성을 개선하기 위해 Databricks는 물론 각 오픈 소스 커뮤니티와도 협력해 왔습니다. Elasticsearch와 Spark의 결합은 Spark의 통합 처리 엔진에, 실시간 고객 대면 환경에서든 내부 분석을 위해 보이지 않는 곳에서든 데이터 검색 및 탐색을 향상시키는 본격적인 검색 엔진의 기능을 더해줍니다. Apache Hadoop Map/Reduce를 위한 Elasticsearch 지원을 통해 Spark 애플리케이션은 HDFS 리소스와 마찬가지로 Elasticsearch와 상호 작용할 수 있으며, 이를 통해 실시간으로 투명하게 데이터를 인덱싱하고 분석할 수 있습니다. 당사의 데이터 시각화 도구인 Kibana는 쉽게 생성할 수 있는 파이 차트, 막대 그래프, 산점도, 히스토그램 등을 통해 Elasticsearch의 방대한 양의 데이터를 탐색하는 데에도 사용할 수 있습니다.

기업들은 데이터에 대해 질문하고, 반복하며, 실행 가능한 인사이트를 추출하는 기능을 제공함으로써 Hadoop 배포의 마지막 단계를 완료하기 위해 Elasticsearch를 계속해서 도입하고 있습니다. 이들 중 다수는 의료, 금융, 전기 통신과 같은 산업에 속해 있으며, 채굴해야 할 매우 방대하고 민감한 양의 데이터를 보유하고 있습니다. Apache Hadoop용 Elasticsearch를 사용하면 로그 파일과 같은 데이터에 몇 시간이 아닌 몇 분 안에 액세스할 수 있으므로 사기를 감지하고 서비스 문제를 식별하며 고객 행동을 분석하여 더 빨리 해결책을 찾고 최고의 개발자에게 비즈니스 수익에 직접적인 영향을 미치는 데 필요한 도구를 제공할 수 있습니다.

공식적으로 “Spark 인증”을 받게 되어 더할 나위 없이 기쁩니다. 저희 Hadoop 커넥터는 두 가지를 좀 더 네이티브하게 통합하여 기업이 데이터에 대해 훨씬 더 고급 검색 및 분석 기능을 활용할 수 있도록 하는 로드맵의 첫 번째 단계입니다.

자세히 알아보기

Spark Summit에 참석하신다면, Databricks의 Holden Karau가 6월 30일 월요일 오후 3시에 이 세션 에서 Elasticsearch와 Spark를 사용하여 검색 인덱싱을 간소화하는 방법을 보여줄 것입니다.

또한 8월 20일 수요일에 Hadoop 및 Spark 배포에서 Elasticsearch를 실시간 인사이트에 활용하는 방법에 대한 웨비나를 개최합니다. 여기에서 등록할 수 있습니다.

마지막으로, 시작하고 싶으시다면 여기 에서 Apache Hadoop용 Elasticsearch를 다운로드하고 어떻게 생각하시는지 알려주세요!