데이터 품질 모니터링
lakehouse의 데이터 및 AI를 위한 지능형 품질 모니터링
데이터 품질 모니터링이란 무엇인가요?
Databricks Data Quality Monitoring 을 사용하면 팀이 추가 도구나 복잡성 없이 데이터 세트의 건전성을 모니터링할 수 있습니다. Unity Catalog으로 구동되는 데이터 품질 모니터링(이상 탐지 및 데이터 프로파일링 포함, 이전 명칭: Lakehouse Monitoring)은 시간 경과에 따른 데이터 품질 메트릭, 통계적 추세 및 이상을 자동으로 모니터링합니다. 레이크하우스 아키텍처가 지원하는 단일의 통합된 접근 방식을 통해 팀은 신속하게 문제를 진단하고 근본 원인을 분석하며 데이터 및 AI 자산에 대한 신뢰를 유지할 수 있습니다.
Databricks의 데이터 품질 모니터링 기능
이상치 탐지
클릭 한 번으로 확장 가능한 데이터 품질 모니터링을 활성화하세요. Databricks는 과거 데이터 패턴을 자동으로 분석하여 테이블 최신성 및 완전성의 이상 징후를 감지합니다. 지능형 스캔을 통해 가장 중요한 테이블만 스캔되고 영향이 적은 테이블은 건너뜁니다. 테이블은 업데이트될 때마다 모니터링되므로 수동으로 일정을 예약할 필요 없이 인사이트를 최신 상태로 유지합니다.
데이터 프로파일링
테이블에 대한 요약 통계를 받고 데이터 및 ML 결과 전반의 과거 추세와 예상치 못한 변경 사항을 추적하여 팀이 데이터를 더 잘 이해하고 다운스트림 운영상의 수고를 줄일 수 있도록 지원합니다. 모델 입력 및 예측을 캡처하는 추론 테이블을 프로파일링하여 모니터링을 GenAI 애플리케이션 및 머신 러닝 모델로 확장하세요.
가속화된 근본 원인 분석
데이터 프로파일링, 과거 추세 및 이상 신호를 사용하여 문제의 근원을 추적하고 데이터 및 모델 품질 문제를 더 빠르게 디버그합니다. 이를 통해 팀은 해결 시간을 단축하고 프로덕션 파이프라인의 신뢰성을 향상시킬 수 있습니다.
리소스
블로그
eBook
문서
