PySpark의 매개변수화 쿼리 (Parameterized queries)January 4, 2024 작성자: Matthew Powers, Daniel Tenedorio, Hyukjin Kwon in 엔지니어링 블로그 (번역: Leah Seo) Original Blog Post PySpark는 언제나 데이터 쿼리를 위한 훌륭한 SQL 및 Python API를 제공해 왔습니다. Databricks Runtime 12.1 과 Apache...
SQL 함수의 명명된 인수(Named Arguments)December 6, 2023 작성자: Daniel Tenedorio, Xinyi Yu, Allison Wang, Wenchen Fan, Serge Rielau, Richard Yu in 엔지니어링 블로그 (번역: Youngkyong Ko) Original Blog Post 오늘은 SQL 함수에 명명된 인수(named arguments)를 사용할 수 있는 새로운 기능을 소개합니다. 이 기능을 사용하면 보다 유연한...
Apache Spark™ 3.5 소개October 30, 2023 작성자: Yuanjian Li, Daniel Tenedorio, Martin Grund, Allan Folting, Hyukjin Kwon, 헤르만 반 회벨, Wenchen Fan, 웨이첸 쑤, Gengliang Wang, Allison Wang, Jungtaek Lim, Xiao Li, Reynold Xin in 엔지니어링 블로그 (번역: Sangbae Lim) Original Blog Post 오늘, 데이터브릭스 런 타임 14.0에서 Apache Spark™ 3.5를 사용할 수 있다는 소식을 발표하게 되어 기쁘게 생각합니다. Spark 3.5...
Apache Spark ❤️ Apache DataSketches: Sketch 기반의 새로운 Approximate Distinct CountingOctober 18, 2023 작성자: Daniel Tenedorio, Menelaos Karavelas, Ryan Berti in 엔지니어링 블로그 (번역: Youngkyong Ko) Original Blog Post 소개 이 블로그에서는 고유 값 계산, 스케치 병합, 고유 개수 추정을 정확하고 효율적으로 수행할 수 있도록 HyperLogLog...
Unity Catalog의 레이크하우스 페더레이션 기능을 소개합니다August 3, 2023 작성자: Matei Zaharia, Andrew Li, Can Efeoglu, Cyrielle Simeone, Sachin Thakur, Daniel Tenedorio in 플랫폼 레이크하우스 페더레이션 기능은 현재 퍼블릭 프리뷰(public preview) 단계입니다! 데이터 사용자들은 데이터 파편화, 데이터 통합에 소요되는 시간과 비용, 여러 시스템에 걸친 데이터 거버넌스 관리의...