メインコンテンツへジャンプ
ページ 1
Engineering blog

Lateral Column Alias (LCA) のサポートについて

翻訳:Junichi Maruyama. - Original Blog Link Apache SparkとDatabricksの新しいSQL機能のサポートをご紹介できることを嬉しく思います: Lateral Column Alias (LCA)です。この機能は、同じSELECTリスト内で先に指定した式を再利用できるようにすることで、複雑なSQLクエリを簡素化し、多くの場合、ネストしたサブクエリや共通テーブル式(CTE)を使用する必要性を排除します。このブログポストでは、この機能の使用例と、SparkとDatabricksのユーザーにもたらす利点について説明します。 Lateral Column エイリアス (LCA) サポートとは? Lateral Column Alias (LCA) は、同じSELECTリスト内で先に指定した式を再利用する機能をユーザーに提供します。 この機能は、以下に示す例を通してより良く理解することができます。以下は単純なクエリです:...
Engineering blog

Apache Spark™ 3.5のご紹介

翻訳:Junichi Maruyama. - Original Blog Link 本日、Databricks Runtime 14.0の一部として、Databricks上でApache Spark™ 3.5が利用可能になったことを発表いたします。Spark 3.5のリリースに多大な貢献をしていただいたApache Sparkコミュニティに深く感謝いたします。 Sparkをこれまで以上にアクセスしやすく、多用途で効率的なものにするという我々のミッションに沿った今回のアップデートには、以下のような新機能と改良が盛り込まれています: The English SDK for Apache Spark enables users to...
Engineering blog

Apache Sparkのための新しいプログラミング言語としての「英語」

翻訳: Masahiko Kitamura オリジナル記事: Introducing English as the New Programming Language for Apache Spark はじめに 私たちは、皆様のSpark体験を豊かにするために設計された革新的なツールである、Apache Sparkの英語SDKを発表できることを嬉しく思います。Apache Spark™は、世界208の国と地域から年間10億以上のダウンロードを記録し、大規模データ分析を大きく発展させました。ジェネレーティブAIの革新的なアプリケーションであるEnglish SDKは、Sparkをこれまで以上にユーザーフレンドリーで親しみやすいものにすることで、この活気あるコミュニティの拡大を目指します! 動機 GitHub Copilotは、AIによるコード開発の分野に革命をもたらした。強力な反面、ユーザーは生成されたコードを理解してコミットする必要がある。レビュアーもコードを理解しないとレビューできない。これは、より広範に採用され
Engineering blog

Apache Spark™ 3.2 の概要

Apache Spark™ 3.2 が、 Databricks ランタイム 10.0 の一部として Databricks 上で利用できるようになりました。Spark 3.2 のリリースにあたり、Apache Spark コミュニティの皆様の多大な貢献に感謝します。 Maven での Spark のダウンロード数が急増しています。 月間のダウンロード数は 2,000万 に達し、対前年比では 2 倍の成長率を示しています。Spark...