メインコンテンツへジャンプ
ページ 1

統計の予測最適化を発表

統計の予測最適化のゲーテッドパブリックプレビューを発表できることを嬉しく思います。Data + AI Summitで発表された 予測最適化 ( Predictive Optimization ) は、最適化プロセスを効率化するためのAI駆動のアプローチとして一般提供されています。予測最適化は現在、 重要なデータ レイアウトとクリーンアップ タスクをサポートしており、ユーザーからの早期フィードバックでは、日常的なデータ メンテナンスを大幅に簡素化する効果が高く評価されています。 自動統計管理の追加により、予測最適化は次のような進歩を通じて顧客に価値を提供し、操作を簡素化します。 データスキップ統計のインテリジェントな選択により、列順序管理の必要性が排除されます クエリ最適化統計の自動収集により、データロード後にANALYZEを実行する必要がなくなります 収集された統計情報はクエリ実行戦略に役立ち、平均してパフォーマンスの向上とコストの削減につながります 統計の影響 最新の統計情報を利用することで、パフォーマンスと総

Delta LakeとApache Sparkにオープンバリアントデータ型を導入

半構造化データ用のバリアントと呼ばれる新しいデータ型を発表できることを嬉しく思います。 バリアント(Variant) は、これらのデータを JSON 文字列として保存する場合と比べて、パフォーマンスが桁違いに向上すると同時に、高度にネストされ進化するスキーマをサポートするための柔軟性も維持します。 半構造化データの取り扱いは、長い間レイクハウスの基盤的な機能の一つです。エンドポイント検出と対応(EDR)、広告クリック分析、IoTテレメトリーなどは、半構造化データに依存する人気のユースケースの一部です。私たちがより多くの顧客を専有のデータウェアハウスから移行させる中で、彼らが専有のデータウェアハウスで提供されるバリアントデータ型に依存していることを聞き、ロックインを避けるためにオープンソース標準が欲しいという声がありました。 オープンバリアントタイプは、Apache SparkオープンソースコミュニティとLinux Foundation Delta Lakeコミュニティの両方とのコラボレーションの結果です: バリア

Predictive I/O for Readsの一般提供開始を発表

Original Blog : Announcing the General Availability of Predictive I/O for Reads 翻訳: junichi.maruyama 本日、 Databricks SQL (DB SQL) 向けのPredictive I/Oの一般提供を開始します:機械学習を利用した機能で、ポイントのルックアップをより速く、より安くすることができます。Predictive I/Oは、Databricksが大規模なAI/MLシステムを構築してきた長年の経験を活用し、追加のインデックスや高価なバックグラウンドサービスなしで、Lakehouseを最もスマートなデータウェアハウスにすることができます。実際、ポイント検索では、Predictive I/Oは、インデックスと最適化サービスのすべての利点を提供しますが、それらを維持するための複雑さとコストは必要ありません。...