Sparklyrとは何ですか？
Apache Spark に dplyr スタイルの構文を提供する R パッケージ。R ユーザーは大規模なデータセットに対して分散データ操作と機械学習を実行できます。
によって Databricks Staff による投稿
Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
- 使い慣れたtidyverse dplyr構文（select、filter、mutate、group_by）を提供し、ローカルR処理では大きすぎるデータセットに対しても、分散Spark操作にシームレスに変換します。
- 分散機械学習のためにSpark MLlibおよびH2O SparkingWaterと統合し、さらにspark_applyを通じてユーザー定義関数をサポートすることで、大規模なカスタムR計算を実現します。
- spark_connectの「databricks」メソッドを介してDatabricksクラスターに接続し、SparkRと連携して動作し、インタラクティブな開発とデバッグのためにRStudioと互換性があります。
Sparklyrとは
Sparklyr とは、R 言語と Apache Spark 間のインターフェースを提供するオープンソースのパッケージです。Spark では、分散データを低レイテンシで扱えるため、Spark の機能を最新のR環境で活用することができるようになりました。Sparklyr は、インタラクティブな環境にある大規模なデータセットと連動するための有効なツールです。これにより、Spark でデータを分析するために、R の使い慣れたツールを使用することが可能となり、R と Spark 両方のメリットを享受できます。
Sparklyr により、dplyr（R ユーザーに人気のデータ操作パッケージ）のバックエンドとして Spark を利用することが可能です。Sparklyr には、データの変換または前処理用の Spark ツールにアクセスする機能があり、Spark の分散型機械学習アルゴリズム等のインターフェイスも提供します。また、Sparklyr には拡張機能があり、Spark API を呼び出すための Sparklyr に依存する R パッケージを作成することが可能です。その拡張機能の 1 つが H2O Rsparkling です。これは、H2O の機会学習アルゴリズムと互換性のある R パッケージです。
マルチエージェントシステム、AIのユースケース、評価などに関する主要な知見
Sparklyrの主な特徴
- dplyr やSQL（DBI経由）を使用し、Sparkデータをインタラクティブに操作することが可能
- Sparkデータセットのフィルタリングと集計を実行し、Rでその結果を分析することが可能
- Spark MLlibまたはH2O SparkingWaterを使用し、Rから分散型機械学習を統合することが可能
- Spark APIを呼び出し、Sparkパッケージへのインターフェースを提供する拡張機能の作成が、Sparklyrユーザーにより実行可能
- Sparklyrツールによるデータの操作や分析、視覚化に有用な包括的なdplyrバックエンドの提供
- ローカルのRデータフレーム、Hiveテーブル、CSV、JSON、Parquetファイルなど、さまざまなデータソースからSpark DataFramesにデータを読み込むことが可能
- Sparkのローカルインスタンスおよびリモートクラスタへの接続が可能
関連資料
最新の投稿を受信トレイで受け取る
ブログを購読して、最新の投稿を受信トレイにお届けします。