メインコンテンツへジャンプ
ログイン
      • Databricks を知る
        • エグゼクティブ向け
          • スタートアップ向け
            • レイクハウスアーキテクチャ
              • Mosaic Research
              • 導入事例
                • 注目の導入事例
                • パートナー
                  • クラウドプロバイダ
                    Databricks on AWS、Azure、GCP
                    • コンサルティング・SI
                      Databricks の構築・デプロイ、Databricks への移行のエキスパート
                      • 技術パートナー
                        既存のツールをレイクハウスに接続
                        • C&SI パートナー
                          レイクハウスの構築・デプロイメント、レイクハウスへの移行
                          • データパートナー
                            データコンシューマーのエコシステムにアクセス
                            • パートナーソリューション
                              業界・移行のニーズに応じたカスタムソリューション
                              • Databricks で構築
                                ビジネスの創造・マーケティング・成長
                              • Databricks プラットフォーム
                                • プラットフォームの概要
                                  データ・分析・AI のための統合プラットフォーム
                                  • データ管理
                                    データの信頼性・セキュリティ・パフォーマンス
                                    • 共有
                                      オープン、セキュア、ゼロコピーでのデータ共有
                                      • データウェアハウジング
                                        バッチ、ストリーミングデータのための ETL とオーケストレーション
                                        • ガバナンス
                                          データ・分析・AI のための統合ガバナンス
                                          • リアルタイム分析
                                            リアルタイム分析、AI、アプリケーションをシンプルに
                                            • 人工知能(AI)
                                              ML と生成 AI アプリケーションの構築とデプロイメント
                                              • データエンジニアリング
                                                バッチ、ストリーミングデータのための ETL とオーケストレーション
                                                • BI
                                                  実世界データのインテリジェント分析
                                                  • データサイエンス
                                                    データサイエンスの大規模な連携
                                                  • 統合とデータ
                                                    • マーケットプレイス
                                                      データ、分析、AI のためのオープンマーケットプレイス
                                                      • IDE 統合
                                                        お気に入りの IDE(統合開発環境)でレイクハウスを構築
                                                        • パートナーコネクト
                                                          Databricks エコシステムの検索と統合
                                                        • ご利用料金
                                                          • Databricks のご利用料金
                                                            料金設定、DBU、その他
                                                            • コスト計算ツール
                                                              クラウド利用でのコンピュートコストの試算
                                                            • オープンソース
                                                              • オープンソーステクノロジー
                                                                プラットフォームを支えるイノベーションをもっと詳しく
                                                              • 業界向け Databricks
                                                                • 通信
                                                                  • メディア・エンターテイメント
                                                                    • 金融サービス
                                                                      • 官公庁・公共機関
                                                                        • 医療・ライフサイエンス
                                                                          • リテール・消費財
                                                                            • 製造
                                                                              • 全て見る
                                                                              • クロスインダストリーソリューション
                                                                                • サイバーセキュリティ
                                                                                  • マーケティング
                                                                                  • 移行・デプロイメント
                                                                                    • データの移行
                                                                                      • プロフェッショナルサービス
                                                                                      • ソリューションアクセラレータ
                                                                                        • ソリューションアクセラレータ一覧
                                                                                          成果を加速
                                                                                        • トレーニング・認定試験
                                                                                          • 学習の概要
                                                                                            トレーニング、認定、イベントなどのハブ
                                                                                            • トレーニング概要
                                                                                              ニーズに合わせたカリキュラムを探す
                                                                                              • Databricks アカデミー
                                                                                                Databricks ラーニングプラットフォームにサインインする
                                                                                                • 認定
                                                                                                  スキル・認定で差別化を図る
                                                                                                  • 大学との連携
                                                                                                    Databricks を教材として活用
                                                                                                  • イベント
                                                                                                    • DATA+AI サミット
                                                                                                      • Data+AI ワールドツアー
                                                                                                        • Data Intelligence Days
                                                                                                          • イベントカレンダー
                                                                                                          • ブログ・ポッドキャスト
                                                                                                            • Databricks ブログ
                                                                                                              最新情報、製品発表、その他の情報
                                                                                                              • Databricks Mosaic AIリサーチブログ
                                                                                                                AI世代に関する最新リサーチ
                                                                                                                • Data Brew ポッドキャスト
                                                                                                                  ご相談・お問い合わせ
                                                                                                                  • ポッドキャスト:Data+AI のチャンピオン
                                                                                                                    イノベーションを支えるデータリーダーのインサイト
                                                                                                                  • お役立ちリソース
                                                                                                                    • カスタマーサポート
                                                                                                                      • ドキュメント
                                                                                                                        • コミュニティ
                                                                                                                        • もっと詳しく
                                                                                                                          • リソースセンター
                                                                                                                            • デモセンター
                                                                                                                            • 企業概要
                                                                                                                              • Databricks について
                                                                                                                                • 経営陣
                                                                                                                                  • Databricks Ventures
                                                                                                                                    • ご相談・お問い合わせ
                                                                                                                                    • 採用情報
                                                                                                                                      • 採用情報概要
                                                                                                                                        • 求人情報
                                                                                                                                        • プレス・ニュース記事
                                                                                                                                          • ニュースルーム
                                                                                                                                            • 受賞歴と業界評価
                                                                                                                                            • セキュリティと信頼
                                                                                                                                              • セキュリティと信頼
                                                                                                                                          • 是非ご検討ください!
                                                                                                                                          • デモを見る
                                                                                                                                          • ログイン
                                                                                                                                          • Databricks 無料トライアル
                                                                                                                                          1. ブログ
                                                                                                                                          2. /
                                                                                                                                            お知らせ
                                                                                                                                          3. /
                                                                                                                                            記事

                                                                                                                                          Koalas:pandas から Apache Spark への容易な移行 – データラングリング(カテゴリ変数の導入)

                                                                                                                                          Spark + AI Summit 2019

                                                                                                                                          Published: April 24, 2019

                                                                                                                                          お知らせ2分で読めます

                                                                                                                                          Tony Liu、Tim Hunter による投稿

                                                                                                                                          この投稿を共有する

                                                                                                                                          最新の投稿を通知します

                                                                                                                                          データブリックスは本日開催された Spark + AI Summit において、PySpark の DataFrame API を拡張してpandas と互換性を持たせる新しいオープンソースプロジェクトの Koalas(コアラズ) を発表しました。

                                                                                                                                          Python のデータサイエンスはここ数年で急速に拡大し、pandas は今ではエコシステムの要となっています。データサイエンティストはデータセットを入手する場合、pandas を使って検証します。pandas はデータラングリング(データクレンジング/データクリーニングおよびデータ整形)や分析に最適のツールです。実際に、pandas の read_csv は、データサイエンスに取り組む多くの学生が最初に学習する実行コマンドです。

                                                                                                                                          pandas に課題があるとすれば、ビッグデータのスケーリングに適していないことです。pandas は単一のマシンで扱えるスモールデータ用に設計されています。一方、Apache Spark はビッグデータワークロードのデファクトスタンダードとして登場しました。今日、データサイエンティストの多くは pandas を使って、コースワーク、ペットプロジェクト、小さなデータタスクを行っています。しかし、膨大なデータセットを扱うために Spark を活用するには、 PySpark に移行するか、pandas で扱えるようにデータをダウンサンプリングしなければなりません。

                                                                                                                                          Koalas はこの問題を解決します。Koalas を使用することで、データサイエンティストは新しいフレームワークを覚えなくとも、単一のマシンから分散環境へ移行することが可能です。次のように、1つのパッケージを別のパッケージに置き替えるだけで Spark 上で pandas のコードを Koalas にスケーリングすることが可能です。

                                                                                                                                          pandas:

                                                                                                                                          Koalas:

                                                                                                                                          pandasはPython データサイエンスの標準表現

                                                                                                                                          Python がデータサイエンスの主要言語として認知され、データコミュニティは pandas、matplotlib、numpy などの重要なライブラリをベースとした表現型を開発しました。これらのライブラリが使用できれば、データサイエンティストは自分の考えを十分に表現し、アイデアどおりの結論を導くことが可能になります。また、アイデアを概念化し、すぐに実行することができます。

                                                                                                                                          しかし、自分の専門ではない表現型でライブラリを扱わなければならない場合、作業を中断して数分ごとにスタックオーバーフローをチェックし、コードの動作確認のためだけにワークフローを妨げることになってしまいます。PySpark は使いやすく、pandas との類似点が多くありますが、表現に違いがあります。

                                                                                                                                          データブリックスは、Spark で pandas を有効にすることで、データサイエンティストやデータドリブンな組織の生産性が大幅に向上すると確信しています。Koalas がもたらすメリットは以下のとおりです。

                                                                                                                                          • Koalas によって、特定のデータセットに pandas も PySpark も使用できる
                                                                                                                                          • データサイエンティストは、単一のマシン向けに記述された pandas を Koalas に切り替えるだけで、Spark 上でコードのスケールアップができる
                                                                                                                                          • Koalas を使用することで、Spark の活用するために PySpark を学ぶ必要がなくなり、より多くのデータサイエンティストがビッグデータを扱える

                                                                                                                                          次に、Koalas を使って Spark で簡単に実行できる、シンプルで優れた pandas メソッドの 2 つの例を紹介します。

                                                                                                                                          カテゴリ変数による特徴量エンジニアリング

                                                                                                                                          データサイエンティストが機械学習モデルを構築する際、データラングリングの過程でカテゴリ変数を扱うことがよくあります。通常の手法は、カテゴリ変数をダミー変数としてエンコードすることです。以下の例には、コールタイプ、近傍、ユニットタイプなど、いくつかのカテゴリ変数が含まれています。pandas の get_dummies メソッドは、まさにこれらの変数をエンコードするのに便利なメソッドです。pandas を使って行う方法は以下のとおりです。

                                                                                                                                          実行前の DataFrame
                                                                                                                                          新しい DataFrame
                                                                                                                                          新しい DataFrame

                                                                                                                                          Koalas を使うことで、ほんの少し調整すれば Spark で次のように実行できます。

                                                                                                                                          これだけです。

                                                                                                                                          タイムスタンプによる算術演算

                                                                                                                                          データサイエンティストは常にタイムスタンプを扱っていますが、実際に正しく処理することはとても厄介です。しかし、pandas は見事な解決策を提供してくれます。日付の DataFrame で説明しましょう。

                                                                                                                                          pandas で終了日から開始日を引くには、以下のコマンドを実行するだけです。

                                                                                                                                          pandas を Koalas に置き換えるだけで Spark 上で同じことができます。

                                                                                                                                          繰り返しますが、ただこれだけです。

                                                                                                                                          次のステップと Koalas の使用開始

                                                                                                                                          Spark + AI Summit で Reynold Xin が公式発表した Koalas に関する動画をご覧ください。

                                                                                                                                          私たちはこれまで、データラングリング(クレンジング/クリーニング)の困難さや、pandas でのダウンサンプリングの必要性などから、大規模なデータを扱うことに積極的ではない多くのデータサイエンティストに出会いました。そしてそのデータサイエンティストを支援するために Koalas を開発しました。Koalas は Spark での作業のスケーリングを劇的に容易にし、データサイエンティストの意欲を高めると確信しています。

                                                                                                                                          ここまで、一般的な DataFrame の操作メソッドと、pandas の優れたインデックス作成技術を実行してきました。ロードマップの今後の項目は次のとおりです。主にカバレッジの改善に焦点を当てます。

                                                                                                                                          • テキストデータを操作するための文字列処理
                                                                                                                                          • 時系列データの日付/時刻操作

                                                                                                                                          このプロジェクトはまだ初期段階ですが、今後、急速に進展していく予定です。Koalas や使用開始についての詳細は、こちらのプロジェクトの GitHub リポジトリを参照してください。皆様のご意見をお待ちしております。

                                                                                                                                          最新の投稿を通知します

                                                                                                                                          関連記事

                                                                                                                                          Spark + AI Summit 2019

                                                                                                                                          お知らせ

                                                                                                                                          April 24, 2019/2分で読めます

                                                                                                                                          Koalas:pandas から Apache Spark への容易な移行 – データラングリング(カテゴリ変数の導入)

                                                                                                                                          この投稿を共有する

                                                                                                                                          Databricksの投稿を見逃さないようにしましょう

                                                                                                                                          興味のあるカテゴリを購読して、最新の投稿を受信トレイに届けましょう

                                                                                                                                          Sign up

                                                                                                                                          次は何ですか?

                                                                                                                                          Harnessing the Power of Databricks Mosaic AI for Rolls-Royce

                                                                                                                                          製造

                                                                                                                                          August 7, 2024/1分未満

                                                                                                                                          ロールスロイスの画像生成に Databricks Mosaic AI のパワーを活用する

                                                                                                                                          Turbocharging GPU Inference at Logically AI

                                                                                                                                          メディア・エンターテイメント

                                                                                                                                          October 22, 2024/1分未満

                                                                                                                                          Logically AIでGPU推論をターボチャージ!

                                                                                                                                          databricks logo
                                                                                                                                          Databricks を選ぶ理由
                                                                                                                                          Databricks を選ぶ理由
                                                                                                                                          • エグゼクティブ向け
                                                                                                                                          • スタートアップ向け
                                                                                                                                          • レイクハウスアーキテクチャ
                                                                                                                                          • Mosaic Research
                                                                                                                                          導入事例
                                                                                                                                          • 注目の導入事例
                                                                                                                                          パートナー
                                                                                                                                          • クラウドプロバイダ
                                                                                                                                          • 技術パートナー
                                                                                                                                          • データパートナー
                                                                                                                                          • Databricks で構築
                                                                                                                                          • コンサルティング・SI
                                                                                                                                          • C&SI パートナー
                                                                                                                                          • パートナーソリューション
                                                                                                                                          Databricks を選ぶ理由
                                                                                                                                          • エグゼクティブ向け
                                                                                                                                          • スタートアップ向け
                                                                                                                                          • レイクハウスアーキテクチャ
                                                                                                                                          • Mosaic Research
                                                                                                                                          導入事例
                                                                                                                                          • 注目の導入事例
                                                                                                                                          パートナー
                                                                                                                                          • クラウドプロバイダ
                                                                                                                                          • 技術パートナー
                                                                                                                                          • データパートナー
                                                                                                                                          • Databricks で構築
                                                                                                                                          • コンサルティング・SI
                                                                                                                                          • C&SI パートナー
                                                                                                                                          • パートナーソリューション
                                                                                                                                          製品
                                                                                                                                          レイクハウスプラットフォーム
                                                                                                                                          • プラットフォーム
                                                                                                                                          • 共有
                                                                                                                                          • データガバナンス
                                                                                                                                          • 人工知能(AI)
                                                                                                                                          • DBRX
                                                                                                                                          • データ管理
                                                                                                                                          • データウェアハウス
                                                                                                                                          • データストリーミング
                                                                                                                                          • データエンジニアリング
                                                                                                                                          • データサイエンス
                                                                                                                                          ご利用料金
                                                                                                                                          • 料金設定の概要
                                                                                                                                          • 料金計算ツール
                                                                                                                                          オープンソース
                                                                                                                                          統合とデータ
                                                                                                                                          • マーケットプレイス
                                                                                                                                          • IDE 統合
                                                                                                                                          • パートナーコネクト
                                                                                                                                          レイクハウスプラットフォーム
                                                                                                                                          • プラットフォーム
                                                                                                                                          • 共有
                                                                                                                                          • データガバナンス
                                                                                                                                          • 人工知能(AI)
                                                                                                                                          • DBRX
                                                                                                                                          • データ管理
                                                                                                                                          • データウェアハウス
                                                                                                                                          • データストリーミング
                                                                                                                                          • データエンジニアリング
                                                                                                                                          • データサイエンス
                                                                                                                                          ご利用料金
                                                                                                                                          • 料金設定の概要
                                                                                                                                          • 料金計算ツール
                                                                                                                                          統合とデータ
                                                                                                                                          • マーケットプレイス
                                                                                                                                          • IDE 統合
                                                                                                                                          • パートナーコネクト
                                                                                                                                          ソリューション
                                                                                                                                          業種別
                                                                                                                                          • 通信
                                                                                                                                          • 金融サービス
                                                                                                                                          • 医療・ライフサイエンス
                                                                                                                                          • 製造
                                                                                                                                          • メディア・エンタメ
                                                                                                                                          • 官公庁・公共機関
                                                                                                                                          • リテール・消費財
                                                                                                                                          • 全て表示
                                                                                                                                          クロスインダストリーソリューション
                                                                                                                                          • サイバーセキュリティ
                                                                                                                                          • マーケティング
                                                                                                                                          データの移行
                                                                                                                                          プロフェッショナルサービス
                                                                                                                                          ソリューションアクセラレータ
                                                                                                                                          業種別
                                                                                                                                          • 通信
                                                                                                                                          • 金融サービス
                                                                                                                                          • 医療・ライフサイエンス
                                                                                                                                          • 製造
                                                                                                                                          • メディア・エンタメ
                                                                                                                                          • 官公庁・公共機関
                                                                                                                                          • リテール・消費財
                                                                                                                                          • 全て表示
                                                                                                                                          クロスインダストリーソリューション
                                                                                                                                          • サイバーセキュリティ
                                                                                                                                          • マーケティング
                                                                                                                                          リソース
                                                                                                                                          ドキュメント
                                                                                                                                          カスタマーサポート
                                                                                                                                          コミュニティ
                                                                                                                                          トレーニング・認定試験
                                                                                                                                          • トレーニング概要
                                                                                                                                          • トレーニング
                                                                                                                                          • 認定
                                                                                                                                          • 大学との連携
                                                                                                                                          • Databricks アカデミー
                                                                                                                                          イベント
                                                                                                                                          • DATA+AI サミット
                                                                                                                                          • Data+AI ワールドツアー
                                                                                                                                          • Data Intelligence Days
                                                                                                                                          • イベントカレンダー
                                                                                                                                          ブログ・ポッドキャスト
                                                                                                                                          • Databricks ブログ
                                                                                                                                          • Databricks Mosaic AIリサーチブログ
                                                                                                                                          • Data Brew ポッドキャスト
                                                                                                                                          • Data+AI のチャンピオンシリーズ
                                                                                                                                          トレーニング・認定試験
                                                                                                                                          • トレーニング概要
                                                                                                                                          • トレーニング
                                                                                                                                          • 認定
                                                                                                                                          • 大学との連携
                                                                                                                                          • Databricks アカデミー
                                                                                                                                          イベント
                                                                                                                                          • DATA+AI サミット
                                                                                                                                          • Data+AI ワールドツアー
                                                                                                                                          • Data Intelligence Days
                                                                                                                                          • イベントカレンダー
                                                                                                                                          ブログ・ポッドキャスト
                                                                                                                                          • Databricks ブログ
                                                                                                                                          • Databricks Mosaic AIリサーチブログ
                                                                                                                                          • Data Brew ポッドキャスト
                                                                                                                                          • Data+AI のチャンピオンシリーズ
                                                                                                                                          企業情報
                                                                                                                                          企業概要
                                                                                                                                          • Databricks について
                                                                                                                                          • 経営陣
                                                                                                                                          • Databricks Ventures
                                                                                                                                          • ご相談・お問い合わせ
                                                                                                                                          採用情報
                                                                                                                                          • 採用情報概要
                                                                                                                                          • 求人情報
                                                                                                                                          プレス・ニュース記事
                                                                                                                                          • ニュースルーム
                                                                                                                                          • 受賞歴と業界評価
                                                                                                                                          セキュリティと信頼
                                                                                                                                          企業概要
                                                                                                                                          • Databricks について
                                                                                                                                          • 経営陣
                                                                                                                                          • Databricks Ventures
                                                                                                                                          • ご相談・お問い合わせ
                                                                                                                                          採用情報
                                                                                                                                          • 採用情報概要
                                                                                                                                          • 求人情報
                                                                                                                                          プレス・ニュース記事
                                                                                                                                          • ニュースルーム
                                                                                                                                          • 受賞歴と業界評価
                                                                                                                                          databricks logo

                                                                                                                                          Databricks Inc.
                                                                                                                                          160 Spear Street, 15th Floor
                                                                                                                                          San Francisco, CA 94105
                                                                                                                                          1-866-330-0121

                                                                                                                                          採用情報

                                                                                                                                          © Databricks 2025. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                          • プライバシー通知
                                                                                                                                          • |利用規約
                                                                                                                                          • |現代奴隷法に関する声明
                                                                                                                                          • |カリフォルニア州のプライバシー権利
                                                                                                                                          • |プライバシー設定