メインコンテンツへジャンプ
ログイン
      • Databricks を知る
        • エグゼクティブ向け
          • スタートアップ向け
            • レイクハウスアーキテクチャ
              • Mosaic Research
              • 導入事例
                • 注目の導入事例
                • パートナー
                  • クラウドプロバイダ
                    Databricks on AWS、Azure、GCP
                    • コンサルティング・SI
                      Databricks の構築・デプロイ、Databricks への移行のエキスパート
                      • 技術パートナー
                        既存のツールをレイクハウスに接続
                        • C&SI パートナー
                          レイクハウスの構築・デプロイメント、レイクハウスへの移行
                          • データパートナー
                            データコンシューマーのエコシステムにアクセス
                            • パートナーソリューション
                              業界・移行のニーズに応じたカスタムソリューション
                              • Databricks で構築
                                ビジネスの創造・マーケティング・成長
                              • Databricks プラットフォーム
                                • プラットフォームの概要
                                  データ・分析・AI のための統合プラットフォーム
                                  • データ管理
                                    データの信頼性・セキュリティ・パフォーマンス
                                    • 共有
                                      オープン、セキュア、ゼロコピーでのデータ共有
                                      • データウェアハウジング
                                        バッチ、ストリーミングデータのための ETL とオーケストレーション
                                        • ガバナンス
                                          データ・分析・AI のための統合ガバナンス
                                          • データエンジニアリング
                                            バッチ、ストリーミングデータのための ETL とオーケストレーション
                                            • 人工知能(AI)
                                              ML と生成 AI アプリケーションの構築とデプロイメント
                                              • データサイエンス
                                                データサイエンスの大規模な連携
                                                • BI
                                                  実世界データのインテリジェント分析
                                                  • アプリケーション開発
                                                    安全なデータと AI アプリを迅速に構築
                                                    • データベース
                                                      データアプリとAIエージェントのための Postgres
                                                    • 統合とデータ
                                                      • マーケットプレイス
                                                        データ、分析、AI のためのオープンマーケットプレイス
                                                        • IDE 統合
                                                          お気に入りの IDE(統合開発環境)でレイクハウスを構築
                                                          • パートナーコネクト
                                                            Databricks エコシステムの検索と統合
                                                          • ご利用料金
                                                            • Databricks のご利用料金
                                                              料金設定、DBU、その他
                                                              • コスト計算ツール
                                                                クラウド利用でのコンピュートコストの試算
                                                              • オープンソース
                                                                • オープンソーステクノロジー
                                                                  プラットフォームを支えるイノベーションをもっと詳しく
                                                                • 業界向け Databricks
                                                                  • 通信
                                                                    • メディア・エンターテイメント
                                                                      • 金融サービス
                                                                        • 官公庁・公共機関
                                                                          • 医療・ライフサイエンス
                                                                            • リテール・消費財
                                                                              • 製造
                                                                                • 全て見る
                                                                                • クロスインダストリーソリューション
                                                                                  • サイバーセキュリティ
                                                                                    • マーケティング
                                                                                    • 移行・デプロイメント
                                                                                      • データの移行
                                                                                        • プロフェッショナルサービス
                                                                                        • ソリューションアクセラレータ
                                                                                          • ソリューションアクセラレータ一覧
                                                                                            成果を加速
                                                                                          • トレーニング・認定試験
                                                                                            • トレーニング概要
                                                                                              ニーズに合わせたカリキュラムを探す
                                                                                              • Databricks アカデミー
                                                                                                Databricks ラーニングプラットフォームにサインインする
                                                                                                • 認定
                                                                                                  スキル・認定で差別化を図る
                                                                                                  • 無料版
                                                                                                    専門家向けデータとAIツールを無料で学べます
                                                                                                    • 大学との連携
                                                                                                      Databricks を教材として活用
                                                                                                    • イベント
                                                                                                      • DATA+AI サミット
                                                                                                        • Data+AI ワールドツアー
                                                                                                          • Data Intelligence Days
                                                                                                            • イベントカレンダー
                                                                                                            • ブログ・ポッドキャスト
                                                                                                              • Databricks ブログ
                                                                                                                最新情報、製品発表、その他の情報
                                                                                                                • Databricks Mosaic AIリサーチブログ
                                                                                                                  AI世代に関する最新リサーチ
                                                                                                                  • Data Brew ポッドキャスト
                                                                                                                    ご相談・お問い合わせ
                                                                                                                    • ポッドキャスト:Data+AI のチャンピオン
                                                                                                                      イノベーションを支えるデータリーダーのインサイト
                                                                                                                    • お役立ちリソース
                                                                                                                      • カスタマーサポート
                                                                                                                        • ドキュメント
                                                                                                                          • コミュニティ
                                                                                                                          • もっと詳しく
                                                                                                                            • リソースセンター
                                                                                                                              • デモセンター
                                                                                                                                • アーキテクチャ センター
                                                                                                                                • 企業概要
                                                                                                                                  • Databricks について
                                                                                                                                    • 経営陣
                                                                                                                                      • Databricks Ventures
                                                                                                                                        • ご相談・お問い合わせ
                                                                                                                                        • 採用情報
                                                                                                                                          • 採用情報概要
                                                                                                                                            • 求人情報
                                                                                                                                            • プレス・ニュース記事
                                                                                                                                              • ニュースルーム
                                                                                                                                                • 受賞歴と業界評価
                                                                                                                                                • セキュリティと信頼
                                                                                                                                                  • セキュリティと信頼
                                                                                                                                              • 是非ご検討ください!
                                                                                                                                              • デモを見る
                                                                                                                                              • ログイン
                                                                                                                                              • Databricks 無料トライアル
                                                                                                                                              1. ブログ
                                                                                                                                              2. /
                                                                                                                                                製造
                                                                                                                                              3. /
                                                                                                                                                記事

                                                                                                                                              Apache SparkによるCOMTRADEファイルを用いたグリッドエッジ分析の高速化

                                                                                                                                              Data Intelligence Platforms

                                                                                                                                              Published: May 16, 2023

                                                                                                                                              製造1分未満

                                                                                                                                              Dan Sabin、Colton Peltier、Eric Golinko、Nichole Lu による投稿

                                                                                                                                              この投稿を共有する

                                                                                                                                              最新の投稿を通知します

                                                                                                                                              このソリューションアクセラレータとブログは、シュナイダーエレクトリック社との共同作業により作成されました。Schneider Electric Distinguished Technical Expert であり、COMTRADE-2013 規格の改訂に焦点を当てた IEEE/IEC Dual Logo Maintenance Team の幹事を務める Dan Sabin 氏に、その専門知識を提供していただいたことに感謝します。

                                                                                                                                              Original : Accelerating Grid-Edge Analytics using COMTRADE Files with Apache Spark

                                                                                                                                              翻訳: junichi.maruyama 

                                                                                                                                               

                                                                                                                                              安定した電力供給は、現代の私たちの生活に欠かせないものです。しかし、電力網は常に進化しており、設立から100年以上経った現在では、発電事業者が確立された規格を遵守することが不可欠となっています。規格を遵守することで、送電線、配電線、変電所、変圧器など、送電網を構成する部品が協調して働き、予測可能で高品質な電力を消費者に届けることができます。

                                                                                                                                              電力供給が規格に適合するよう、変電所には保護リレー、デジタル故障記録装置、位相測定器(PMU)、電力品質モニターなどのインテリジェント電子機器(IED)が配置され、グリッドを流れる電力の特性を詳細に監視しています。これらのIEDは、電圧、電流、電力、周波数、位相角、実効値、高調波などの電気量を迅速にサンプリングし、導出します。電圧降下や故障などの異常事態を検知すると、IEDは異常事態の発生直前と発生中の測定値を業界標準のCOMTRADEファイルとしてバンドルします。このファイルは、異常事態を診断し修正するために不可欠な要素です。

                                                                                                                                              COMTRADEファイルフォーマットは、1991年にIEEE Std C37.111でInstitute of Electrical and Electronics Engineersによって「Common Format for Transient Data Exchange for Power Systems」として初めて規定されました。IEEEは、進化する技術要件に直面してフォーマットの関連性を維持するために、1999年と2013年に改訂を承認しました。2013年版は国際電気標準会議と共同で完成し、IEC 60255-24:2013として同時発行されました。

                                                                                                                                              現在、様々な専門ソフトウェアパッケージがCOMTRADEフォーマットのファイル解析をサポートしていますが、これらのソフトウェアパッケージは通常、単一プロセスでデータを処理しています。電子・電気工学の分野で機械学習の利用を検討する実務者が増え、データ量が増加し続ける中、Apache Sparkのような分散コンピューティングシステムでCOMTRADEデータをサポートする必要性が高まっています。

                                                                                                                                              COMTRADEファイルについて

                                                                                                                                              電気工学分野の多くの組織が、膨大な量の COMTRADE データを蓄積している。一つのイベントを記録するために、COMTRADEフォーマットは、様々な読み取り値の解釈に影響を与えるより高いレベルの詳細と読み取り値自体に、それぞれ記録される必須の構成(.cfg)ファイルと必須のデータ(.dat)ファイルの作成を指定する。特定の電気的障害を取り巻くファイルのコレクションには、追加のファイル(ヘッダーファイルや情報ファイルなど)が含まれることがあるが、これらはオプションであり、常に捕捉されるわけではない。

                                                                                                                                              これらのファイルの構造が可変であるため、設定ファイルを含めることが必要である。さらに、COMTRADE ファイルに格納された複数の測定値を、何秒、何分、何時間にもわたって読み取る必要がある場合もある。このように、COMTRADEファイルの読み取りは、汎用的なデータ・分析プラットフォームでは困難な課題となっています。Pythonのオープンソースであるcomtradeライブラリのような専門的なライブラリは、個々のデータセットの読み取りを支援するために登場しましたが、大量のこれらのファイルを読み取ることは依然として困難です。

                                                                                                                                              Apache SparkでCOMTRADEファイルを利用する

                                                                                                                                              ありがたいことに、Apache Sparkのような最新の分析プラットフォームは、非常に拡張性に富んでいます。ユーザー定義の関数を通じて、様々なファイルからのデータを専用のライブラリを使って読み込み、統一されたデータ出力のセットを返すことができます。複雑なデータ構造をサポートすることで、上位の構成要素と下位の読み取り要素の関係を尊重しながら、アナリストがデータ構造の異なる部分の要素に簡単にアクセスできるような方法で、このデータを返すことができます。

                                                                                                                                              このデータは、COMTRADE のネイティブデータ構造により近い形で保持することができるが、多くのアナリストは、構成の詳細を 1 つのテーブルに、低レベルの読み取りを別のテーブルに分離するなど、さらに単純化することで、情報自体の整合性に影響を与えることなく機械学習演習で使用するデータの取得を単純化できることに気づくだろう。このパターンを採用することで、組織はこれらのデータファイルをより多くのアナリストやデータサイエンティストが利用できるようになり、新しい斬新な分析アプローチを模索することができるようになります。

                                                                                                                                              実践してみる

                                                                                                                                              このパターンを実証するために、私たちはCOMTRADE形式のデータの使用に焦点を当てたソリューションアクセラレータを開発しました。COMTRADE形式のファイルを大量に集め、Databricksプラットフォームで動作するApache Sparkを使用して、これらのファイルにアクセスし、大規模に処理する方法を実証しています。これらのファイルから抽出されたデータは、アクセスしやすい小さなテーブルに保存され、これらのテーブルのデータは、データサイエンティストと組み合わせて働く電気エンジニアによって最近普及している畳み込みニューラルネットワークのアプローチを使用して、簡単な故障検出モデルを訓練するために利用されます。発電、電力供給、電力品質、電力利用を専門とする組織が、このアクセラレータで実証されたパターンを取り入れ、COMTRADE情報資産をより活用できるようにすることが期待されます。

                                                                                                                                              Download now

                                                                                                                                              最新の投稿を通知します

                                                                                                                                              関連記事

                                                                                                                                              この投稿を共有する

                                                                                                                                              Databricksの投稿を見逃さないようにしましょう

                                                                                                                                              興味のあるカテゴリを購読して、最新の投稿を受信トレイに届けましょう

                                                                                                                                              Sign up

                                                                                                                                              次は何ですか?

                                                                                                                                              Industries header

                                                                                                                                              製造

                                                                                                                                              November 8, 2023/1分未満

                                                                                                                                              Databricks Lakehouseプラットフォームのブルームバーグ・データを活用したサプライチェーンの混乱とESGリスク管理

                                                                                                                                              How automated workflows are revolutionizing the manufacturing industry

                                                                                                                                              製造

                                                                                                                                              November 26, 2024/1分未満

                                                                                                                                              製造業を変革する自動化されたワークフローの革命とは?

                                                                                                                                              databricks logo
                                                                                                                                              Databricks を選ぶ理由
                                                                                                                                              Databricks を選ぶ理由
                                                                                                                                              • エグゼクティブ向け
                                                                                                                                              • スタートアップ向け
                                                                                                                                              • レイクハウスアーキテクチャ
                                                                                                                                              • Mosaic Research
                                                                                                                                              導入事例
                                                                                                                                              • 注目の導入事例
                                                                                                                                              パートナー
                                                                                                                                              • クラウドプロバイダ
                                                                                                                                              • 技術パートナー
                                                                                                                                              • データパートナー
                                                                                                                                              • Databricks で構築
                                                                                                                                              • コンサルティング・SI
                                                                                                                                              • C&SI パートナー
                                                                                                                                              • パートナーソリューション
                                                                                                                                              Databricks を選ぶ理由
                                                                                                                                              • エグゼクティブ向け
                                                                                                                                              • スタートアップ向け
                                                                                                                                              • レイクハウスアーキテクチャ
                                                                                                                                              • Mosaic Research
                                                                                                                                              導入事例
                                                                                                                                              • 注目の導入事例
                                                                                                                                              パートナー
                                                                                                                                              • クラウドプロバイダ
                                                                                                                                              • 技術パートナー
                                                                                                                                              • データパートナー
                                                                                                                                              • Databricks で構築
                                                                                                                                              • コンサルティング・SI
                                                                                                                                              • C&SI パートナー
                                                                                                                                              • パートナーソリューション
                                                                                                                                              製品
                                                                                                                                              レイクハウスプラットフォーム
                                                                                                                                              • プラットフォーム
                                                                                                                                              • 共有
                                                                                                                                              • データガバナンス
                                                                                                                                              • 人工知能(AI)
                                                                                                                                              • DBRX
                                                                                                                                              • データベース
                                                                                                                                              • データ管理
                                                                                                                                              • データウェアハウス
                                                                                                                                              • データエンジニアリング
                                                                                                                                              • データサイエンス
                                                                                                                                              • アプリケーション開発
                                                                                                                                              ご利用料金
                                                                                                                                              • 料金設定の概要
                                                                                                                                              • 料金計算ツール
                                                                                                                                              オープンソース
                                                                                                                                              統合とデータ
                                                                                                                                              • マーケットプレイス
                                                                                                                                              • IDE 統合
                                                                                                                                              • パートナーコネクト
                                                                                                                                              レイクハウスプラットフォーム
                                                                                                                                              • プラットフォーム
                                                                                                                                              • 共有
                                                                                                                                              • データガバナンス
                                                                                                                                              • 人工知能(AI)
                                                                                                                                              • DBRX
                                                                                                                                              • データベース
                                                                                                                                              • データ管理
                                                                                                                                              • データウェアハウス
                                                                                                                                              • データエンジニアリング
                                                                                                                                              • データサイエンス
                                                                                                                                              • アプリケーション開発
                                                                                                                                              ご利用料金
                                                                                                                                              • 料金設定の概要
                                                                                                                                              • 料金計算ツール
                                                                                                                                              統合とデータ
                                                                                                                                              • マーケットプレイス
                                                                                                                                              • IDE 統合
                                                                                                                                              • パートナーコネクト
                                                                                                                                              ソリューション
                                                                                                                                              業種別
                                                                                                                                              • 通信
                                                                                                                                              • 金融サービス
                                                                                                                                              • 医療・ライフサイエンス
                                                                                                                                              • 製造
                                                                                                                                              • メディア・エンタメ
                                                                                                                                              • 官公庁・公共機関
                                                                                                                                              • リテール・消費財
                                                                                                                                              • 全て表示
                                                                                                                                              クロスインダストリーソリューション
                                                                                                                                              • サイバーセキュリティ
                                                                                                                                              • マーケティング
                                                                                                                                              データの移行
                                                                                                                                              プロフェッショナルサービス
                                                                                                                                              ソリューションアクセラレータ
                                                                                                                                              業種別
                                                                                                                                              • 通信
                                                                                                                                              • 金融サービス
                                                                                                                                              • 医療・ライフサイエンス
                                                                                                                                              • 製造
                                                                                                                                              • メディア・エンタメ
                                                                                                                                              • 官公庁・公共機関
                                                                                                                                              • リテール・消費財
                                                                                                                                              • 全て表示
                                                                                                                                              クロスインダストリーソリューション
                                                                                                                                              • サイバーセキュリティ
                                                                                                                                              • マーケティング
                                                                                                                                              リソース
                                                                                                                                              ドキュメント
                                                                                                                                              カスタマーサポート
                                                                                                                                              コミュニティ
                                                                                                                                              トレーニング・認定試験
                                                                                                                                              • トレーニング
                                                                                                                                              • 認定
                                                                                                                                              • 無料版
                                                                                                                                              • 大学との連携
                                                                                                                                              • Databricks アカデミー
                                                                                                                                              イベント
                                                                                                                                              • DATA+AI サミット
                                                                                                                                              • Data+AI ワールドツアー
                                                                                                                                              • Data Intelligence Days
                                                                                                                                              • イベントカレンダー
                                                                                                                                              ブログ・ポッドキャスト
                                                                                                                                              • Databricks ブログ
                                                                                                                                              • Databricks Mosaic AIリサーチブログ
                                                                                                                                              • Data Brew ポッドキャスト
                                                                                                                                              • Data+AI のチャンピオンシリーズ
                                                                                                                                              トレーニング・認定試験
                                                                                                                                              • トレーニング
                                                                                                                                              • 認定
                                                                                                                                              • 無料版
                                                                                                                                              • 大学との連携
                                                                                                                                              • Databricks アカデミー
                                                                                                                                              イベント
                                                                                                                                              • DATA+AI サミット
                                                                                                                                              • Data+AI ワールドツアー
                                                                                                                                              • Data Intelligence Days
                                                                                                                                              • イベントカレンダー
                                                                                                                                              ブログ・ポッドキャスト
                                                                                                                                              • Databricks ブログ
                                                                                                                                              • Databricks Mosaic AIリサーチブログ
                                                                                                                                              • Data Brew ポッドキャスト
                                                                                                                                              • Data+AI のチャンピオンシリーズ
                                                                                                                                              企業情報
                                                                                                                                              企業概要
                                                                                                                                              • Databricks について
                                                                                                                                              • 経営陣
                                                                                                                                              • Databricks Ventures
                                                                                                                                              • ご相談・お問い合わせ
                                                                                                                                              採用情報
                                                                                                                                              • 採用情報概要
                                                                                                                                              • 求人情報
                                                                                                                                              プレス・ニュース記事
                                                                                                                                              • ニュースルーム
                                                                                                                                              • 受賞歴と業界評価
                                                                                                                                              セキュリティと信頼
                                                                                                                                              企業概要
                                                                                                                                              • Databricks について
                                                                                                                                              • 経営陣
                                                                                                                                              • Databricks Ventures
                                                                                                                                              • ご相談・お問い合わせ
                                                                                                                                              採用情報
                                                                                                                                              • 採用情報概要
                                                                                                                                              • 求人情報
                                                                                                                                              プレス・ニュース記事
                                                                                                                                              • ニュースルーム
                                                                                                                                              • 受賞歴と業界評価
                                                                                                                                              databricks logo

                                                                                                                                              Databricks Inc.
                                                                                                                                              160 Spear Street, 15th Floor
                                                                                                                                              San Francisco, CA 94105
                                                                                                                                              1-866-330-0121

                                                                                                                                              採用情報

                                                                                                                                              © Databricks 2025. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                              • プライバシー通知
                                                                                                                                              • |利用規約
                                                                                                                                              • |現代奴隷法に関する声明
                                                                                                                                              • |カリフォルニア州のプライバシー権利
                                                                                                                                              • |プライバシー設定