メインコンテンツへジャンプ
<
ページ 2

MapInPandasとDelta Live Tablesで一般的でないファイル形式を大規模に処理する

August 24, 2023 TJサイコタ による投稿 in 業界
翻訳:Junichi Maruyama. - Original Blog Link 様々なファイル形式 最新のデータエンジニアリングの世界では、 Databricks Lakehouse Platform は信頼性の高いストリーミングおよびバッチ data pipelines の構築プロセスを簡素化します。しかし、曖昧なファイル形式や一般的でないファイル形式を扱うことは、Lakehouseへのデータ取り込みにおいて依然として課題となっています。データを提供する上流のチームは、データの保存と送信方法を決定するため、組織によって標準が異なります。例えば、データエンジニアは、スキーマの解釈が自由なCSVや、ファイル名に拡張子がないファイル、独自のフォーマットでカスタムリーダーが必要なファイルなどを扱わなければならないことがあります。このデータをParquetで取得できないかとリクエストするだけで問題が解決することもあれば、パフォーマンスの高いパイプラインを構築するために、よりクリエイティブなアプローチが必要になることも

グレート・アンロック: 製造業における大規模言語モデル

May 30, 2023 Sam Steinyシヴ・トリサル による投稿 in 業界
Original: The Great Unlock: Large Language Models in Manufacturing 翻訳: junichi.maruyama 製造業は、自動化を進め、オペレーションを可視化し、製品・技術開発を加速させるための新しい方法を常に模索しています。そのため、企業は常に深い技術的進歩の最前線にいることが求められます。製造業で最近見られる技術的進歩のひとつに、Generative AI、特にLarge Language Models(LLM)の利用があります。Generative AIは、既存のデータから認識したパターンに基づいて新しいユニークなデータを作成することができますが、LLMはさらに一歩進んで、複雑な情報を理解・整理し、人間のような対話を生成する能力を備えています。 製造業では、接続された車両、工場、建物、作業員によって生成される大量の複雑な非構造化データ(センサー、画像、ビデオ、テレメトリ、LiDARなど)が発生しますが、その多くは、データをリアルタイムでストリー

Apache SparkによるCOMTRADEファイルを用いたグリッドエッジ分析の高速化

この ソリューションアクセラレータ とブログは、シュナイダーエレクトリック社との共同作業により作成されました。Schneider Electric Distinguished Technical Expert であり、COMTRADE-2013 規格の改訂に焦点を当てた IEEE/IEC Dual Logo Maintenance Team の幹事を務める Dan Sabin 氏に、その専門知識を提供していただいたことに感謝します。 Original : Accelerating Grid-Edge Analytics...

異常検知でエネルギーロスを未然に防ぐ

Original Blog : Anomaly Detection to Prevent Energy Loss 翻訳: junichi.maruyama 電力会社におけるエネルギー損失は、主に不正と漏電の2つに分類されます。不正(またはエネルギー窃盗)は悪意があり、メーターの改ざん、隣家への盗聴、さらには住宅地での商用負荷(栽培ハウスなど)の実行など、さまざまな可能性があります。メーターの改ざんは、従来は担当者が手作業でチェックしていましたが、最近のコンピュータビジョンの進歩により、ライダーやドローンを使ってチェックを自動化することができます。 エネルギー漏れは、通常、配管の破損など物理的な漏れを指すことが多いですが、より顕著な問題を含んでいることもあります。例えば、ヒートポンプ式の住宅では、冬に窓を開けっ放しにしておくと、異常なエネルギー消費を引き起こすことがあります。消費者をコスト上昇から守り、エネルギーを節約するためには、このような状況に対応する必要がありますが、人間優先のアプローチでは、エネルギー損失を

製造業向けレイクハウス

April 4, 2023 シヴ・トリサルSam SteinyBala Amavasai による投稿 in 業界
Original Blog : The Lakehouse for Manufacturing 翻訳: junichi.maruyama あらゆる業界が、生成的AI、データ共有、生産性、予測分析といったトピックについてどう考えるかが問われています。しかし、これは製造業において特に何を意味するのでしょうか?なぜこのようなシフトが重要なのでしょうか?なぜ、未来がそれに左右されるのでしょうか? 製造業は、次のSKU、機械、自動車、飛行機といった主要な生産単位を効率的に提供するだけでなく、より高い成長性、より安定した収益源、外部ショックに対するより高い回復力といった、より高い拡張性を示すテクノロジー対応のビジネスを提供することに常に焦点を当て、ビジネスを再構築しています。 この業界は膨大な量のデータ(小売、メディア、金融サービスなどの業界の2~4倍)を生成し、このデータは今後5年間で200~500%と推定される指数関数的な速度で成長しています。この膨大なデータの増加は、コネクテッドワーカー、ビル、車両、工場から発せられる

製造業におけるサイバーセキュリティ

February 28, 2023 Lipyeow LimBala Amavasai による投稿 in 業界
Original Blog : Cybersecurity in Manufacturing 翻訳: junichi.maruyama スマート製造への取り組みが進む中、サイバーセキュリティは製造業者のオペレーショナルリスクプロファイルの中心的存在となっています。Deloitteの 調査 によると、製造業者の48%がこのような運用リスクをスマートファクトリー構想の阻害要因として考えていることが明らかになっています。そのため、製造業におけるサイバーセキュリティ市場は成長態勢にあり、 2027年には298億5000万ドル に達すると予想されています。 Databricksがスポンサーを務めるOmdiaによる最近の製造業調査では、「アナリティクスとAIイニシアチブの導入を遅らせ、さらには阻止している課題は何か」という質問がありました。 サイバーセキュリティの脅威 は、上位2つの回答のうちの1つとして登場し、どちらの回答も44%のスコアを獲得しています(下図参照)。実際、さまざまな調査において、サイバーセキュリティは業界