メインコンテンツへジャンプ
ログイン
      • Databricks を知る
        • エグゼクティブ向け
          • スタートアップ向け
            • レイクハウスアーキテクチャ
              • Mosaic Research
              • 導入事例
                • 注目の導入事例
                  • 導入事例一覧へ
                  • パートナー
                    • クラウドプロバイダ
                      Databricks on AWS、Azure、GCP
                      • コンサルティング・SI
                        Databricks の構築・デプロイ、Databricks への移行のエキスパート
                        • 技術パートナー
                          既存のツールをレイクハウスに接続
                          • C&SI パートナー
                            レイクハウスの構築・デプロイメント、レイクハウスへの移行
                            • データパートナー
                              データコンシューマーのエコシステムにアクセス
                              • パートナーソリューション
                                業界・移行のニーズに応じたカスタムソリューション
                                • Databricks で構築
                                  ビジネスの創造・マーケティング・成長
                                • Databricks プラットフォーム
                                  • プラットフォームの概要
                                    データ・分析・AI のための統合プラットフォーム
                                    • データ管理
                                      データの信頼性・セキュリティ・パフォーマンス
                                      • 共有
                                        オープン、セキュア、ゼロコピーでのデータ共有
                                        • データウェアハウジング
                                          バッチ、ストリーミングデータのための ETL とオーケストレーション
                                          • ガバナンス
                                            データ・分析・AI のための統合ガバナンス
                                            • リアルタイム分析
                                              リアルタイム分析、AI、アプリケーションをシンプルに
                                              • 人工知能(AI)
                                                ML と生成 AI アプリケーションの構築とデプロイメント
                                                • データエンジニアリング
                                                  バッチ、ストリーミングデータのための ETL とオーケストレーション
                                                  • BI
                                                    実世界データのインテリジェント分析
                                                    • データサイエンス
                                                      データサイエンスの大規模な連携
                                                    • 統合とデータ
                                                      • マーケットプレイス
                                                        データ、分析、AI のためのオープンマーケットプレイス
                                                        • IDE 統合
                                                          お気に入りの IDE(統合開発環境)でレイクハウスを構築
                                                          • パートナーコネクト
                                                            Databricks エコシステムの検索と統合
                                                          • ご利用料金
                                                            • Databricks のご利用料金
                                                              料金設定、DBU、その他
                                                              • コスト計算ツール
                                                                クラウド利用でのコンピュートコストの試算
                                                              • オープンソース
                                                                • オープンソーステクノロジー
                                                                  プラットフォームを支えるイノベーションをもっと詳しく
                                                                • 業界向け Databricks
                                                                  • 通信
                                                                    • メディア・エンターテイメント
                                                                      • 金融サービス
                                                                        • 官公庁・公共機関
                                                                          • 医療・ライフサイエンス
                                                                            • リテール・消費財
                                                                              • 製造
                                                                                • 全て見る
                                                                                • クロスインダストリーソリューション
                                                                                  • サイバーセキュリティ
                                                                                    • マーケティング
                                                                                    • 移行・デプロイメント
                                                                                      • データの移行
                                                                                        • プロフェッショナルサービス
                                                                                        • ソリューションアクセラレータ
                                                                                          • ソリューションアクセラレータ一覧
                                                                                            成果を加速
                                                                                          • トレーニング・認定試験
                                                                                            • 学習の概要
                                                                                              トレーニング、認定、イベントなどのハブ
                                                                                              • トレーニング概要
                                                                                                ニーズに合わせたカリキュラムを探す
                                                                                                • Databricks アカデミー
                                                                                                  Databricks ラーニングプラットフォームにサインインする
                                                                                                  • 認定
                                                                                                    スキル・認定で差別化を図る
                                                                                                    • 大学との連携
                                                                                                      Databricks を教材として活用
                                                                                                    • イベント
                                                                                                      • DATA+AI サミット
                                                                                                        • Data+AI ワールドツアー
                                                                                                          • Data Intelligence Days
                                                                                                            • イベントカレンダー
                                                                                                            • ブログ・ポッドキャスト
                                                                                                              • Databricks ブログ
                                                                                                                最新情報、製品発表、その他の情報
                                                                                                                • Databricks Mosaic AIリサーチブログ
                                                                                                                  AI世代に関する最新リサーチ
                                                                                                                  • Data Brew ポッドキャスト
                                                                                                                    ご相談・お問い合わせ
                                                                                                                    • ポッドキャスト:Data+AI のチャンピオン
                                                                                                                      イノベーションを支えるデータリーダーのインサイト
                                                                                                                    • お役立ちリソース
                                                                                                                      • カスタマーサポート
                                                                                                                        • ドキュメント
                                                                                                                          • コミュニティ
                                                                                                                          • もっと詳しく
                                                                                                                            • リソースセンター
                                                                                                                              • デモセンター
                                                                                                                              • 企業概要
                                                                                                                                • Databricks について
                                                                                                                                  • 経営陣
                                                                                                                                    • Databricks Ventures
                                                                                                                                      • ご相談・お問い合わせ
                                                                                                                                      • 採用情報
                                                                                                                                        • 採用情報概要
                                                                                                                                          • 求人情報
                                                                                                                                          • プレス・ニュース記事
                                                                                                                                            • ニュースルーム
                                                                                                                                              • 受賞歴と業界評価
                                                                                                                                              • セキュリティと信頼
                                                                                                                                                • セキュリティと信頼
                                                                                                                                            • 是非ご検討ください!
                                                                                                                                            • デモを見る
                                                                                                                                            • ログイン
                                                                                                                                            • Databricks 無料トライアル
                                                                                                                                            1. ブログ
                                                                                                                                            2. /
                                                                                                                                              セキュリティと信頼
                                                                                                                                            3. /
                                                                                                                                              記事

                                                                                                                                            サイバーセキュリティ・レイクハウス Part 1: イベントのタイムスタンプ抽出

                                                                                                                                            現場での教訓:サイバーセキュリティレイクハウスで効果的な検索に使用される統一されたイベントのタイムスタンプを抽出する方法

                                                                                                                                            Cybersecurity Lakehouse Best Practices Part 1: Event Timestamp Extraction

                                                                                                                                            Published: November 3, 2023

                                                                                                                                            セキュリティと信頼1分未満

                                                                                                                                            デレク・キング による投稿

                                                                                                                                            この投稿を共有する

                                                                                                                                            最新の投稿を通知します

                                                                                                                                            この4回にわたるブログ・シリーズ"Lessons learned from building Cybersecurity Lakehouses,"では、サイバーセキュリティ・データ用のレイクハウスを構築する際に、組織がデータ・エンジニアリングで直面する多くの課題について説明し、それを克服するために私たちが現場で使用したソリューション、ヒント、コツ、ベスト・プラクティスを紹介する。 このシリーズでは、サイバーセキュリティのレイクハウスを作りたいとお考えの方に、課題を学び、進むべき道を提案します。

                                                                                                                                            Databricksは、サイバーログを効率的に処理し、標準化するための実用的なローコード・コンフィギュレーション・ソリューションを構築した。 当社のLakehouseプラットフォームは、データエンジニアリングを簡素化し、検索、分析、ストリーム型脅威検知への迅速な移行を促進します。 既存のSIEMやSOARシステムを補完し、不必要に複雑化することなくサイバーセキュリティ運用を強化します。

                                                                                                                                            第1部では、サイバー分析エンジンの最も基本的な要素である、統一されたイベントのタイムスタンプ抽出から始めます。 正確なタイムスタンプは、セキュリティ運用とインシデント対応において最も重要な要素の一つである。 正確さがなければ、システム利用者や悪意ある行為者が起こした一連の出来事を生成することは不可能である。 このブログでは、イベントのタイムスタンプ情報を特定し、抽出し、デルタ湖に変換し、サイバーコンテキスト内で使用できるようにするために利用可能な戦略のいくつかを見ていきます。

                                                                                                                                            なぜイベントの時間が重要なのか?

                                                                                                                                            機械が生成したログデータは、よくても厄介だ。 特定のファイル・タイプ(JSON、YAML、CSVなど)には明確に定義された構造があるが、それらのファイルを構成するデータの内容と形式は、大部分が開発者の解釈に任されている。 時間フォーマットは存在するが(ISO 8601)、それらに準拠することは限られており、主観的である。おそらく、ログフォーマットはこれらの標準よりも前に存在したものであるか、特定のフォーマットに対する地理的バイアスがタイムスタンプの書き方を左右しているのだろう。

                                                                                                                                            ログに報告される様々な時間形式にもかかわらず、私たちは、どのようなサイバーエンジンでも受信され分析されるすべてのログデータとの相互運用性を確保するために、それらを正規化する責任がある。

                                                                                                                                            タイムスタンプ間の相互運用性の重要性を強調するために、典型的なセキュリティ・オペレーション・センター(SOC)が毎日答えなければならないタスクのいくつかを考えてみよう。

                                                                                                                                            • 攻撃者が最初に侵入したのはどのコンピューターか?
                                                                                                                                            • 攻撃者はどのような順序でシステムからシステムへと移動したのか?
                                                                                                                                            • 最初の足場が築かれた後、どのような活動が、どのような順序で行われたのか?

                                                                                                                                            正確で統一されたタイムスタンプがなければ、これらの質問に効果的に答えるために発生した活動のタイムラインを作成することは不可能である。 以下では、いくつかの課題を検討し、それらにどのようにアプローチするかについてアドバイスする。

                                                                                                                                            タイムスタンプの問題

                                                                                                                                            複数列か単一列か:イベントのタイムスタンプを解析する方法を考える前に、まずそれを分離しなければならない。 これは、ログフォーマットやスパークリード操作によっては、すでに自動的に行われている場合がある。 しかし、そうでない場合もある。 例えば、カンマ区切り値(CSV)ファイルは、個々の列としてSparkによって抽出される。 もしタイムスタンプがこれらのどれかで分離されているなら、素晴らしいことだ! しかし、syslogデータを生成するマシンは、単一のカラムとしてランドされる可能性が高く、タイムスタンプは正規表現を使って分離されなければならない。

                                                                                                                                            日付と時刻のフォーマット:これらはログファイルに多くの混乱を引き起こす。 例えば、「12/06/12」と「06/12/12」。 どちらの形式も有効だが、ローカルシステムのログ形式を知らなければ、日、月、年を特定するのは難しい。

                                                                                                                                            タイムゾーンの特定:データと時刻のフォーマットと同様に、タイムスタンプのタイムゾーンを報告するシステムもあれば、ローカル時刻を想定してタイムゾーンをまったく表示しないシステムもある。 すべてのデータソースが同じタイムゾーン内で報告され、分析されるのであれば、これは問題ではないかもしれない。 しかし、組織は、今日の接続されたグローバルな世界では、複数のタイムゾーンから数十、数百のログソースを分析する必要がある。

                                                                                                                                            イベントのタイムスタンプを識別、抽出、解析するには、ストレージシステム内で時間を一貫して効果的に表現する必要があります。 以下は、syslogスタイルのApacheウェブサーバーからタイムスタンプを抽出して解析する方法の例である。

                                                                                                                                            タイムスタンプの抽出 シナリオ

                                                                                                                                            次の例では、標準的なアパッチ・ウェブ・サーバーのログ・フォーマットを見てみましょう。 データはテキストレコードとして生成され、Databricksでは単一のカラム(値)として読み込まれます。 したがって、正規表現を使ってイベントのタイムスタンプを抽出する必要がある。

                                                                                                                                            1列のデータからイベントのタイムスタンプを抽出する正規表現例:

                                                                                                                                            PySparkのregexp_extract関数を使用して、イベントのタイムスタンプを持つ文字列の部分を抽出し、一致する文字で_raw_timeカラムを作成します。

                                                                                                                                            結果のデータフレーム:

                                                                                                                                            タイムスタンプの解析

                                                                                                                                            イベントのタイムスタンプが新しいカラムとして抽出されたので、ISO 8601標準のタイムスタンプに正規化することができます。

                                                                                                                                            タイムスタンプを正規化するには、日付/時刻フォーマット修飾子を使ってフォーマットを定義し、ISOフォーマットのタイムスタンプフォーマットに変換する前にunixスタイルのタイムスタンプに変換する必要がある。

                                                                                                                                            ISO 8601フォーマットのイベントタイムスタンプへの変換例:

                                                                                                                                            PySparkの関数unix_timestampと to_timestampを使って、新しいメタデータカラム_event_timeを生成します。

                                                                                                                                            結果のデータフレーム:

                                                                                                                                            結果のカラムはTimestamp Typeにキャストされ、一貫性とデータの整合性が確保される。

                                                                                                                                            ヒントとベストプラクティス

                                                                                                                                            サイバーアナリティクスで多くのお客様を支援する過程で、インジェスト体験を大幅に向上させる貴重なアドバイスやベストプラクティスをいくつか集めました。

                                                                                                                                            明示的な時刻フォーマット:パーサーを構築する際、時刻フォーマットを明示的に設定することで、正確なタイムスタンプカラムを返すフォーマットを見つけるために多くのフォーマットをテストする必要があるジェネリックライブラリにカラムを渡す場合と比較して、パースタスクが大幅にスピードアップします。

                                                                                                                                            カラムの命名:メタデータのカラムの前にアンダースコアを付ける。 これにより、機械が生成したデータとメタデータを簡単に区別することができ、データフレームやテーブルではデフォルトで左寄せで表示されるという特典もある。

                                                                                                                                            イベント時間とインジェスト時間の比較:データ伝送に遅延が生じる。 インジェスト時間に関する新しいメタデータ・カラムを追加し、現在遅れている、あるいは欠落しているデータ・ソースを特定するための運用上の厳密性を確立する。

                                                                                                                                            デフォルト:タイムスタンプの欠落や未確定に対して戦略を立てる。 物事はうまくいかないこともあるし、うまくいかないこともある。 欠落したタイムスタンプをどのように処理するかについて、判断の判断を下す。 私たちが目にした戦術のいくつかを紹介しよう:

                                                                                                                                            • 日付をゼロ(1970年01月01日)に設定し、データを特定し修正する運用の厳密さを作り出す。
                                                                                                                                            • 日付を現在のインジェスト時刻に設定し、データを識別して修正するための運用上の厳密性を作り出す。
                                                                                                                                            • パイプラインを完全に失敗させる

                                                                                                                                            まとめ

                                                                                                                                            サイバー脅威を調査するためにイベントシーケンスとタイムラインを生成するために、整った正確なイベントタイムスタンプは、企業のセキュリティオペレーションとインシデントレスポンスにとって非常に重要です。 すべてのデータソースにおける相互運用性がなければ、効果的なセキュリティ態勢を維持することは不可能である。 正規表現の抽出やデータソースの不一致の解析など、複雑な作業がこれを支えている。 多くの顧客がサイバーセキュリティ・レイクハウスを構築するのを支援する中で、我々はこのプロセスをスピードアップする実用的なソリューションを生み出してきた。

                                                                                                                                            お問い合わせ

                                                                                                                                            このブログでは、半構造化ログファイルで遭遇する可能性のあるタイムスタンプ抽出の問題を、一つの例として取り上げた。 Databricksのサイバーソリューションが、サイバー脅威を特定し、軽減するためにどのようにあなたの組織を強化できるかについてもっと知りたい場合は、[email protected]までご連絡ください。 そして、サイバーセキュリティ・アプリケーションのための新しいレイクハウスのウェブページをご覧ください。

                                                                                                                                            最新の投稿を通知します

                                                                                                                                            関連記事

                                                                                                                                            この投稿を共有する

                                                                                                                                            Databricksの投稿を見逃さないようにしましょう

                                                                                                                                            興味のあるカテゴリを購読して、最新の投稿を受信トレイに届けましょう

                                                                                                                                            Sign up

                                                                                                                                            次は何ですか?

                                                                                                                                            AI Gateway Blog Graphic

                                                                                                                                            セキュリティと信頼

                                                                                                                                            November 13, 2024/1分未満

                                                                                                                                            未来を守る:生成型AIの時代におけるAIエージェントシステムを保護するAIゲートウェイの役割

                                                                                                                                            Blog: Announcing comprehensive Azure Private Link coverage for outbound access to your managed Azure resources

                                                                                                                                            セキュリティと信頼

                                                                                                                                            November 25, 2024/1分未満

                                                                                                                                            マネージドAzureリソースへのアウトバウンドアクセスを包括的にカバーするAzure Private Linkの提供開始を発表!

                                                                                                                                            databricks logo
                                                                                                                                            Databricks を選ぶ理由
                                                                                                                                            Databricks を選ぶ理由
                                                                                                                                            • エグゼクティブ向け
                                                                                                                                            • スタートアップ向け
                                                                                                                                            • レイクハウスアーキテクチャ
                                                                                                                                            • Mosaic Research
                                                                                                                                            導入事例
                                                                                                                                            • 全て見る
                                                                                                                                            • 注目の導入事例
                                                                                                                                            パートナー
                                                                                                                                            • クラウドプロバイダ
                                                                                                                                            • 技術パートナー
                                                                                                                                            • データパートナー
                                                                                                                                            • Databricks で構築
                                                                                                                                            • コンサルティング・SI
                                                                                                                                            • C&SI パートナー
                                                                                                                                            • パートナーソリューション
                                                                                                                                            Databricks を選ぶ理由
                                                                                                                                            • エグゼクティブ向け
                                                                                                                                            • スタートアップ向け
                                                                                                                                            • レイクハウスアーキテクチャ
                                                                                                                                            • Mosaic Research
                                                                                                                                            導入事例
                                                                                                                                            • 全て見る
                                                                                                                                            • 注目の導入事例
                                                                                                                                            パートナー
                                                                                                                                            • クラウドプロバイダ
                                                                                                                                            • 技術パートナー
                                                                                                                                            • データパートナー
                                                                                                                                            • Databricks で構築
                                                                                                                                            • コンサルティング・SI
                                                                                                                                            • C&SI パートナー
                                                                                                                                            • パートナーソリューション
                                                                                                                                            製品
                                                                                                                                            レイクハウスプラットフォーム
                                                                                                                                            • プラットフォーム
                                                                                                                                            • 共有
                                                                                                                                            • データガバナンス
                                                                                                                                            • 人工知能(AI)
                                                                                                                                            • DBRX
                                                                                                                                            • データ管理
                                                                                                                                            • データウェアハウス
                                                                                                                                            • データストリーミング
                                                                                                                                            • データエンジニアリング
                                                                                                                                            • データサイエンス
                                                                                                                                            ご利用料金
                                                                                                                                            • 料金設定の概要
                                                                                                                                            • 料金計算ツール
                                                                                                                                            オープンソース
                                                                                                                                            統合とデータ
                                                                                                                                            • マーケットプレイス
                                                                                                                                            • IDE 統合
                                                                                                                                            • パートナーコネクト
                                                                                                                                            レイクハウスプラットフォーム
                                                                                                                                            • プラットフォーム
                                                                                                                                            • 共有
                                                                                                                                            • データガバナンス
                                                                                                                                            • 人工知能(AI)
                                                                                                                                            • DBRX
                                                                                                                                            • データ管理
                                                                                                                                            • データウェアハウス
                                                                                                                                            • データストリーミング
                                                                                                                                            • データエンジニアリング
                                                                                                                                            • データサイエンス
                                                                                                                                            ご利用料金
                                                                                                                                            • 料金設定の概要
                                                                                                                                            • 料金計算ツール
                                                                                                                                            統合とデータ
                                                                                                                                            • マーケットプレイス
                                                                                                                                            • IDE 統合
                                                                                                                                            • パートナーコネクト
                                                                                                                                            ソリューション
                                                                                                                                            業種別
                                                                                                                                            • 通信
                                                                                                                                            • 金融サービス
                                                                                                                                            • 医療・ライフサイエンス
                                                                                                                                            • 製造
                                                                                                                                            • メディア・エンタメ
                                                                                                                                            • 官公庁・公共機関
                                                                                                                                            • リテール・消費財
                                                                                                                                            • 全て表示
                                                                                                                                            クロスインダストリーソリューション
                                                                                                                                            • サイバーセキュリティ
                                                                                                                                            • マーケティング
                                                                                                                                            データの移行
                                                                                                                                            プロフェッショナルサービス
                                                                                                                                            ソリューションアクセラレータ
                                                                                                                                            業種別
                                                                                                                                            • 通信
                                                                                                                                            • 金融サービス
                                                                                                                                            • 医療・ライフサイエンス
                                                                                                                                            • 製造
                                                                                                                                            • メディア・エンタメ
                                                                                                                                            • 官公庁・公共機関
                                                                                                                                            • リテール・消費財
                                                                                                                                            • 全て表示
                                                                                                                                            クロスインダストリーソリューション
                                                                                                                                            • サイバーセキュリティ
                                                                                                                                            • マーケティング
                                                                                                                                            リソース
                                                                                                                                            ドキュメント
                                                                                                                                            カスタマーサポート
                                                                                                                                            コミュニティ
                                                                                                                                            トレーニング・認定試験
                                                                                                                                            • トレーニング概要
                                                                                                                                            • トレーニング
                                                                                                                                            • 認定
                                                                                                                                            • 大学との連携
                                                                                                                                            • Databricks アカデミー
                                                                                                                                            イベント
                                                                                                                                            • DATA+AI サミット
                                                                                                                                            • Data+AI ワールドツアー
                                                                                                                                            • Data Intelligence Days
                                                                                                                                            • イベントカレンダー
                                                                                                                                            ブログ・ポッドキャスト
                                                                                                                                            • Databricks ブログ
                                                                                                                                            • Databricks Mosaic AIリサーチブログ
                                                                                                                                            • Data Brew ポッドキャスト
                                                                                                                                            • Data+AI のチャンピオンシリーズ
                                                                                                                                            トレーニング・認定試験
                                                                                                                                            • トレーニング概要
                                                                                                                                            • トレーニング
                                                                                                                                            • 認定
                                                                                                                                            • 大学との連携
                                                                                                                                            • Databricks アカデミー
                                                                                                                                            イベント
                                                                                                                                            • DATA+AI サミット
                                                                                                                                            • Data+AI ワールドツアー
                                                                                                                                            • Data Intelligence Days
                                                                                                                                            • イベントカレンダー
                                                                                                                                            ブログ・ポッドキャスト
                                                                                                                                            • Databricks ブログ
                                                                                                                                            • Databricks Mosaic AIリサーチブログ
                                                                                                                                            • Data Brew ポッドキャスト
                                                                                                                                            • Data+AI のチャンピオンシリーズ
                                                                                                                                            企業情報
                                                                                                                                            企業概要
                                                                                                                                            • Databricks について
                                                                                                                                            • 経営陣
                                                                                                                                            • Databricks Ventures
                                                                                                                                            • ご相談・お問い合わせ
                                                                                                                                            採用情報
                                                                                                                                            • 採用情報概要
                                                                                                                                            • 求人情報
                                                                                                                                            プレス・ニュース記事
                                                                                                                                            • ニュースルーム
                                                                                                                                            • 受賞歴と業界評価
                                                                                                                                            セキュリティと信頼
                                                                                                                                            企業概要
                                                                                                                                            • Databricks について
                                                                                                                                            • 経営陣
                                                                                                                                            • Databricks Ventures
                                                                                                                                            • ご相談・お問い合わせ
                                                                                                                                            採用情報
                                                                                                                                            • 採用情報概要
                                                                                                                                            • 求人情報
                                                                                                                                            プレス・ニュース記事
                                                                                                                                            • ニュースルーム
                                                                                                                                            • 受賞歴と業界評価
                                                                                                                                            databricks logo

                                                                                                                                            Databricks Inc.
                                                                                                                                            160 Spear Street, 15th Floor
                                                                                                                                            San Francisco, CA 94105
                                                                                                                                            1-866-330-0121

                                                                                                                                            採用情報

                                                                                                                                            © Databricks 2025. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                            • プライバシー通知
                                                                                                                                            • |利用規約
                                                                                                                                            • |現代奴隷法に関する声明
                                                                                                                                            • |カリフォルニア州のプライバシー権利
                                                                                                                                            • |プライバシー設定