効率的なデータ管理によるサイバー耐性の強化：M-21-31への対応
今日の環境では、積極的なサイバーセキュリティは公共機関にとって極めて重要です。 多くの組織では、セキュリティ担当者が効果的な脅威の監視やインシデント対応に必要なログ・データに容易にアクセスできる場所がなかったり、サイロ化された部門に分散していたりします。 場合によっては、データは短期間の運用目的のみのために保管される場合もあります。 これは、効果的なセキュリティ管理能力を著しく制限し、重要なサイバー情報への安全なアクセスだけでなく、効果的なログ保持の必要性を強調しています。 2021年、ホワイトハウスは OMB M-21-31覚書 を発表し、連邦政府機関はサイバーインシデントの検出、調査、修復を支援するため、情報システムのログを複数年にわたって保持することを義務付けました。 これにより、政府機関が対処しなければならない複数の課題が生じます。 第一に、M-21-31で要求される長期間に渡る大量のデータの保存は、特に比較的高コストのオンプレミスや独自の商用のストレージで行う場合、コストがかかります。 さらに、一元化さ
米空軍ハッカソン：大 規模言語モデルが米空軍の飛行試験にどのような革命をもたらすか
[配布に関する声明 A. 公開を承認；配布は無制限 412TW-PA-24004] 本書は、米国空軍、国防総省、または米国政府の公式な方針または立場を反映するものではありません。 米空軍（USAF）ハッカソンとは？ 空軍テストセンター（AFTC）データハッカソンは、AFTCのテスト専門家が1週間にわたって集まり、新しい技術を駆使して空軍の新たな問題に取り組むコンソーシアムです。 今回の第5回ハッカソンでは、大規 模言語モデル（LLM）に焦点を当て、AFTCの3つの拠点に44名の参加者が集まり、また遠隔地からの参加者もありました。 OpenAIのChatGPTのようなLLMは、急速に技術分野で注目を集めるようになり、コードの初期化や文章コンテンツの下書きにデジタルアシスタントを利用するというアイデアが主流になりつつあります。 このような利点があるにもかかわらず、空軍では、機密情報を領域外に暴露する可能性があるため、商用モデルの短期的な使用には制約があります。 機能するLLMを空軍の境界内に配備したいという意欲はありま
リンク不可能なものを繋げる：Databricks ARCによるシンプルで自動化されたスケーラブルなデータリンク
2023年4月にDatabricks ARCの リリースを発表 し、単一テーブル内のデータをシンプルに自動リンクできるようになりました。 本日、オープンでスケーラブル、かつシンプルなフレームワークを使用して、2つの異なるテーブル間のリンクを検索できる機能強化を発表しました。 英国司法省が開発し、ARCのリンクエンジンとして機能する Splink は、強力でオープンで説明可能なエンティティ解決パッケージを提供するために存在します。 2つの異なるテーブルの間に共通のフィールドがあり、そのフィールドがテーブル間の直接のリンクとなります。 同じNIナンバー（英国の国民保険番号）を持つ2つの記録は同一人物であるはずです。 しかし、このような共通のフィールドがないデータをどのようにリンクするのでしょうか？ あるいは、データの質が悪い場合ですか？ NIナンバーが同じだからといって、誰かが書き間違えたとは限りません。 このような場合、確率的データリンク、つまりファジーマッチングの領域に入ります。 下の図は、2つのテーブルをリンク
サイバーセキュリティアプリケーション向けDatabricks Lakehouseプラットフォーム
翻訳: Masahiko Kitamura 具体的なコードはIOCマッチングのソリューションアクセラレータの GitHub reo を参照ください。また、本ソリューションのPOC・トライアルについては [email protected] までご連絡ください。 金融機関、医療機関、政府機関がデータをクラウドに移行し、IoTセンサーや相互接続されたデバイスが増加しているため、サイバーセキュリティは依然として重要なデータ課題となっています。地政学的な脅威が続く中、企業は、大量のデータの処理、複雑なデータ処理タスク（人工知能や機械学習などの高度な分析機能を含む）のサポート、費用対効果の高い拡張が可能なDatabricks Lakehouseプラットフォームをサイバー業務に採用しています。Databricks Lakehouseプラットフォームは、データ、アナリティクス、AIを単一のプラットフォームで統合した、サイバーセキュリティ業界の隠れた標準基盤になっています。 企業やサイバーセキュリティベンダー