Databricksデータインテリジェンスプラットフォームで実現する責任あるAI

人工知能（AI）の変革的な可能性は明白です。生産性の向上、コスト削減、そしてあらゆる業界での意思決定の改善に至るまで、AIはバリューチェーンを革新しています。特に2022年後半からの生成AIの登場、特にChatGPTのリリース以来、この技術に対する市場の関心と熱意はさらに高まっています。McKinsey and Co.によると、生成AIの経済的潜在能力、つまりAIによって可能になるユースケースや労働者の生産性は、世界経済に17兆ドルから26兆ドルの価値をもたらす可能性があるとされています。

この結果として、ますます多くの企業が、競争優位性を築くためにAIをビジネス戦略の中心に据えようとしています。ゴールドマン・サックス経済研究所は、2025年までにAIへの投資が米国で1,000億ドル、世界全体で2,000億ドルに達する可能性があると予測しています。

しかし、企業がAIを導入する際には、AIの目標に対する信頼を確立するために、品質、セキュリティ、およびガバナンスをカバーする責任あるAIの実践を優先することが重要です。ガートナーによると、AIの信頼性、リスク、セキュリティ管理は、2024年のビジネスおよび技術の意思決定において最も重要な戦略トレンドとして挙げられています。2026年までに、AIの透明性、信頼性、セキュリティを運用化する組織のAIモデルは、採用率、ビジネス目標の達成度、およびユーザーの受け入れとビジネス目標の実現において50%の向上を達成すると予測されています。

さらに、世界的にAI規制が進む中で、企業はこれらの規制への準拠を責任あるAI戦略の一部として考える必要があります。以前のブログで、米国や他国でのAI政策の急増について議論し、世界中で浮上している共通の規制テーマに焦点を当てました。本ブログでは、Databricksデータインテリジェンスプラットフォームが、責任あるAIに関する新たな義務を顧客がどのように満たすのかについて詳しく掘り下げていきます。

責任あるAIにおける主要な課題：信頼、セキュリティ、ガバナンス

モデル品質への可視性の欠如：AIモデルの結果に対する可視性の不足は、一般的な課題となっています。企業は、AIモデルがユーザーに対して安全で公平な結果を一貫して提供する信頼性に対する信頼の欠如に直面しています。これらのモデルがどのように機能し、その決定の潜在的な影響は何かについて明確な洞察がなければ、組織はAI駆動のソリューションに対する信頼を築き維持するのが難しくなります。

不十分なセキュリティ対策： AIモデルとのやり取りは、新たな方法でデータとやり取りする悪意のあるアクターによって、組織の攻撃面を拡大します。生成型AIは特に問題であり、セキュリティ対策が不足していると、チャットボットのようなアプリケーションが機密データや独自の知的財産を明らかにする（そして場合によっては潜在的に変更する）ことを許してしまう可能性があります。この脆弱性は、組織をデータ侵害や知的財産盗難といった重大なリスクにさらし、悪意のある活動から保護するための堅固なセキュリティ対策が必要となります。

シロ型ガバナンス：組織は頻繁に別々のデータとAIプラットフォームを展開し、ガバナンスのシロ型化が生じ、AIモデルの可視性と説明可能性が限定されます。この断片化されたアプローチは、AIモデルの不十分なカタログ化、監視、および監査を引き起こし、その適切な使用を保証する能力を妨げます。さらに、データの系譜の欠如は、AIモデルにどのデータが使用されているかの理解を複雑にし、効果的な監督を妨げます。AIモデルが透明で、追跡可能で、責任を持つことを確保するためには、統一されたガバナンスフレームワークが不可欠であり、より良い管理とコンプライアンスを促進します。

Databricksデータインテリジェンスプラットフォームを使用した責任あるAIの構築

責任あるAIの実践は、AIシステムが高品質で、安全で、適切に管理されていることを確保するために不可欠です。AI開発の最前線には品質の考慮事項があり、AIシステムがバイアスを避け、その適用性と適切性が意図した使用ケースで検証されることを確保する必要があります。セキュリティ対策を実施してAIシステムをサイバー脅威やデータ侵害から保護する必要があります。アカウンタビリティ、透明性、関連法規との適合性を促進するためのガバナンスフレームワークを設立する必要があります。

Databricksは、AIの進歩は、AIの開発と使用における責任ある実践を通じてインテリジェントアプリケーションへの信頼を築くことに依存していると考えています。これには、すべての組織がデータとAIモデルの所有権と制御権を持ち、AI開発とデプロイメント全体での包括的な監視、プライバシーコントロール、ガバナンスが必要です。このミッションを達成するために、Databricksデータインテリジェンスプラットフォームは、データ、モデルトレーニング、管理、監視、およびAIライフサイクル全体のガバナンスを統一することができます。この統一されたアプローチは、組織がモデルの品質を提供し、より安全なアプリケーションを提供し、規制基準の遵守を維持するという責任あるAIの目標を達成することを可能にします。

「Databricksは、データセキュリティやガバナンスを犠牲にすることなく、効率的に最先端の生成型AIソリューションを開発することを可能にしてくれます。」—Greg Rokita, Vice President of Technology, Edmunds

“Azure Databricksは、KPMGがデータエステートを近代化し、データ変換、分析、AIワークロードを支えるプラットフォームを提供し、当社全体の新たなAI要件を満たしながら、複雑さとコストを削減することを可能にしました。”—Jodi Morton, Chief Data Officer, KPMG

データとAIのためのエンドツーエンド品質監視

責任あるAIの開発と展開は、AIシステムのライフサイクル全体にわたる包括的な品質監視フレームワークの確立にかかっています。このフレームワークは、AIモデルが開発から展開後まで、その意図した使用ケースに合致し信頼できるものであることを確保するために不可欠です。これを達成するためには、モデル品質の3つの重要な側面、すなわち透明性、効果性、信頼性を対処する必要があります。

• 透明性 は、AIシステムへの信頼を築き、規制要件を満たすための基本です。これには、モデルを説明可能で解釈可能にすることが含まれ、ステークホルダーがどのように決定が下されるかを理解することが可能になります。
• 効果性は、モデルが正確で適切な出力を生成する能力に焦点を当てています。開発中は、データ品質、モデルのパフォーマンス指標、潜在的なバイアスを追跡し、早期に問題を特定し、軽減することが重要です。
• 信頼性 は、時間を経ても一貫したパフォーマンスを保証し、モデルの劣化を防ぎ、ビジネスの中断を避けるために、継続的な監視が必要です。監視には、予測の変化、データ分布のシフト、パフォーマンスの劣化などの潜在的な問題を追跡し、迅速な介入を可能にすることが含まれます。再デプロイメントにより、モデルの更新や交換後も、ビジネスが高品質の出力を維持できるようにします。監視と再デプロイメントは、モデルの品質と信頼性を維持するために不可欠です。

AIの透明性：包括的なドキュメンテーションによる自信を持ったデプロイメント

自動化されたデータのリネージュ：データの起源と変換を追跡することは、コンプライアンスチェックとAIライフサイクル管理の訓練データ毒性の検出に不可欠です。Delta Live Tablesは、Delta Lake上に構築され、効率的かつ信頼性の高いデータ処理と変換を提供します。Delta Live Tablesの主要な特徴はデータの系譜追跡で、これによりパイプライン全体でデータの起源と変換を追跡することができます。この可視性は、データバージョニングと異常検出を可能にし、問題を特定し軽減することで訓練データの毒性を防ぐのに役立ちます。Delta Live TablesはMLflow とUnity Catalogとシームレスに統合し、初期のソースから訓練されたモデルまでのデータの系譜を追跡することができます。この統合は再現可能なデータパイプラインをサポートし、開発、ステージング、本番環境での一貫した変換を確保することが、モデルの精度と信頼性を維持するために重要です。さらに、Delta Live Tablesからの系譜情報は、規制要件と責任あるAIの実践への遵守を確保するための自動化されたコンプライアンスチェックを容易にします。

特徴エンジニアリング: 特徴は、モデルの訓練に使用されるカーティングされた入力データです。 Databricksの特徴ストアは、特徴のカーティングを可能にする中央リポジトリを提供し、再現可能な特徴計算を可能にし、モデルの精度を向上させます。この一元化により、一貫した特徴管理と特徴の系譜追跡が保証され、訓練時に使用された同じ特徴値が推論時にも使用されます。特徴ストアは、Unity Catalogなどの他のDatabricksコンポーネントとネイティブに統合され、データソースから特徴エンジニアリング、モデル作成、デプロイメントまでのエンドツーエンドの系譜追跡を可能にします。チームが本番環境に移行する際、バッチ特徴計算とリアルタイム推論のデータソース間の一貫性を維持することは難しい場合があります。Unity Catalogは、特徴ストアからの特徴を使用してモデルを訓練する際に使用されたテーブルと関数を自動的に追跡し表示します。

実験の追跡：Databricks管理のMLflowは、AI実験に関連するすべての関連メタデータ、ソースコード、データ、モデル、結果を記録する包括的な実験追跡機能を提供します。この追跡は、モデルのパフォーマンスについての貴重な洞察を提供し、開発中の改善と反復を導きます。MLflowは、実験追跡、ラン管理、ノートブックリビジョンキャプチャなどの機能をサポートし、チームがMLモデルのトレーニングランを効果的に測定し分析することを可能にします。データセット、モデル、ハイパーパラメータ、評価指標（標準およびカスタム定義）などのモデルトレーニングアーティファクトのログを可能にし、公正性とバイアスチェックを含む。MLflowトラッキングコンポーネントは、MLモデルのトレーニングに関連するソースプロパティ、パラメータ、メトリクス、タグ、アーティファクトをログに記録し、実験の包括的なビューを提供します。Databricks Autologgingは、Databricksプラットフォーム上のMLトレーニングセッションの自動、ノーコード実験追跡を可能にすることでこの機能を拡張します。データ系譜追跡のためのDelta Live Tablesと組み合わせて、MLflowはバージョニングと異常検出を提供し、チームがトレーニングデータの毒性を戦い、規制および責任あるAI義務の遵守を確保することを可能にします。

AIによるドキュメンテーション: Databricksは、Unity Catalog内のデータとMLモデルのための AIによるドキュメンテーションを提供します。この機能は、大規模言語モデル（LLM）を利用してテーブル、MLモデル、Unity Catalog内の列のドキュメンテーションを自動的に作成することで、ドキュメンテーションプロセスを効率化します。また、あなたのデータに関する自然言語の問い合わせに対するテキストレスポンスを提供し、モデルで使用されるデータのドキュメンテーションを簡素化します。

トレーサブルな複合AIシステム: 生成的AIのパワーとユーザーフレンドリーなインターフェースを、伝統的な機械学習や離散関数の説明可能で再現可能な結果と組み合わせることで、全体的なAIアーキテクチャがより透明で信頼性の高いものになります。ツールは、APIの呼び出しや既存のクエリの実行のようなコード化された方法で他のシステムやアプリケーションとLLMが相互作用する手段です。 Databricks Tools Catalog は、組織がDatabricks Unity Catalogを使用してツールを管理、共有、登録し、複合AIシステムで使用できるようにします。さらに、MLflowに登録された生成的AIモデル、ツール対応のLLMを含む、 簡単に追跡 して完全な説明可能性を実現できます。取得、ツールの使用と応答、参照は、すべてのログ記録されたリクエスト/コールで利用可能です。 

AIの効果性：AIモデルの評価と選択を自動化し、適切な使用を可能にします

モデル評価: モデル評価はMLライフサイクルの重要な要素であり、適用可能なAI規制義務を満たすために非常に関連性があります。Databricks Managed MLflowは、モデルのパフォーマンスの背後にある理由についての洞察を提供し、改善と反復を導くことで、モデル開発において重要な役割を果たします。MLflowは、古典的なMLアルゴリズムとLLMのための多くの業界標準のネイティブ評価指標を提供し、カスタム評価指標の使用も容易にします。Databricks Managed MLflowは、モデルとデータセットの評価を支援し、ソースプロパティ、パラメータ、メトリクス、タグ、およびMLモデルのトレーニングに関連するアーティファクトをログに記録するMLflow Trackingを含む、モデルの評価とキャリブレーションを支援するための多くの機能を提供します。系統追跡と併用すると、Managed MLflowはバージョニングと異常検出も提供します。Databricks Autologgingは、MLflow Trackingの自動ログに自動実験追跡を提供するノーコードソリューションであり、DatabricksでのMLトレーニングセッションに適用されます。MLflow Trackingはモデルファイルも追跡するため、ユーザーはそれらを簡単にMLflow Model Registryにログに記録し、Model Servingを使用してリアルタイムスコアリングのためにデプロイすることができます。

LLM評価とガードレール：MLflowに加えて、Databricks Data + AI Platformは、Databricksの一部としてLLM評価のためのAIプレイグラウンドを提供します。これにより、LLMのレスポンスをテストし比較することができ、あなたの環境とユースケースに最適な基礎モデルを決定するのに役立ちます。これらの基礎モデルは、私たちのAIガードレールを使用してフィルターで強化することができ、有害または安全でないコンテンツとの交流を防ぐことができます。カスタムカテゴリでフィルタリングするには、Databricks Feature Servingを使用してカスタム関数を定義します（AWS | Azure）でカスタムの前処理と後処理を行います。例えば、企業が機密と考えるデータをモデルの入力と出力からフィルタリングするために、任意のビジネスルールや関数をラップし、Feature Servingを使用してエンドポイントとしてデプロイします。さらに、Llama GuardやLlama Guard 2のようなセーフガードモデルは、Databricks Marketplaceで利用可能です。これらのオープンソースツールは無料で使用でき、不適切なレスポンスに対する判断とガードレールの両方として機能するLLMを作成するのに役立ちます。Databricks Mosaic Inferenceプラットフォームは、ユーザーが事前に訓練された生成AIモデルを再利用し、新たなタスクに適応させることを可能にし、転移学習を利用して少量の訓練データで正確で信頼性の高いモデルを構築することができます。これにより、モデルの一般化と精度が向上します。Mosaic Inferenceは、さまざまなタイプとサイズのモデルを提供します。幻覚や同様のモデルリスクを制限するために、顧客は自分の環境で自分のデータを制御する小型でパフォーマンスの高いモデルを構築することができます。データの出所に対する完全な制御は、事前訓練中に学習した誤った知識に基づくモデルの幻覚のリスクを減らします。また、モデルが訓練される言語を代表的で関連性のあるサンプルに制約することで、幻覚の可能性も減らします。モデルの選択、訓練、または微調整を行う際には、顧客は組み込みのMosaic Eval Gauntletベンチマークスイートを利用することもできます。これは、モデルを業界標準の言語評価タスクの配列を通じて実行し、複数の次元でのモデルのパフォーマンスをベンチマークします。

特徴評価：モデルの「特徴」はその品質、精度、信頼性にとって極めて重要です。これらはリスクに直接影響を与え、したがってAI規制義務を満たすために最も重要です。Databricksの特徴ストアは、再現可能な特徴計算を保証し、MLデプロイメントにおけるオンライン/オフラインのスキューを対処するために不可欠です。このスキューは、トレーニングデータと推論データソース間の不一致から生じ、モデルの精度に大きな影響を与える可能性があります。Databricksの特徴ストアは、特徴の系譜を追跡し、特徴計算とMLモデルの管理を行うチーム間の協力を促進することで、この問題を軽減します。

AIの信頼性：シームレスな監視と反復を確保

モデルの監視：製品化されたモデルの監視は、継続的な品質と信頼性を確保するために不可欠です。 Databricks Data Quality Monitoringを使用すると、モデルのパフォーマンスを継続的に評価し、問題のあるコンテンツを検出するためにアプリケーションの出力をスキャンすることができます。これには、分類モデルのような敏感なAIアプリケーションでの公正性とバイアスの監視が含まれます。プラットフォームは、古いデータパイプラインによるモデルのドリフトや予期しないモデルの挙動などの問題を迅速に特定するのに役立ちます。主な機能には、カスタマイズ可能なダッシュボード、リアルタイムのアラート、柔軟な観察時間枠、監査ログ、カスタムメトリクスの定義オプションが含まれます。さらに、強化されたデータセキュリティのためのPII検出を提供します。Lakehouse Monitoringは、Unity Catalogからの系統追跡と連携して、脅威対応を加速し、問題解決を迅速化し、徹底的な原因分析を可能にします。Databricks Inference Tablesは、Unity CatalogのDeltaテーブルとして受信リクエストとモデルの応答を自動的にキャプチャしてログに記録します。このデータは、デプロイ後のMLモデルの監視、デバッグ、最適化にとって非常に価値があります。

さらに、Mosaic Trainingプラットフォーム、Mosaic LLM Foundryのトレーニングツール群、そしてDatabricks RAG Studioツールは、特定の問題を軽減するためにモデルを評価し、調整するために使用できます。LLM Foundryに含まれるPatronus AI EnterprisePIIの自動AI評価ツールは、モデルのセキュリティをリリース後に確保するための一部として、顧客のビジネスに関する機密情報の存在を検出するのに役立ちます。毒性スクリーニングとスコアリングもRAG Studioに組み込まれています。Mosaic Eval Gauntletベンチマーキングツールは、モデルのパフォーマンスを継続的に評価するために使用できます。

「Lakehouse Monitoringはゲームチェンジャーとなりました。それは私たちがプラットフォーム内で直接データ品質の問題を解決するのを助けます。それはシステムの鼓動のようなものです。データサイエンティストたちは、やっと飛び跳ねることなくデータ品質を理解できると興奮しています。」—Yannis Katsanos, Director of Data Science, Ecolab

モデルの提供と反復：Databricks Model Serving、サーバーレスソリューションであり、AIモデルをデプロイ、管理、クエリするための統一されたインターフェースを提供し、デフォルトで安全なREST APIエンドポイントを提供します。モデル提供UIは、外部でホストされているエンドポイントを含むすべてのモデルエンドポイントの集中管理を可能にします。このプラットフォームはライブA/Bテストをサポートし、モデルのパフォーマンスを比較し、より効果的なモデルにシームレスに切り替えることができます。自動バージョン追跡は、モデルを裏で反復処理しながらエンドポイントが安定したままであることを保証します。

さらに、Databricks AI Gatewayは、ゲートウェイルート（各ルートは特定のベンダーからのモデルを表す）を通じて、モデルAPIのガバナンス、資格情報管理、レート制限を一元化します。これには、SaaS LLMも含まれます。AI Gatewayは、ビジネス運用を中断することなく、スムーズなモデルの更新とテストを可能にする安定したエンドポイントインターフェースを提供します。

データとAIの統一されたセキュリティ

AIの台頭に伴い、セキュリティに対する懸念も増加しています。実際、データ専門家の80%がAIがデータセキュリティの課題を増加させると考えています。これを認識し、セキュリティはDatabricksデータインテリジェンスプラットフォームの基本的な要素となっています。私たちは、暗号化、ネットワークコントロール、データガバナンス、監査など、あなたのデータとAI操作を保護するための堅牢なセキュリティコントロールを提供しています。これらの保護は、データとモデルの操作からモデルの提供まで、AIライフサイクル全体にわたって拡張されます。

AIセキュリティの脅威の進化する風景をお客様がナビゲートするのを助けるために、DatabricksはエンドツーエンドのAIシステムの12のコンポーネントそれぞれに関連する55の潜在的なリスクの包括的なリストを作成しました。これらの特定されたリスクに対応して、私たちはDatabricks AIセキュリティフレームワーク（DASF）の一部として詳細で実行可能な推奨事項を提供し、それらをDatabricksデータインテリジェンスプラットフォームを使用して軽減します。これらの堅牢なセキュリティ対策とリスク軽減戦略を活用することで、最高レベルのセキュリティを維持しながら、AIシステムを自信を持って構築、デプロイ、管理することができます。

AIに関連するリスクの多くは、表面上、サイバーセキュリティとは関係ないように見えるかもしれません（例えば、公平性、透明性、信頼性など）。しかし、何十年もの間、サイバーセキュリティチームが管理してきた標準的なコントロール（例えば、認証、アクセス制御、ログ記録、監視など）は、AIの多くの非サイバーセキュリティリスクを軽減するために展開することができます。したがって、サイバーセキュリティチームは、組織全体でAIの安全で責任ある使用を確保するために、大きな役割を果たすことができます。

"良いアクセラレーターとは何かを考えるとき、それはすべてがスムーズに、効率的になり、イノベーションを促進することです。DASFは、セキュリティチームがパートナーにAIを最大限に活用するのを支援するための実証済みで効果的なツールです。さらに、NISTのような確立されたリスクフレームワークと一致しているため、単にスピードを上げるだけでなく、セキュリティ作業における堅固な基盤を築いています。" —Riyaz Poonawala, Vice President of Information Security, Navy Federal Credit Union

データ・AI のガバナンスを一元化

ガバナンスは、データと機械学習（ML）モデルの倫理的かつ効果的な使用を確保するための、責任あるAIの基礎的な柱として機能します：

• アクセス管理：データとMLモデルへのアクセスを管理する厳格なポリシーを実装し、透明性を促進し、不正な使用を防ぎます。
• プライバシー保護: 個人のデータ権利を保護する措置を実施し、プライバシー規制の遵守を支援し、AIシステムへの信頼を構築します。
• 自動系譜と監査：データとモデルの出所を追跡するメカニズムを確立し、トレーサビリティ、説明責任、AI規制基準への準拠を可能にします。

Databricks Unity Catalog は、Databricks データインテリジェンスプラットフォームに組み込まれた、データと AI のための業界唯一の統一されたオープンなガバナンスソリューションです。Unity Catalog を使用することで、企業はあらゆる形式の構造化データや非構造化データ、機械学習モデル、ノートブック、ダッシュボード、ファイルを、クラウドやプラットフォームを問わずにシームレスに管理できます。

「Databricks Unity Catalogは現在、PepsiCo Data Foundation、つまり全世界で6ペタバイト以上のデータを一元化する我々の中央集権的なグローバルシステムの一部となっています。これにより、1,500人以上のアクティブユーザーのオンボーディングプロセスが効率化され、30以上のデジタルプロダクトチームが全世界で統一されたデータ発見を可能にし、ビジネスインテリジェンスと人工知能アプリケーションの両方をサポートします」 ー Bhaskar Palit, Senior Director, Data and Analytics, PepsiCo

データとAIのアクセス管理

Unity Catalogは、MLモデル、AIツール、フィーチャーストア、ノートブック、ファイル、テーブルを含むAIリソースを組織が一元化し、管理するのに役立ちます。この統一的なアプローチにより、データサイエンティスト、アナリスト、エンジニアは、異なるプラットフォームで信頼できるデータとAI資産を安全に発見、アクセス、共同作業することが可能になります。単一の権限モデルにより、データチームはすべてのデータとAIリソースに対する統一インターフェースを使用してアクセスポリシーを管理することができます。これにより、アクセス管理が簡素化され、データ侵害のリスクが減少し、複数のアクセスツールと発見プロセスの管理に関連する運用上のオーバーヘッドが最小限に抑えられます。さらに、包括的な監査可能性により、組織は誰が何をし、誰が何にアクセスできるかを完全に把握することができ、セキュリティとコンプライアンスをさらに強化します。

さらに、Unity CatalogはオープンAPIと標準インターフェースを提供し、チームがカタログ内で管理されている任意のリソースに、選択した計算エンジンやツールからアクセスすることを可能にします。この柔軟性はベンダーロックインを緩和し、チーム間のシームレスなコラボレーションを促進します。

プライバシーのファインチューニング

自動分類と細かいアクセス制御：Unity Catalogを使用すると、タグを使用してデータとAI資産を分類し、個人を特定可能な情報（PII）を自動的に分類することができます。これにより、機密データが誤ってMLモデルの開発や運用に使用されることを防ぎます。属性ベースのアクセス制御（ABAC）は、データ管理者がユーザー定義のタグ、ワークスペースの詳細、位置、身元、時間などのさまざまな基準を使用してデータとAI資産にポリシーを設定することを可能にします。機密データのアクセスを許可された人員に制限するか、プロジェクトのニーズに基づいて動的にアクセスを調整するか、ABACはセキュリティ対策が詳細な精度で適用されることを保証します。さらに、行フィルタリングと列マスキングの機能により、チームはデータのプライバシーを保護しながら、適切な細かいアクセス制御をデータに適用することができます。

Databricks Clean Roomsによるプライバシーセーフなコラボレーション：現在のAIアプリケーションの構築は、組織やチーム間の協力的な努力を必要とし、プライバシーとデータセキュリティへのコミットメントを強調しています。Databricks Clean Roomsは、機械学習、SQLクエリ、Python、Rなど、さまざまなデータとAIタスクに対するプライベートなコラボレーションのための安全な環境を提供します。異なるクラウドとデータプラットフォーム間でシームレスなコラボレーションを促進するように設計されたDatabricks Clean Roomsは、データプライバシーやセキュリティを妥協することなく、複数のパーティー間のコラボレーションを確保し、組織がプライバシーセーフな方法でスケーラブルなAIアプリケーションを構築することを可能にします。

自動化された系統と監査

データとモデルの起源を監視するフレームワークを確立することで、トレーサビリティ、説明責任、責任あるAI基準への準拠が確保されます。Unity Catalogは、AIライフサイクル全体にわたるエンドツーエンドの系統を提供し、コンプライアンスチームがMLモデルから特徴量、基礎となるトレーニングデータ、さらにはカラムレベルまでの系統を追跡できるようにします。この機能は、組織のコンプライアンスと監査の準備を支援し、監査報告のためのデータフロートレイルの文書化プロセスを合理化し、運用上のオーバーヘッドを削減します。さらに、Unity Catalogは堅牢な監査機能を提供し、AIチームがAIアプリケーションの開発、データの使用、MLモデルと基礎データへのアクセスに関するレポートを生成することを可能にします。

次のステップ

• 私たちのウェブサイトを訪れて、Databricks Data + AI PlatformでのAIについて詳しく学びましょう
• Unity Catalogについて詳しく知る、データとAIの統一ガバナンス
• データとAIサミット2024のセッションを視聴して、Databricks Data + AI Platformがどのように責任あるAIの構築を支援できるか詳しく学びましょう
• 2021 年ガートナーの「データサイエンス・機械学習プラットフォーム部門のマジック・クアドラント」
• 詳細なリソースをご覧ください AIとMLのセキュリティについてそして Databricksの責任あるAIへのアプローチ
• 無料の データとAIガバナンスに関するeBookをDatabricks Data + AI Platformでダウンロードしてください