エンタープライズAIのリーダーシップがアーキテクチャ、監視、信頼にかかっている理由
によって キャサリン・ブラウン による投稿
AIは、組織全体のワークフロー、顧客とのインタラクション、企業の意思決定に組み込まれつつあります。取締役会やCEOにとって、その変化は議論の焦点を変えるものです。中心的な問題はもはや「どれだけ速くAIを導入できるか？」ではなく、「大規模に信頼できるほど、うまく統制できるか？」ということになっています。
DatabricksでエンタープライズAI戦略とガバナンスを担当するシニアテクノロジーリーダーのレクシー・カッサンは、データ、AI、ビジネス変革が交差する分野で豊富な経験を有しています。彼女の視点は理論ではなく、大規模な組織内で生成システムやエージェントシステムを展開するという現実に根ざしています。そこでは、トーン、バイアス、モニタリング、説明責任は抽象的なリスクではなく、運用上の要件なのです。
以下では、高品質なエンタープライズAIを拡張する上で、なぜガバナンスが前提条件となるのかについて対談します。
キャサリン・ブラウン：経営層が「AIガバナンスを実践している」と言うとき、AIを本番運用にスケールさせるために実際に何が必要かについて、何を誤解しているのでしょうか？
レ クシー・カッサン: 私が耳にする組織のAIガバナンスへの取り組みは、たいてい「ポリシーがあり、文書化されたプロセスが山ほどあり、物事を承認する人がいる。誰かがチェック項目を確認し、ステップを踏みさえすれば、それで万事うまくいく」というものです。
現実的に、ガバナンスは開発フェーズと、その後の大規模な継続的成功の両方において、AI の取り組みに影響を与えます。強力なガバナンスは、信頼され、設計どおりに組織を継続的に改善、サポートする本番運用 AI につながります。スケールは承認を得ることから生まれるものではありません。スケールは AI を継続的に運用することから生まれます。そしてそれには、データおよび AI チームだけではなく、はるかに多くのものが必要です。
大規模な信頼を実現するためのAIガバナンスには、コミュニケーション、コラボレーション、イテレーションの3つが必要です。ポリシーとリスク軽減、そしてビジネス上の意図と用途の両方の観点から、期待されることを伝えます。対象分野の専門家、技術専門家、リスクおよびセキュリティの専門家、その他の関係者が連携して懸念事項に対処し、信頼できるシステムを実現します。そして、時間をかけて反復することで、AIシステムの関連性、信頼性、価値を維持します。
キャサリン: AI ガバナンスがコンプライアンス上の懸念事項ではなくなり、ビジネスの運用要件となるのはどの時点ですか？
Lexy: ここ数年、特に AI の影響で、ガバナンスは変革を遂げてきました。5年前や10年前、ガバナンスはしばしばリスク軽減 やコンプライアンスとして捉えられていました。イノベーションの対極にあるものとさえ見なされていました。今ではガバナンスは、その真の姿、つまり価値実現を可能にするものとして、よりよく理解されています。ガバナンスがなければ、データや AI を信頼することは非常に困難です。そして信頼がなければ、誰もそれを使おうとしません。そして、利用こそが価値の源泉なのです。
誰もあなたのAIを信頼しなければ、リソースを投資しても価値は得られません。
そのため、AI の普及と大規模な運用を目指すなら、ガバナンスはすでに必須条件です。
キャサリン: 組織が運用モデルを再設計するのではなく、既存のレビュープロセスに AI を追加した場合はどうなりますか？
レクシー: こういうところで、過剰なプロセスが投入されがちになります。
「AI のためのよりスムーズな道を特定する代わりに、プライバシー評価、アーキテクチャレビュー、セキュリティレビューなど、既存のプロセスをそのまま利用して、さらに多くのことを追加しよう」と組織は言っています。結局、月に一度しか会合しないような、連携の取れていない委員会が乱立することになります。AI のためにガバナンスを再設計するのではなく、遅々として進まないガバナンスの上に AI を重ねているのです。
何かの承認に 6 か月かかり、AI の能力が毎月進化しているとしたら、構造的に後れを取ることになります。ガバナンスによってオーバーヘッドが増えるべきではありません。毎回ゼロから始めるのではなく、リスクをあらかじ め軽減するアーキテクチャやフレームワークといった、確立された道筋を見出すことを意味すべきです。
キャサリン：AIシステムが知見の生成から、エージェントやアプリケーションを通じたアクションの実行へと移行する際、ガバナンスに関する議論はどのように変化するのでしょうか？
レクシー：プロセスにAIを導入することを考えるとき、私たちは管理から信頼への連続体について考えることがよくあります。一方の端には、完全に人間が管理するプロセスがあります。もう一方の端には、完全に自動化されたエージェントシステムがあります。AIが知見の生成からアクションの実行に移ると、その重要度合いが変わります。より多くの管理を手放すことになるため、システムに対してより多くの信頼を置けるようになる必要があります。
エージェント的なアクションに必要な信頼レベルを達成するには、AIガバナンスに対する責任の大部分を、ビジネス分野の専門家へと移行させる必要があります。テスト、フィードバック、ガードレールの開発、評価に段階的なアプローチを用いることで、エージェントがほとんどの場合において適切に行動するという信頼を醸成できます。そしてこの責任は本番運用でも続きます。そこでは、追加のフィードバックとプロンプトエンジニアリングによってシステムが軌道に乗り続けます。
これでコンテンツとアクションの側面はカバーできましたが、技術的な部分についてはどうでしょうか？そこで重要になるのが、システムのfallback、レジリエンス、ロバスト性です。AI がダウンした場合はどうなりますか？モデルを再トレーニングしたり、チェーンをリファクタリングしたりする必要がある場合はどうなりますか？ガバナンスには、そうしたシナリオに備えることも含まれます。どこにフォールバックしますか？フォールバック先は誰になりますか？それはどのようなものでしょうか？
キャサリン：AIが本番運用に至る前に、経営陣は説明責任、エスカレーションパス、人間による監視について、どのような決定を事前に下しておく必要があるのでしょうか？
Lexy: 組織がエージェントをほとんど従業員のように考えているケースがますます増えています。エージェントを従業員管理ツールに導入し、マネージャーに割り当て、そのパフォーマンスについてマネージャーに責任を負わせる企業も出てきています。人間の従業員にするのと同様に、エージェントにもパフォーマンス管理の考え方を適用できます。パフォーマンスはどの程度か？許容範囲内に収まっているか？設計された通りの成果を生み出しているか？エージェントは指示を変更したりモデルを再トレーニングしたりして修正できるため、ある意味では簡単ですが、異なる点もあります。エージェントには人間と同じような動機がありません。
リーダーシップチームは、パフォーマンスをどのように測定するか、信頼性をどのように評価するか、そして何かを本番運用から外すには何が必要か、またそれを復元するには何が必要かを決定する必要があります。信頼を失うのは簡単ですが、再び築くのははるかに困難です。それは人間の場合と まったく同じように、AI にも当てはまります。
キャサリン: 皆さんが協業している組織の中で、迅速に動きながらも、責任を持って AI をスケールさせているチームには、どのような特徴的なパターンがありますか？
Lexy: 1つ目は、先ほどお話しした「整備された道」です。毎回テクノロジーについて議論する必要がない段階に至ります。彼らは、トレーサビリティ、監査可能性、説明責任が組み込まれた、管理されたアーキテクチャを持っています。ガードレールがすでに設置されているため、彼らは迅速に行動できます。
2つ目は、ビジネス分野の専門家をプロセスに直接参加させることです。スケーリングが最も速く進むのは、ビジネスチームとテクノロジーチームの間で要件を伝え合うための絶え間ないやり取りがない場合です。ビジネスは、理想形とは何か、何が有効で何が無効か、というコンテキストをもたらします。
ガバナンスはもはや技術者だけの問題ではありません。ビジネスとテクノロジーが共通のフレームワークの下で一体となることが重要なのです。
キャサリン：経営層は、社内と顧客の両方に対して、信頼を設計、測定、管理されるべきものとして、どのように考えるべきでしょうか？
Lexy: 信頼を直接測定することは困難です。そのため、私たちは代理指標に頼ります。私たちは、データ品質、システムのパフォーマンス、導入率、利用状況を測定します。私たちは、システムが定義された範囲内にとどまり 、許容可能な結果を生み出しているかどうかを評価します。
それは個人のパフォーマンス管理のように考えることができます。他の人がどれだけそれに依存しているか。その生産性はどれくらいか。どれだけ一貫して期待に応えているか。
信頼そのものを定量化することは難しいかもしれませんが、パフォーマンス、一貫性、標準への準拠は測定可能です。時間の経過とともに、それらの測定値が信頼の構築に役立ちます。
キャサリン: AI ガバナンスを確実に定着させるために、今後 90 日以内に行うべき具体的な変更点を 1 つ挙げるよう CEO から求められた場合、何を推奨しますか？
レキシー: 使用状況や、なぜ使われていないのかを理解するためのフィードバックが必ずあるようにしてください。人々が AI とやり取りしている場合、その結果の品質についてフィードバックを提供しているでしょうか？結果を評価しているでしょうか？また、誰も直接 AI とやり取りしていない場合でも、そうした結果を評価する必要があります。そのレビューサイクルには誰が参加していますか？
フィードバックが有意義な変化を生み出すときに、ガバナンスは定着します。自分のインプットがシステムを改善し、自分自身の働き方も改善されるとわかると、人々は積極的に関わるようになります。
そして最終的には、必ず価値を優先してください。構築する価値のあるものを構築しましょう。そして、次の価値あるAIイニシアチブに「イエス」と言いやすくなるように、そのための整備された道を確立す るのです。
AI ガバナンスは、多くの場合、管理メカニズムとして捉えられています。実際には、運用上の規律なのです。AI のスケーリングとは、審査委員会やドキュメントを増やすことではありません。アーキテクチャにガードレールを組み込み、フィードバック ループを確立し、長期にわたって信頼できるシステムを設計することです。
リーダーシップチームにとって重要な点は単純です。AIを遅らせるのはガバナンスではなく、設計の不十分なガバナンスが原因なのです。ガバナンスがプラットフォームに組み込まれ、ビジネスオーナーシップと連携し、測定とフィードバックを通じて強化されると、それがAIを責任を持って、そして持続的に拡張することを可能にする条件になります。
主要企業がガバナンス、セキュリティ、信頼を自社のAI運用モデルに直接組み込んでいる様子については、DatabricksのレポートDelivering a Secure Data and AI Strategyをご覧ください。
(このブログ記事はAI翻訳ツールを使用して翻訳されています) 原文記事
ブログを購読して、最新の投稿を受信トレイにお届けします。