Archived. This article has not been updated since the publish date above. The dynamic nature of information means that previously accurate content can become outdated or even obsolete over time. Readers are advised to exercise due diligence and cross-check any information found in this blog post before making decisions or adopting any practices based on said information.
翻訳: Masahiko Kitamura
オリジナル記事：Helping Enterprises Responsibly Deploy AI
人工知能（AI）の将来性は否定できないが、その大きな可能性には大きな責任も伴います。世界中の企業や組織は、AIの利用を加速させる一方で、技術が適切に使用されない場合に生じる可能性のある問題から保護しなければならないという、相反する圧力を感じていることでしょう。
企業がAIの道筋を描くとき、小規模なオープンソースモデルに頼るにせよ、ハイパースケールのプロプライエタリな大規模言語モデル（LLM）に頼るにせよ、この変革的テクノロジーを責任を持って利用する方法を考える手助けをしたいと考えています。当社のプラットフォームにより、顧客は企業全体のデータとAI開発を注意深く管理することができ、リスク管理を改善し、バイアスの事例を減らし、その他の問題点に対処することができます。
AI技術は急速に進化を続けていますが、私たちは、未来は信頼と透明性、つまり永続的な関係の礎に基礎を置く必要があると考えています。これが、当社が "Databricks' Commitment to Responsible AI "を策定した理由です。この声明には、当社のテクノロジーのビジョンと、AIを採用する企業を当社がどのようにサポートし続けることができるかを導く基本原則が含まれています。
私たちは、AIの責任ある利用をめぐる健全な議論に貢献したいと考えています。AIの方向性を形作る重要なテーマであり、顧客やパートナー、規制当局、政策立案者、その他の主要な利害関係者と対話を続けることを楽しみにしている。
Databricksの責任あるAIへのコミットメント
人工知能（AI）は何十年も前から開発され、利用されてきましたが、最近、その普及率と影響力を大幅に高める新たな段階に入りました。例えば、医学研究の加速化、パーソナライズされた顧客体験の提供、気候変動との闘いなど、多くのブレークスルーがあります。
より多くの企業、政府機関、その他の組織がAI技術を採用するにつれ、その責任ある使用にまつわる問題に取り組まなければなりません。企業は、AIがもたらす莫大な利益と、それが慎重に開発・使用されない場合に生じ得る重大なリスクや否定的な結果を考慮する必要があります。
AIが進化するスピードは、企業が直面する最大の課題のひとつを突きつけています。それは、テクノロジーが次に進む先についての明確なロードマップがないまま、AIのテスト・監視ツールをどのように開発・強化するかということになります。非倫理的な使用、偏見、幻覚、その他の体系的な問題をめぐる懸念は、AIの進歩や技術を適用する新しい方法が開発されるにつれて、より顕著になります。
重要なのは、企業がこうした問題を予測し、軽減するのに役立つ業界のベストプラクティスが数多く登場していることです。その代表例がNISTのAIリ スクマネジメントフレームワークであり、AIリスクを評価し、対処するための有用なガイドラインを提供しています。
AIの普及がもたらす疑問に対する解決策は、幅広い業界関係者から生まれるでしょう。業界が透明性と信頼に重点を置き続ければ、危険を最小限に抑えつつ、AIから最高のものを引き出すために協力し合うことができると確信しています。
当社の理念と企業が責任を持ってAIを導入するための支援方法
データおよびAIの企業として、世界の最も困難な問題を解決するために、企業の顧客がデータから価値を引き出せるように支援することに重点を置いている私たちは、技術を開発する企業と、それを使用する企業や組織の両方が、AIの導入方法について責任を持って行動する必要があると確信しています。
当社のプラットフォームは、企業がデータをより適切に管理、保護、理解できるように設計されています。責任を持ってAIを活用する取り組みにおいて、あらゆる規模の企業や組織は、データセットとAIモデルを監視しテストするために、当社のデータガバナンスと機械学習ツールを利用しています。当社のプラットフォームが提供するセキュアな環境において、これらのツールは顧客のデータをより説明しやすくし、偏り、不正確さ、不完全さ、その他の有害なエラーから解放するだけでなく、より大きな説明責任を可能にし、コンプライアンス基準を満たすのに役立ちます。
AIの未来はまだ描かれていませんが、企業が責任を持ってAIを活用できるよう、私たちのテクノロジーを活用するというコミットメントは変わりません。
- グッドガバナンスは不可欠だ。
- エンタープライズ・ソフトウェア企業として、私たちはお客様が私たちのテクノロジーをどのように利用されるかに深く配慮しています。そのため当社のプラットフォームは、Unity Catalog（当社プラットフォーム上のガバナンスフレームワーク）、Lakehouse Monitoring、およびMLflow（機械学習のライフサイクル管理を支援するツール）内の多数の機能を含む、データおよびAIガバナンスツール群を提供し、企業がクラス最高のフレームワークを構築できるようにしています。Databricksプラットフォームは、品質管理、データリネージ追跡、モニタリング、セキュリティ、プライバシー、監査などのツールを含む、適切なガバナンスを確保するためのさまざまな機能をお客様に提供します。
- 顧客向けのAIアプリケーションには特有の問題がある可能性があります。そのため、当社のプラットフォームは、適切な場合には人間が介入すること、AIの使用に関する透明性を確保すること、合理的であることなど、企業が責任あるガイドラインに従って対処できるよう支援します。 efforts to avoid the output of undesirable content.
- 当社は、お客様がビジネス目標を達成するために責任を持ってAIを導入しようとする際に、潜在的な問題を予測し対処するために必要なツールとフレームワークを提供します。これは(Acceptable Use Policy)、当社のプラットフォームが詐欺的、欺瞞的、または違法な行為に使用されないようにするためのものです。
- また、AIアドバイ ザリー・コミッティを設立し、技術の進歩に伴い、AIについてどのように考え、どのように活用するかについて情報を提供している。
- AIはすべての企業にとって民主化されるべきである。
- 私たちは、AIを単純化し、その開発と利用を拡大することで、すべての企業や組織がAIにアクセスできるようになると信じています。AIは一部の大企業に支配されるべきではありません。これを念頭に置いて、Databricksプラットフォームは、ハイパースケールの大規模言語モデル（LLM）に加えて、カスタムモデルの構築とデプロイにも使用できます。
- AIを民主化することで、コストを低く抑えることができ、可能な限り幅広い企業、非営利団体、その他の組織が、この急速に変化する破壊的なテクノロジーを採用できるようになると、私たちは信じています。
- 企業はデータとモデルを所有し、管理すべきである。
- AIテクノロジーを利用する企業は、自社独自のデータとモデルの品質を管理できるようにすべきです。私たちは、顧客がデータを移動したり第三者と共有したりすることなく、データを安全に活用できるモデルを構築し、展開する機会を持つべきだと考えています。
- 当社のLakehouseアーキテクチャは、データアクセス制御をはじめ、UnityカタログやMLflow内の監視・ガバナンス機能など、多くのセキュリティ対策に加え、広範なセキュリティ保護をお客様に提供しています（詳細はセキュリティ＆トラストセンター( Security & Trust Center )をご覧ください）。私たちは、企業がデータから価値ある洞察を得る一方で、完全に制御し、グローバルなプライバシーおよびデータ保護規制に完全に準拠することを望んでいます。
- AIは学習させたデータと同程度の性能しかなく、幻覚や偏見、その他のエラーを減らすために、企業はデータを管理・監視できるようにすべきである。
- MLflowのプラットフォームは、包括性、公平性、正確性、透明性、説明責任に対応するための機能を備えています。例えば、MLflow内のツールにより、お客様はモデルの実行、監視、調整を行うことができます。その他のツールは、データとモデルの両方について再現性と系統追跡を可能にします。また、レイクハウスのモデルテスト機能では、問題のあるコンテンツをフィルタリングすることができます。さらに、ユニティカタログやレイクハウスの他の部分にも多数のツールがあり、お客様がリスクをより適切に管理し、バイアスの発生を抑え、その他の潜在的な問題に対処するのに役立ちます。
- 2023年6月、DatabricksはLakehouse Monitoringを発表しました。これはデータおよびモデルのモニタリングスイートで、本番稼動中のモデルを監視し、モデルやフィーチャドリフトなどのデータ品質やバイアスの問題をチェックすることができます。この機能により、企業はインテリジェントな自動化を適用してアラートを生成し、必要に応じて再トレーニングパイプラインをトリガーし、監査目的のレポートを生成することができます 。Lakehouse MonitoringはUnity Catalogに完全に統合されており、MLflowの関連機能とシームレスに連携するように設計されています。
- また、データおよびユースケースの多様性は、お客様がリーチしたい人々を反映するために不可欠であると考えています。Databricks Marketplaceで様々なデータソースを利用でき、Lakehouse Data Clean Roomsで安全なデータ共有機能を利用することで、お客様のデータを多様化することができます。
- 企業は、AIの環境コストと財務コストを、ビジネス目標をサポートするために必要なものに限定すべきである。
- ハイパースケールAI LLMは、我々が全面的にサポートする特定のユースケースに適しているが、膨大なコンピュート・リソースとストレージ・リソースを必要とする。その財政的、環境的コストは、適用される一連の状況に照らして、それらが提供する価値と比較衡量されるべきである。
- 私たちは、より小規模なモデルがAIの民主化に貢献し、そのような大規模なモデルが必要ない場合に、ハイパースケールモデルを作成し使用することに関連する有害な環境への影響や多大なコストを大幅に削減できると信じています。
- MLflowは、モデルが使用するコンピュート・リソースを監視する機能を企業に提供し、顧客がカーボンフットプリントへの影響を評価できるようにします。
- AIが責任を持って使用されるようにするためには、思慮深い規制が必要である。
- AIは多くの価値あるユースケースを可能 にする。しかし、AI技術は誤用や誤用される可能性がある。だからこそ、AIの責任ある開発と利用をめぐるベストプラクティスに沿った思慮深い規制が必要だと考える。
- いかなる規制も、技術革新と民主化を阻害したり、技術の進歩を促進する活気あるコラボレーションの精神を消滅させたりしないことが重要である。従って、規制とその義務付けは、根本的な技術的方法論に焦点を当てるのではなく、特定のユースケースと結果に合わせて、比例的で賢明なものであるべきだと考えます。オープンソースAIが不当に制限されないことが特に重要である。なぜなら、イノベーションを促進し、幅広いビジネスや用途において生産性を向上させるAIのコストを低く抑えるという点で、オープンソースAIの利用可能性によってもたらされる実質的なメリットがあるからである。
Databricksは、企業がAIについて考え、活用するのを支援する上で重要な役割を果たしています。我々は、AIの巨大な可能性を責任を持って活用することを可能にするガバナンス、ベストプラクティス、規制構造をめぐる対話を続けることを楽しみにしています。