レイクハウスにおける LLM：官公庁・公共機関の飛躍的進歩

ここ数か月で、LLMがコンピュータやデータとのやり取りにおいて人々が抱く期待を根本的に変えつつあるため、公共機関による大規模言語モデル（LLM）への関心が急上昇しています。Databricksの視点から見ると、私たちが接するほぼすべての公共機関の顧客や見込み客は、LLMを自らのミッションに組み込むことを使命だと感じています。私たちは、DatabricksのDollyのようなLLMとは何か、何に使えるのか、そしてDatabricksレイクハウスがLLM関連のアプリケーションをどのようにサポートするのか、といった質問を繰り返し受けます。この記事では、公共機関に固有のニーズ、機会、制約という文脈で、これらの質問について触れていきます。また、ChatGPTのようにサードパーティとのデータ共有を必要とするテクノロジーを採用することに対し、独自のLLMを作成、所有、キュレーションすることのメリットにも焦点を当てます。

LLMとは何か？

今日のLLMは、2017年頃のTransformerモデルアーキテクチャの台頭に始まる、自然言語処理における一連のイノベーションの最新版です。これらのトランスフォーマーベースのモデルは、感情の識別、人、場所、物などの固有名詞の抽出、ある言語から別の言語へのドキュメントの翻訳といったタスクを達成するのに十分なほど人間の言語を理解するという、驚異的な能力を長らく有してきました。また、プロンプトから興味深いテキストを生成することもできますが、その品質と精度はさまざまです。最近では、研究者や開発者によって、非常に大規模で多様なテキストソースで"事前学習"された、大規模言語モデルは、人間からのさまざまな指示に従って有用な情報を生成するように"ファインチューニング"できることが発見されました。

以前は、言語関連のタスクごとに個別のモデルをトレーニングすることがベストプラクティスでした。モデルのトレーニングプロセスには、キュレートされたデータ、コンピュート（通常は1つ以上のGPU）、高度なデータサイエンスおよびソフトウェア開発の専門知識といったリソースが必要でした。このようなモデルは非常に高い精度を発揮できますが、その使用をスケールアップする際には、計算と人的労力の両方の点で、明らかにリソースの制約があります。ChatGPTが急速にスターダムにのし上がったことで、適切な量のコンテキストと適切なプロンプトがあれば、単一のLLMを使用して多くの異なるタスクをこなすことができ、場合によってはより専門的なモデルよりも高い精度を達成できることがわかってきました。そして、LLMが新しいテキストを生成する能力である「生成AI」は、魅力的であると同時に非常に有用です。

公共部門において LLM は何に活用できますか？

民間企業は、コードの生成と移行、顧客からのフィードバックの自動分類と応答、コールセンターのチャットボット、レポート生成など、LLMによる驚くべき利点を多数報告しています。さまざまな業界の縮図である公共部門の機関には、独自のニーズがあるだけでなく、LLM活用の機会も同様に存在します。公共部門の一般的なユースケースは次のとおりです。

• 規制コンプライアンス支援。LLM は、テキストを解釈および処理する能力により、規制文書、法的文書、関連する判例を分析することで、コンプライアンス要件の決定を支援できます。政府機関や企業が規制の影響を理解し、法令を遵守できるよう支援します。
• トレーニング・教育アシスタント。仮想インストラクターとして機能し、質問への回答、複雑な概念の説明、講義の録画から関連部分の検索、コースカタログの推奨などを行うことで、学生の学習を拡大・加速させます。
• 技術文書の要約と質疑応答。公共部門で最も広く普及しているLLM関連のユースケースは、おそらく、PDFやEメールを含む何千、何百万ものドキュメントから知識を抽出し、検索条件に基づいて関連コンテンツを迅速に見つけるのに適した形式に変換し、その関連コンテンツを使用して要約やレポートを生成することでしょう。
• オープンソース インテリジェンス。LLMは、公開されている膨大な多言語情報を処理・分析することで、インテリジェンス・コミュニティによるオープンソース・インテリジェンス（OSINT）の分析を大幅に強化できます。LLM は、ソーシャルメディア、ニュース記事、レポートなどの多様なソースから、主要なエンティティ、関係性、センチメント、文脈的な理解を抽出し、その情報を効率的に要約・整理することで、アナリストが大量の OSINT データから迅速に知見を把握・抽出するのを支援します。
• レガシーコードベースの現代化。政府機関は、メインフレーム、オンプレミスのデータウェアハウス、独自の**アナリティクス**ソフトウェアからデータワークロードを移行し続けています。開発者やアナリストがコーディングアシスタントを利用して作業中にコードの提案を受けたり、カスタムLLMをトレーニングして一括コード変換を処理したりすることで、移行のペースを加速させると同時に、ナレッジワーカーは関連するソフトウェアスキルをスムーズに習得できます。
• 人事。米国最大の雇用主である連邦政府は、採用活動と従業員満足度の確保において、独自の課題に直面しています。人事分野でLLMを活用することは、履歴書のスクリーニングの自動化、候補者とジョブ内容のマッチング、従業員のフィードバック分析を通じて採用プロセスを改善し、従業員のエンゲージメントを高めることで、これらの課題への対処に役立ちます。さらに、LLMは人事ポリシーのコンプライアンスの確保、ダイバーシティ＆インクルージョンの取り組みのサポート、パーソナライズされたオンボーディングやキャリア開発に関する推奨事項の提供などを支援します。

LLMを活用した世界で、Databricksは公共セクター組織のニーズをどのようにサポートするのでしょうか？

LLMは確かに強力ですが、公共機関に固有の運用上の制約によって増幅される、新たな一連の課題ももたらします。これらのいくつかを詳しく見ていき、Databricksレイクハウスの機能と対応させてみましょう。

課題 #1: データ主権とガバナンス

課題

ほとんどの公共セクター組織は、データに関して厳格な規制管理を行っています。これらの管理は、プライバシーやセキュリティ、場合によっては機密性を維持するために存在します。LLMに1つまたは複数の質問をするという単純なタスクでさえ、専有情報が漏洩する可能性があります。さらに、ほとんどの連邦政府機関では、それぞれの特定の要件を満たすためにLLMをファインチューニングする必要があります。これらの理由から、公共セクター機関によるパブリックモデルの使用は制限されると想定するのが妥当です。彼らは、機密性とセキュリティを確保する環境でモデルをファインチューニングすること、そしてさまざまなプロンプト手法を介したモデルとのやり取りも機密であることを要求する可能性が高いです。

Databricks のソリューション

Databricks Lakehouse Platformは、エンドツーエンドのLLMアプリケーションを開発、デプロイするために必要なツールを備えています。(詳細は後述します。)さらに、Databricksは、米国の公共部門の組織の大半のデータを処理するために必要な認証を取得しています。Databricksは、ChatGPTやBardのようなプロプライエタリなLLM-as-a-serviceを活用する際のリスクを伴わずにLLMの能力を最大限に引き出したい組織にとって、信頼できる有能なパートナーです。

Databricksに限らず、業界では、オープンソースのLLMを適切に使用することで、主要なプロプライエタリLLMに匹敵する結果が得られるという証拠が増えつつあります。この証拠は、プロプライエタリLLMがこれまでトレーニングされてこなかった、ニュアンスに富んだコンテキストや指示を理解する必要があるユースケースにおいて最も顕著です。このような場合、オープンソースのLLMは、組織固有のデータをプロンプトとして使用するか、そのデータでファインチューニングすることで、驚異的な結果を出すことができます。このソリューションアーキテクチャでは、承認された境界からデータが外部に出ることが一切なく、わずかなコンピュートと開発時間で、組織は世界トップクラスの結果を達成できます。公共部門の組織にとって、これは見過ごすことのできない大きな利点です。

Databricks のオープンソース LLM の力への信念は、研究および商用利用がライセンス供与された人間生成の指示データセットでファインチューニングされた、初のオープンソースの指示追従型 LLM である Dolly 2.0 のリリースによって強化されています。Dollyのリリースに続き、他の高性能なオープンソースLLMが次々と登場しており、その中には非常に優れたパフォーマンスを発揮するものもあります。Databricksは、公共部門の組織が選択したLLM（オープンソースまたは商用）でアプリケーションを構築するためのプラットフォームを提供するよう努めており、今後の展開に期待しています。

課題2: アーキテクチャの複雑さ

課題

データ資産のモダナイゼーションは、公共部門のほとんどの技術リーダーにとって、引き続き最大の関心事です。オンプレミスのデータウェアハウスの時代はほぼ終わり、通常はクラウド上のデータウェアハウスやレイクハウスに取って代わられています。まだクラウドに移行していない、あるいはクラウド上のデータウェアハウスを選択した組織は、今、新たな転換期に直面しています。LLM に対応できないアーキテクチャでどのように LLM を導入するかという問題です。LLMが政府機関のミッションやそれを遂行する公務員に与える影響には甚大な可能性があるため、将来を見据えたアーキテクチャを確立することが不可欠です。そこでレイクハウスの登場です。

Databricks のソリューション

Databricksは長年にわたり、機械学習（ML）および人工知能（AI）のワークロードのための有能な基盤であり続けてきました。顧客は長年にわたり、Databricks上で本番運用レベルのLLMとその前身モデルを、次のような機能を活用しながら使用してきました。

• テキスト、画像、音声などの非構造化データを前処理するためのスケーラブルなコンピュート
• オープンソースの機械学習/AIライブラリの全スイートにアクセス
• IDE統合も強力にサポートする、クラス最高のネイティブなノートブック開発環境
• Unity Catalog を通じて適切なアクセス制御を保証するデータガバナンス機能
  • 構造化データ（データベースとテーブル）
  • 非構造化データ（ファイル、画像、ドキュメント）
  • モデル（LLMなど）
• MLモデルのトレーニングと予測のためのGPUコンピュートオプションは、今やTransformerベースのLLMを扱う上で必須となっています。
• MLflow と Unity Catalog を使用したエンドツーエンドのモデルライフサイクル管理。モデルはファーストクラス市民として扱われ、ソースデータやトレーニング イベントへのリネージを持ち、バッチモードまたはリアルタイムモードのいずれかでデプロイできます
• 組織が独自のLLMをファインチューニング、ホスト、デプロイするにつれて、ますます重要になるモデルサービング機能

これらの機能は、クラウド上のデータウェアハウスであっても、一切提供されていません。データウェアハウスと組み合わせてLLMを使用する場合、組織はモデルのトレーニングとデプロイプロセスのあらゆる側面に対応するため、他のソフトウェアサービスを調達し、それらのサービス間でデータをやり取りする必要があります。Databricks Lakehouseアーキテクチャだけが、すべてのLLMオペレーションを単一のプラットフォームで実行できるというアーキテクチャ上のシンプルさを提供し、上記のデータ主権に関する説明で述べたメリットを完全に実現します。

Data and AI Summit 2023 で、Databricks は Lakehouse AI を発表しました。これには、LLMOps のアーキテクチャを大幅に簡素化する、LLM 関連の複数の主要な新機能が追加されています（以下を含む）。

• インデックス作成のためのVector Search。Databricksがホストするベクトルデータベースは、チームが組織のデータを埋め込みベクトルとして迅速にインデックス付けし、リアルタイムのデプロイメントで低レイテンシーのベクトル類似性検索を実行するのに役立ちます。
• レイクハウスモニタリングデータとAIアセット両方の品質をユーザーが同時に追跡できる、初の統合データおよびAIモニタリングサービス。
• AI関数。データアナリストとデータエンジニアは、対話型のSQLクエリーまたはSQL/Spark ETLパイプライン内で、LLMやその他の機械学習モデルを使用できるようになりました。
• 統合データ&AIガバナンス。データとAIアセットの両方について、包括的なガバナンスとリネージの追跡を単一の統合エクスペリエンスで提供するためのUnity Catalogの機能強化。
• MLflow AI ゲートウェイMLflow 2.5の一部であるMLflow AI Gatewayは、ワークスペースレベルのAPIゲートウェイです。これにより、組織はルートを作成・共有し、さまざまなレート制限、キャッシュ、コスト属性などを設定して、コストと使用量を管理できます。
• MLflow 2.4。このリリースでは、モデル評価のための包括的なLLMOpsツールセットが提供されます。

課題3：スキルギャップ

課題

近年、政府機関は、特にサイバーセキュリティ、クラウドコンピューティング、機械学習/AIといった注目の技術トレンドと重なる役職において、根強い"頭脳流出"に悩まされています。現在、LLMに大きな注目が集まっていることで、機械学習/AI分野における有能な実務者への需要がさらに高まっています。大手テック企業やstartup企業で働くことの魅力と特典は、必然的に公共部門の人材不足を深刻化させるでしょう。政府の指導者層は、LLMを容易に導入し、従業員が自立して使いこなせるように支援するプラットフォームやパートナーシップを必要としています。

Databricks のソリューション

Databricksは、レイクハウスプラットフォームでLLMを扱うための既存の機能を簡素化および拡張する機能の展開を積極的に進めています。これらには以下が含まれます。

• データパイプラインでの推論タスクにHugging Faceの事前学習済みLLMを使用したり、Databricks上の独自データでパフォーマンスを向上させるためにファインチューニングしたりするためのシンプルなパターン。
• Apache SparkからHugging Faceへのデータ読み込みプロセスを簡素化し、モデルトレーニングまたはファインチューニングジョブのパフォーマンスを向上させます。
• 短期間で成果を上げるための再現可能な実装パターンを示す、カスタマーサービスアナリティクスや製品ディスカバリーなどの業界固有のLLMソリューションアクセラレータ
• 特にネイティブ LLM サポートを搭載したMLflow 2.3 リリース:
  • 3つの新しいモデルフレーバー：Hugging Face Transformers、OpenAI Functions、LangChain。
  • モデルファイルのマルチパートダウンロードおよびアップロードにより、クラウドサービスへの/からのモデルのダウンロードおよびアップロード速度が大幅に向上しました。
• SQL から直接 LLM にアクセスするためのDatabricks SQL の組み込み関数この機能により、アナリストは効果的な LLM プロンプトを簡単に作成できるため、長く複雑な言語モデル開発プロセスを回避できます。
• Data & AI Summit 2023で発表されたとおり、
  • テキスト分類用の LLM および埋め込みモデルをファインチューニングする、Databricks の UI ベース AutoML サービスへの追加機能、および
  • 最適化されたモデルサービングに裏打ちされた、高性能な厳選モデル。お客様のユースケースに最適なオープンソースの生成AIモデルを調査するのに時間を費やす代わりに、一般的なユースケース向けにDatabricksのエキスパートがキュレートしたモデルをご利用いただけます。
  • そして、さらに素晴らしいことに、LakehouseIQがあります。これは、お客様のビジネスとデータの独自のニュアンスを学習し、幅広いユースケースで自然言語によるアクセスを可能にするナレッジエンジンです。

DatabricksでLLMを使いやすくすることに加えて、組織がLLMの習熟度を向上させるのを支援するためのLLMトレーニングおよびイネーブルメントプログラムも導入しています。これらは、Databricksの公共部門のユーザーが取り組みやすいレベルで提供されます。

• EdX と提携し、最新のアプリケーションで言語モデルを構築・使用することに特化した、専門家主導のオンラインコースを提供

結論と次のステップ

LLM を活用して公共部門のユースケースを加速させる機会は豊富にあります。レガシーデータの中には、発見され、現在の課題に応用されるのを待っている膨大な価値が眠っています。8月2日正午（米国東部夏時間）に開催されるウェビナー「公共部門における大規模言語モデル」にご参加いただき、DatabricksがミッションにおけるLLMの導入をどのように支援できるかについて、ぜひご覧ください。また、Lakehouse AI の発表に記載の機能プレビュー登録リストをご覧になり、貴組織で利用可能なものがあるかご確認ください。