AI and Machine Learning
Accelerate your AI projects with a data-centric approach to machine learning
Databricks の AI／ML をもっと詳しく
オープンなレイクハウスアーキテクチャを基盤とする AI と機械学習のための Databricks は、機械学習のためのデータの準備や処理を効率化し、チーム間のコラボレーションを支援し、生成 AI や大規模言語モデルをはじめとする実験から本番までの機械学習ライフサイクルの合理化を可能にします。
.webp)
AI／ML データをシンプルに
Databricks ML は、オープンなレイクハウスアーキテクチャを基盤として構築されており、Delta Lake が組み込まれています。機械学習チームによる、あらゆる規模、種類のデータのアクセス、探索、準備を可能にします。データエンジニアリングのサポートなしで、特徴量をセルフサービスで本稼働パイプラインに組み込めます。
実験追跡とガバナンスの自動化
マネージド MLflow により、実験を自動的に追跡し、トレーニング実行ごとのパラメータ、メトリクス、データとコードのバージョン、モデルの成果物を記録できます。実行履歴をすぐに確認でき、結果を比較したり、必要に応じて過去の結果を再現したりすることも可能です。本番環境に最適なモデルのバージョンを特定した後は、モデルレジストリに登録し、展開ライフサイクル全体のハンドオフを簡素化できます。
モデルのライフサイクル全体を動的に管理
トレーニングされたモデルを登録すると、モデルレジストリを使用してモデルのライフサイクルを共同管理できます。モデルのバージョン管理や移動は、実験、ステージング、本番環境、アーカイブなどさまざまな段階で可能です。ライフサイクル管理は、ロールベースのアクセス制御に従って、承認やガバナンスのワークフローと統合されています。また、コメントやメールの通知機能により、データチームのコラボレーション環境が充実します。
ML モデルの大規模展開を低レイテンシで
サーバーの管理やスケールの制限を気にすることなく、ワンクリックでモデルをデプロイできます。Databricks を使用することで、エンタープライズレベルの高可用性で、モデルを REST API エンドポイントとして任意の場所にデプロイできます。
生成 AI や大規模言語モデルの活用
Hugging Face トランスフォーマーのライブラリやその他のオープンソースライブラリのような、既存の事前トレーニング済みモデルをワークフローに統合できます。トランスフォーマーのパイプラインは、GPU の利用を容易にし、GPU に送られるアイテムのバッチ処理を可能にし、スループットを向上させます。
特定のタスクのために、ユーザー独自のデータでモデルをカスタマイズできます。Hugging Face や DeepSpeed などのオープンソースツールのサポートにより、基礎となる LLM を迅速かつ効率的に取得し、独自のデータでトレーニングを開始することで、ドメインやワークロードに対してより高い精度を持つことができます。これにより、トレーニングに使用するデータを管理できるようになり、責任を持って AI を使用していることを確認できます。
製品コンポーネント
コラボレーション型 Notebook
Databricks の Notebook は、Python、R、SQL をネイティブにサポートしており、ユーザーは任意の言語やライブラリを使用できます。気づきの視覚化と共有も容易です。
機械学習のランタイム
最も一般的な ML フレームワーク（PyTorch、TensorFlow、scikit-learn など）のスケーラブルかつ信頼性の ある分散処理により、事前に構成された ML 最適化クラスタにワンクリックでアクセスできます。このクラスタは、大規模に高性能を実現する最適化を備えています。
特徴量ストア（Feature Store）
自動的にログに記録されたデータソースを活用するデー タリネージの検索機能で、特徴量の再利用を促進します。クライアントアプリケーションの変更を不要とするシンプルなモデル展開により、トレーニングやサービスに特徴量を活用できます。
AutoML
AutoML は、グラスボックス的なアプローチによって、機械学習の専門家だけでなく市民データサイエンティストも支援します。すぐに使える高性能なモデルの提供はもとより、専門家による改良が可能なコードの生成もできます。
マネージド MLflow
マネージド MLflow は、MLライフサイクルにおいて世界をリードするオープンソースプラットフォームの MLflow 上に構築されています。エンタープライズセキュリティ、信頼性、スケーラビリティで、 ML モデルの実験から本番への迅速な移行を支援します。
本番グレードのモデルサービング
サーバレスコンピューティングを 活用するオプションを備え、あらゆるスケールのモデルをワンクリックで容易に提供します。
モデル監視
モデルのパフォーマンスとそれがビジネス指標に与える影響をリアルタイムで監視します。Databricks は、ソースデータシステムでの修正が必要なモデルに対してもエンドツーエンドの可視性とリネージを提供します。ML ライフサイクル全体にわたるモデルとデータの品質を分析し、問題が発生する前にリスクを特定するのに役立ちます。
リポジトリ
Repos は、Databricks での Git ワークフローを効率化し、自動化された CI/CD ワークフローとコードのポータビリティの活用を可能にします。
大規模言語モデル（LLM）
Databricks は、大規模言語モデル（LLM）へのアクセスやワークフロ ーへの統合を容易にし、独自のデータを用いて LLM を微調整するためのプラットフォーム機能を提供することで、ドメイン性能を向上させます。
